KMITL Innovation Expo 2025 Logo

SignGen: An LLM-Based Thai Sign Language Generator

SignGen: An LLM-Based Thai Sign Language Generator

Abstract

The Thai Sign Language Generation System aims to create a comprehensive 3D modeling and animation platform that translates Thai sentences into dynamic and accurate representations of Thai Sign Language (TSL) gestures. This project enhances communication for the Thai deaf community by leveraging a landmark-based approach using a Vector Quantized Variational Autoencoder (VQVAE) and a Large Language Model (LLM) for sign language generation. The system first trains a VQVAE encoder using landmark data extracted from sign videos, allowing it to learn compact latent representations of TSL gestures. These encoded representations are then used to generate additional landmark-based sign sequences, effectively expanding the training dataset using the BigSign ThaiPBS dataset. Once the dataset is augmented, an LLM is trained to output accurate landmark sequences from Thai text inputs, which are then used to animate a 3D model in Blender, ensuring fluid and natural TSL gestures. The project is implemented using Python, incorporating MediaPipe for landmark extraction, OpenCV for real-time image processing, and Blender’s Python API for 3D animation. By integrating AI, VQVAE-based encoding, and LLM-driven landmark generation, this system aspires to bridge the communication gap between written Thai text and expressive TSL gestures, providing the Thai deaf community with an interactive, real-time sign language animation platform.

Objective

การสื่อสารระหว่างบุคคลที่ได้ยินกับผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดเป็นอุปสรรคสำคัญ โดยเฉพาะเมื่อบุคคลที่ได้ยินไม่มีความคุ้นเคยกับภาษามือไทย (TSL) ภาษามือไทยมีความซับซ้อนและต้องใช้การฝึกฝน ความตั้งใจ และประสบการณ์อย่างมากจึงจะเชี่ยวชาญได้ ซึ่งมักต้องใช้เวลาหลายเดือนของการศึกษาอย่างต่อเนื่อง แม้แต่เพื่อให้ได้ระดับความคล่องแคล่วขั้นพื้นฐาน สิ่งนี้ก่อให้เกิดช่องว่างด้านการเข้าถึง โดยเฉพาะกับผู้พิการทางการได้ยินที่อาจไม่เคยเรียนรู้ไวยากรณ์หรือภาษาไทยมาตรฐาน อาจพบความยากลำบากในการทำความเข้าใจข้อความภาษาไทยที่เขียน ซึ่งยิ่งทำให้การสื่อสารเป็นเรื่องที่ท้าทายยิ่งขึ้น แม้ว่าการใช้ข้อความเขียนอาจดูเหมือนเป็นทางออกหนึ่งของการสื่อสาร แต่ในความเป็นจริงอาจไม่ได้ผลเสมอไป เนื่องจากผู้พิการทางการได้ยินบางคนอาจไม่สามารถอ่านหรือทำความเข้าใจข้อความภาษาไทยได้อย่างคล่องแคล่ว อันเนื่องมาจากการไม่ได้สัมผัสกับไวยากรณ์ของภาษาพูดแบบดั้งเดิม นี่จึงเป็นเหตุผลสำคัญที่ต้องมีเครื่องมือแปลภาษาแบบเรียลไทม์ที่สามารถแปลงข้อความภาษาไทยเป็นภาษามือไทยได้อย่างถูกต้อง เพื่อช่วยลดช่องว่างนี้ และส่งเสริมให้เกิดปฏิสัมพันธ์ที่มีความหมายระหว่างผู้พิการทางการได้ยิน บุคคลที่ไม่สามารถใช้คำพูด และบุคคลที่ได้ยิน

Other Innovations

Biodiversity of soil microorganisms

คณะเทคโนโลยีการเกษตร

Biodiversity of soil microorganisms

Soil is home to a diverse array of living organisms that interact within a complex food web, facilitating energy and nutrient cycling essential for sustaining life above ground. Among these organisms, soil microbes play a crucial role in supporting plant growth. Beneficial microorganisms enhance nutrient availability, improve soil structure by increasing porosity, and strengthen plant resistance to diseases. Conversely, harmful microorganisms, such as plant pathogens, can hinder plant growth and reduce crop yields when present in high concentrations. Neutral microorganisms, which naturally inhabit the soil, contribute to the soil ecosystem without directly impacting plants. A single teaspoon of soil contains over a billion microorganisms, yet only about 1% of them can be cultured in laboratory conditions. This highlights soil as one of the richest reservoirs of microbial diversity on Earth.

Read more
Application of hydro priming technique with water plasma to the germination quality of riceberry.

คณะเทคโนโลยีการเกษตร

Application of hydro priming technique with water plasma to the germination quality of riceberry.

การทดลองนี้จึงมีวัตถุประสงค์เพื่อศึกษาผลของน้ำที่ผ่านการฉายพลาสมาในเวลาที่แตกต่างกันต่อคุณภาพการงอกของเมล็ดพันธุ์ข้าวไรซ์เบอรี่ เพื่อเป็นการยกระดับคุณภาพความงอกของเมล็ดพันธุ์ข้าวไรซ์เบอรี่

Read more
Directing for 3D Animation “The Red Mist”

คณะสถาปัตยกรรม ศิลปะและการออกแบบ

Directing for 3D Animation “The Red Mist”

The thesis artwork titled “The Red Mist” presents a narrative adapted from a short story of the same name by Assistant Professor Chatnarong Wisutkul in 2003. The story is set in a future world where people's greed and selfishness have led to a war, forcing them to rely on "breathing machines" to survive in the "red toxic mist." Phakin, a 15-year-old boy, embarks on a journey with a group of refugees. As they pass through abandoned cities, they encounter a boy without a breathing machine who has recently lost his father. Phakin decides to help him, despite objections from others. The boy tries to end his life by shutting off his breathing machine, and when Phakin intervenes to save him, he collapses from inhaling the toxic air. Witnessing Phakin's selfless act, the others are moved and join forces to save both of them. Phakin demonstrates that in difficult times, humans must cooperate and help each other rather than being divided and selfish.

Read more