KMITL Innovation Expo 2025 Logo

SignGen: An LLM-Based Thai Sign Language Generator

SignGen: An LLM-Based Thai Sign Language Generator

Abstract

The Thai Sign Language Generation System aims to create a comprehensive 3D modeling and animation platform that translates Thai sentences into dynamic and accurate representations of Thai Sign Language (TSL) gestures. This project enhances communication for the Thai deaf community by leveraging a landmark-based approach using a Vector Quantized Variational Autoencoder (VQVAE) and a Large Language Model (LLM) for sign language generation. The system first trains a VQVAE encoder using landmark data extracted from sign videos, allowing it to learn compact latent representations of TSL gestures. These encoded representations are then used to generate additional landmark-based sign sequences, effectively expanding the training dataset using the BigSign ThaiPBS dataset. Once the dataset is augmented, an LLM is trained to output accurate landmark sequences from Thai text inputs, which are then used to animate a 3D model in Blender, ensuring fluid and natural TSL gestures. The project is implemented using Python, incorporating MediaPipe for landmark extraction, OpenCV for real-time image processing, and Blender’s Python API for 3D animation. By integrating AI, VQVAE-based encoding, and LLM-driven landmark generation, this system aspires to bridge the communication gap between written Thai text and expressive TSL gestures, providing the Thai deaf community with an interactive, real-time sign language animation platform.

Objective

การสื่อสารระหว่างบุคคลที่ได้ยินกับผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดเป็นอุปสรรคสำคัญ โดยเฉพาะเมื่อบุคคลที่ได้ยินไม่มีความคุ้นเคยกับภาษามือไทย (TSL) ภาษามือไทยมีความซับซ้อนและต้องใช้การฝึกฝน ความตั้งใจ และประสบการณ์อย่างมากจึงจะเชี่ยวชาญได้ ซึ่งมักต้องใช้เวลาหลายเดือนของการศึกษาอย่างต่อเนื่อง แม้แต่เพื่อให้ได้ระดับความคล่องแคล่วขั้นพื้นฐาน สิ่งนี้ก่อให้เกิดช่องว่างด้านการเข้าถึง โดยเฉพาะกับผู้พิการทางการได้ยินที่อาจไม่เคยเรียนรู้ไวยากรณ์หรือภาษาไทยมาตรฐาน อาจพบความยากลำบากในการทำความเข้าใจข้อความภาษาไทยที่เขียน ซึ่งยิ่งทำให้การสื่อสารเป็นเรื่องที่ท้าทายยิ่งขึ้น แม้ว่าการใช้ข้อความเขียนอาจดูเหมือนเป็นทางออกหนึ่งของการสื่อสาร แต่ในความเป็นจริงอาจไม่ได้ผลเสมอไป เนื่องจากผู้พิการทางการได้ยินบางคนอาจไม่สามารถอ่านหรือทำความเข้าใจข้อความภาษาไทยได้อย่างคล่องแคล่ว อันเนื่องมาจากการไม่ได้สัมผัสกับไวยากรณ์ของภาษาพูดแบบดั้งเดิม นี่จึงเป็นเหตุผลสำคัญที่ต้องมีเครื่องมือแปลภาษาแบบเรียลไทม์ที่สามารถแปลงข้อความภาษาไทยเป็นภาษามือไทยได้อย่างถูกต้อง เพื่อช่วยลดช่องว่างนี้ และส่งเสริมให้เกิดปฏิสัมพันธ์ที่มีความหมายระหว่างผู้พิการทางการได้ยิน บุคคลที่ไม่สามารถใช้คำพูด และบุคคลที่ได้ยิน

Other Innovations

OverSteer!

คณะวิทยาศาสตร์

OverSteer!

With the arrival of multimedia innovations such as games, access to media has changed, creating novelty in media consumption. Oversteer is a project that takes advantage of gaming media to allow users to experience driving similar to driving on a racetrack.

Read more
A Cold Cover for Raw Milk Transportation

คณะวิศวกรรมศาสตร์

A Cold Cover for Raw Milk Transportation

This study was conducted to develop a prototype cooling cover for transporting raw milk, aiming to provide a solution for maintaining the quality of raw milk during transportation to milk collection centers. The cooling cover is made using Phase Change Material (PCM), produced from water mixed with a gelling agent, in an amount of 5.6 kg, attached around an aluminum milk tank (with a capacity of 25 L). The cover is then covered with a UV-reflective fabric in two types: polyvinyl chloride (PVC) and high-density polyethylene (HDPE). The temperature reduction performance of both types of covers was evaluated by measuring water temperatures at various points along the radial and vertical directions of the milk tank at six points, using type-T thermocouples, under three environmental conditions: a constant temperature of 25 °C, 35 °C, and outdoor ambient temperature (average temperature 35.5 °C) for a minimum duration of 180 min. The experimental results revealed that at 120 min., the water in the tank covered with PCM-PVC and PCM-HDPE covers had temperatures lower than the ambient temperature by 12.6 °C and 12.9 °C, respectively, under a constant ambient temperature of 25 °C, and under a constant ambient temperature of 35 °C lower by 16.7 °C and 16.4 °C, respectively, and outdoor conditions. Since the temperature reduction performance of PCM-PVC and PCM-HDPE covers showed no significant difference, the performance of microbial quality preservation of raw milk was assessed only with PCM-PVC cover in comparison to a non-covered case (control), by measuring coliform and Escherichia coli counts using compact dry plates. Results indicated that after 120 min., milk in the tank covered with PCM-PVC had an average coliform count of 1.6 × 10^4 CFU/ml and E. coli count of 2 × 10^3 CFU/ml, which was lower than the non-covered control with an average coliform count of 1.5 × 10^4 CFU/ml and E. coli count of 1.1 × 10^4 CFU/ml. This study concludes that the temperature reduction achieved by the cooling cover can help inhibit coliform growth to levels below raw milk quality standards, demonstrating the potential of the cooling cover in maintaining the quality and safety of raw milk during transport, ultimately contributing to an improved quality of life for Thai dairy farmers.

Read more
K-link Application

คณะวิศวกรรมศาสตร์

K-link Application

A platform that aims to connect students from all faculties and departments to promote joint activities and develop effective social and collaborative skills, focusing on: Promoting learning and self-development through reviewing lessons and collaborative learning that are relevant to all faculties and departments in the university, creating a space for negotiation and exchange of knowledge, and supporting joint activities to build relationships and cooperation among students.

Read more