KMITL Expo 2026 LogoKMITL 66th Anniversary Logo

SignGen: An LLM-Based Thai Sign Language Generator

SignGen: An LLM-Based Thai Sign Language Generator

Abstract

The Thai Sign Language Generation System aims to create a comprehensive 3D modeling and animation platform that translates Thai sentences into dynamic and accurate representations of Thai Sign Language (TSL) gestures. This project enhances communication for the Thai deaf community by leveraging a landmark-based approach using a Vector Quantized Variational Autoencoder (VQVAE) and a Large Language Model (LLM) for sign language generation. The system first trains a VQVAE encoder using landmark data extracted from sign videos, allowing it to learn compact latent representations of TSL gestures. These encoded representations are then used to generate additional landmark-based sign sequences, effectively expanding the training dataset using the BigSign ThaiPBS dataset. Once the dataset is augmented, an LLM is trained to output accurate landmark sequences from Thai text inputs, which are then used to animate a 3D model in Blender, ensuring fluid and natural TSL gestures. The project is implemented using Python, incorporating MediaPipe for landmark extraction, OpenCV for real-time image processing, and Blender’s Python API for 3D animation. By integrating AI, VQVAE-based encoding, and LLM-driven landmark generation, this system aspires to bridge the communication gap between written Thai text and expressive TSL gestures, providing the Thai deaf community with an interactive, real-time sign language animation platform.

Objective

การสื่อสารระหว่างบุคคลที่ได้ยินกับผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดเป็นอุปสรรคสำคัญ โดยเฉพาะเมื่อบุคคลที่ได้ยินไม่มีความคุ้นเคยกับภาษามือไทย (TSL) ภาษามือไทยมีความซับซ้อนและต้องใช้การฝึกฝน ความตั้งใจ และประสบการณ์อย่างมากจึงจะเชี่ยวชาญได้ ซึ่งมักต้องใช้เวลาหลายเดือนของการศึกษาอย่างต่อเนื่อง แม้แต่เพื่อให้ได้ระดับความคล่องแคล่วขั้นพื้นฐาน สิ่งนี้ก่อให้เกิดช่องว่างด้านการเข้าถึง โดยเฉพาะกับผู้พิการทางการได้ยินที่อาจไม่เคยเรียนรู้ไวยากรณ์หรือภาษาไทยมาตรฐาน อาจพบความยากลำบากในการทำความเข้าใจข้อความภาษาไทยที่เขียน ซึ่งยิ่งทำให้การสื่อสารเป็นเรื่องที่ท้าทายยิ่งขึ้น แม้ว่าการใช้ข้อความเขียนอาจดูเหมือนเป็นทางออกหนึ่งของการสื่อสาร แต่ในความเป็นจริงอาจไม่ได้ผลเสมอไป เนื่องจากผู้พิการทางการได้ยินบางคนอาจไม่สามารถอ่านหรือทำความเข้าใจข้อความภาษาไทยได้อย่างคล่องแคล่ว อันเนื่องมาจากการไม่ได้สัมผัสกับไวยากรณ์ของภาษาพูดแบบดั้งเดิม นี่จึงเป็นเหตุผลสำคัญที่ต้องมีเครื่องมือแปลภาษาแบบเรียลไทม์ที่สามารถแปลงข้อความภาษาไทยเป็นภาษามือไทยได้อย่างถูกต้อง เพื่อช่วยลดช่องว่างนี้ และส่งเสริมให้เกิดปฏิสัมพันธ์ที่มีความหมายระหว่างผู้พิการทางการได้ยิน บุคคลที่ไม่สามารถใช้คำพูด และบุคคลที่ได้ยิน

Other Innovations

KinderForest : Puzzle Building Game with VR Technology

คณะเทคโนโลยีสารสนเทศ

KinderForest : Puzzle Building Game with VR Technology

KinderForest : Puzzle Building Game with VR Technology is designed to utilize Virtual Reality (VR) technology with the primary aim of promoting creative problem-solving skills and basic practical application abilities among players. This project presents the game in an Augmented Virtual Reality (AR VR) format, emphasizing physical engagement of players during gameplay while fostering creativity and fundamental application skills. The project team has chosen to utilize Unreal Engine 5.1 and Oculus Quest 2 virtual reality glasses to develop the game in the form of augmented virtual reality technology. Within the game, there will be various levels that require creative thinking and different approaches to pass. Time constraints will be a crucial element in completing missions and progressing through these levels. Players will physically move their bodies in response to in-game movements. Each level will present unique challenges that will necessitate both physical movement and problem-solving skills. The game will provide different rewards based on the outcomes of mission completion, and players will be informed of their results once they have successfully passed a level.

Read more
Coral In focus

คณะวิทยาศาสตร์

Coral In focus

Currently, climate change and human activities are causing rapid deterioration of coral reefs worldwide. Monitoring coral health is essential for marine ecosystem conservation. This project focuses on developing an Artificial Intelligence (AI) model to classify coral health into four categories: Healthy, Bleached, Pale, and Dead using Deep Learning techniques. With pre-trained convolutional neural network (CNN) for image classification. To improve accuracy and mitigate overfitting, 5-fold Cross-Validation is employed during training, and the best-performing model is saved. The results of this project can be applied to monitor coral reef conditions and assist marine scientists in analyzing coral health more efficiently and accurately. This contributes to better conservation planning for marine ecosystems in the future.

Read more
Automatic Temperature and Humidity Control System for Small- Scale Household Oyster Mushroom Cultivation Houses

คณะเทคโนโลยีการเกษตร

Automatic Temperature and Humidity Control System for Small- Scale Household Oyster Mushroom Cultivation Houses

In the present day, interest in health and the consumption of chemical-free food has been steadily increasing, particularly in homegrown produce such as Phoenix oyster mushrooms (Pleurotus pulmonarius), which are highly nutritious and suitable for weight control. However, small-scale mushroom cultivation often faces challenges related to unsuitable environmental conditions, such as unstable temperature and humidity, which affect the growth and quality of the mushrooms. The development of an automatic temperature and humidity control system plays a crucial role in addressing these issues by utilizing sensor technology to monitor and adjust environmental conditions with precision. This helps enhance production efficiency, reduce human errors in manual control, and promote safe food production at the household level. Additionally, it helps lower production costs and supports the concept of sustainable living. The adoption of this technology is considered an important innovation in improving the quality of mushroom cultivation and increasing sustainability in food production.

Read more