KMITL Expo 2026 LogoKMITL 66th Anniversary Logo

SignGen: An LLM-Based Thai Sign Language Generator

SignGen: An LLM-Based Thai Sign Language Generator

Abstract

The Thai Sign Language Generation System aims to create a comprehensive 3D modeling and animation platform that translates Thai sentences into dynamic and accurate representations of Thai Sign Language (TSL) gestures. This project enhances communication for the Thai deaf community by leveraging a landmark-based approach using a Vector Quantized Variational Autoencoder (VQVAE) and a Large Language Model (LLM) for sign language generation. The system first trains a VQVAE encoder using landmark data extracted from sign videos, allowing it to learn compact latent representations of TSL gestures. These encoded representations are then used to generate additional landmark-based sign sequences, effectively expanding the training dataset using the BigSign ThaiPBS dataset. Once the dataset is augmented, an LLM is trained to output accurate landmark sequences from Thai text inputs, which are then used to animate a 3D model in Blender, ensuring fluid and natural TSL gestures. The project is implemented using Python, incorporating MediaPipe for landmark extraction, OpenCV for real-time image processing, and Blender’s Python API for 3D animation. By integrating AI, VQVAE-based encoding, and LLM-driven landmark generation, this system aspires to bridge the communication gap between written Thai text and expressive TSL gestures, providing the Thai deaf community with an interactive, real-time sign language animation platform.

Objective

การสื่อสารระหว่างบุคคลที่ได้ยินกับผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดเป็นอุปสรรคสำคัญ โดยเฉพาะเมื่อบุคคลที่ได้ยินไม่มีความคุ้นเคยกับภาษามือไทย (TSL) ภาษามือไทยมีความซับซ้อนและต้องใช้การฝึกฝน ความตั้งใจ และประสบการณ์อย่างมากจึงจะเชี่ยวชาญได้ ซึ่งมักต้องใช้เวลาหลายเดือนของการศึกษาอย่างต่อเนื่อง แม้แต่เพื่อให้ได้ระดับความคล่องแคล่วขั้นพื้นฐาน สิ่งนี้ก่อให้เกิดช่องว่างด้านการเข้าถึง โดยเฉพาะกับผู้พิการทางการได้ยินที่อาจไม่เคยเรียนรู้ไวยากรณ์หรือภาษาไทยมาตรฐาน อาจพบความยากลำบากในการทำความเข้าใจข้อความภาษาไทยที่เขียน ซึ่งยิ่งทำให้การสื่อสารเป็นเรื่องที่ท้าทายยิ่งขึ้น แม้ว่าการใช้ข้อความเขียนอาจดูเหมือนเป็นทางออกหนึ่งของการสื่อสาร แต่ในความเป็นจริงอาจไม่ได้ผลเสมอไป เนื่องจากผู้พิการทางการได้ยินบางคนอาจไม่สามารถอ่านหรือทำความเข้าใจข้อความภาษาไทยได้อย่างคล่องแคล่ว อันเนื่องมาจากการไม่ได้สัมผัสกับไวยากรณ์ของภาษาพูดแบบดั้งเดิม นี่จึงเป็นเหตุผลสำคัญที่ต้องมีเครื่องมือแปลภาษาแบบเรียลไทม์ที่สามารถแปลงข้อความภาษาไทยเป็นภาษามือไทยได้อย่างถูกต้อง เพื่อช่วยลดช่องว่างนี้ และส่งเสริมให้เกิดปฏิสัมพันธ์ที่มีความหมายระหว่างผู้พิการทางการได้ยิน บุคคลที่ไม่สามารถใช้คำพูด และบุคคลที่ได้ยิน

Other Innovations

Coastal folk Park

คณะเทคโนโลยีการเกษตร

Coastal folk Park

Public Park Project: Coastal folk Park is a design park in the area of ​​Ang Sila Subdistrict, Chonburi Province. In an area of ​​22 acre, it is intended to be a place of rest, recreation, and also a source of learning and conservation of the seashore and the traditional way of life of the area.

Read more
Cracking the PM2.5 Code

คณะวิทยาศาสตร์

Cracking the PM2.5 Code

Air pollution, particularly PM2.5, is a major environmental and public health concern in Bangkok. Instead of predicting PM2.5 levels, this project aims to identify the most significant factors influencing PM2.5 concentration. By analyzing historical air quality, weather, and other environmental data, we will determine which variables—such as temperature, humidity, wind speed, or other pollutants—have the greatest impact on PM2.5 fluctuations.

Read more
Development of tea from longan peels and seeds

คณะบริหารธุรกิจ

Development of tea from longan peels and seeds

This research aimed to develop the mixed tea from longan peels and seeds. Population studied were longan farmers who planted longan and preserved the longan product in Ampur Wang Nam Yen, Sa Kaeo Province. From the results, it was found that from By-product in the production of dehydrated longan, longan peels and seeds, which can be processed into ready-to-drink powdered tea. This not only helps reduce waste from the production process but also contributes to generating additional income from these by-products.

Read more