KMITL Innovation Expo 2025 Logo

SignGen: An LLM-Based Thai Sign Language Generator

SignGen: An LLM-Based Thai Sign Language Generator

Abstract

The Thai Sign Language Generation System aims to create a comprehensive 3D modeling and animation platform that translates Thai sentences into dynamic and accurate representations of Thai Sign Language (TSL) gestures. This project enhances communication for the Thai deaf community by leveraging a landmark-based approach using a Vector Quantized Variational Autoencoder (VQVAE) and a Large Language Model (LLM) for sign language generation. The system first trains a VQVAE encoder using landmark data extracted from sign videos, allowing it to learn compact latent representations of TSL gestures. These encoded representations are then used to generate additional landmark-based sign sequences, effectively expanding the training dataset using the BigSign ThaiPBS dataset. Once the dataset is augmented, an LLM is trained to output accurate landmark sequences from Thai text inputs, which are then used to animate a 3D model in Blender, ensuring fluid and natural TSL gestures. The project is implemented using Python, incorporating MediaPipe for landmark extraction, OpenCV for real-time image processing, and Blender’s Python API for 3D animation. By integrating AI, VQVAE-based encoding, and LLM-driven landmark generation, this system aspires to bridge the communication gap between written Thai text and expressive TSL gestures, providing the Thai deaf community with an interactive, real-time sign language animation platform.

Objective

การสื่อสารระหว่างบุคคลที่ได้ยินกับผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดเป็นอุปสรรคสำคัญ โดยเฉพาะเมื่อบุคคลที่ได้ยินไม่มีความคุ้นเคยกับภาษามือไทย (TSL) ภาษามือไทยมีความซับซ้อนและต้องใช้การฝึกฝน ความตั้งใจ และประสบการณ์อย่างมากจึงจะเชี่ยวชาญได้ ซึ่งมักต้องใช้เวลาหลายเดือนของการศึกษาอย่างต่อเนื่อง แม้แต่เพื่อให้ได้ระดับความคล่องแคล่วขั้นพื้นฐาน สิ่งนี้ก่อให้เกิดช่องว่างด้านการเข้าถึง โดยเฉพาะกับผู้พิการทางการได้ยินที่อาจไม่เคยเรียนรู้ไวยากรณ์หรือภาษาไทยมาตรฐาน อาจพบความยากลำบากในการทำความเข้าใจข้อความภาษาไทยที่เขียน ซึ่งยิ่งทำให้การสื่อสารเป็นเรื่องที่ท้าทายยิ่งขึ้น แม้ว่าการใช้ข้อความเขียนอาจดูเหมือนเป็นทางออกหนึ่งของการสื่อสาร แต่ในความเป็นจริงอาจไม่ได้ผลเสมอไป เนื่องจากผู้พิการทางการได้ยินบางคนอาจไม่สามารถอ่านหรือทำความเข้าใจข้อความภาษาไทยได้อย่างคล่องแคล่ว อันเนื่องมาจากการไม่ได้สัมผัสกับไวยากรณ์ของภาษาพูดแบบดั้งเดิม นี่จึงเป็นเหตุผลสำคัญที่ต้องมีเครื่องมือแปลภาษาแบบเรียลไทม์ที่สามารถแปลงข้อความภาษาไทยเป็นภาษามือไทยได้อย่างถูกต้อง เพื่อช่วยลดช่องว่างนี้ และส่งเสริมให้เกิดปฏิสัมพันธ์ที่มีความหมายระหว่างผู้พิการทางการได้ยิน บุคคลที่ไม่สามารถใช้คำพูด และบุคคลที่ได้ยิน

Other Innovations

The product "Nai Hoi Hua Fu"

วิทยาเขตชุมพรเขตรอุดมศักดิ์

The product "Nai Hoi Hua Fu"

Study on Parasites in Blackchin Tilapia and Value-Added Processing Parasites play a crucial role in affecting fish health and the balance of marine ecosystems. The study of parasites in fish is essential for assessing fish population status and their impact on the ecosystem. This research focuses on a preliminary survey of parasites in Blackchin Tilapia (Sarotherodon melanotheron) found in the waters of Chumphon Province to determine whether this species carries parasitic infections. The findings will provide valuable insights for managing marine resources and developing strategies for processing Blackchin Tilapia into food products to help control its population in the ecosystem. One of the value-added processing approaches for Blackchin Tilapia is the "Nai Hoi Hua Fu" product. This product involves deep-frying the fish to achieve a crispy and fluffy texture before mixing it with mango salad to enhance its flavor and make it more appealing. This processing method not only adds value to the fish but also serves as a practical solution for managing the Blackchin Tilapia population, which may impact the ecosystem. The study results indicate that no parasitic infections were found in either the internal or external organs of the sampled fish, suggesting that the marine environment in the study area is favorable for fish health. However, continuous research is recommended to monitor long-term ecological changes and evaluate the impact of Blackchin Tilapia on ecosystem balance to ensure sustainable resource management.

Read more
Ride for life

คณะสถาปัตยกรรม ศิลปะและการออกแบบ

Ride for life

This work got the idea of bringing the car culture of Thai teenagers to present in a new way through our perspective. Create characters and bring various elements within the culture to combine with what we like. Whether it's stickers, posters and band shirts with acrylic paint techniques.

Read more
Study of using ceramic tile powder instead of cement

คณะวิศวกรรมศาสตร์

Study of using ceramic tile powder instead of cement

This study focuses on the use of ceramic tile powder as a cement replacement material in concrete at an appropriate ratio. The objective is to investigate the properties of replacing cement with tile powder and to determine the optimal mixing ratio of tile powder in cement mortar that can yield properties equivalent to or superior to conventional cement mortar. The experiment involved preparing cement mortar samples by replacing cement with two types of ceramic tile powder waste from tile manufacturing plants: waste tile powder and rectified tile powder. The mixing process was divided into two parts: Part 1 used a cement and tile powder ratio, while Part 2 used the results of the strength analysis from Part 1 to adjust the ratio accordingly. Various properties were tested, including specific gravity, normal consistency, setting time, tensile strength, and compressive strength. The results of the study revealed that replacing of cement with rectified tile powder provided the highest tensile and compressive strength, comparable to that of conventional cement mortar. Therefore, the use of ceramic tile powder as a replacement can enhance compressive strength while reducing cement usage, which has positive environmental implications by decreasing greenhouse gas emissions from cement production. Furthermore, this approach promotes the effective use of waste materials from the ceramic industry, contributing to the sustainability of the construction industry.

Read more