Innovation Owner
Mr. PHATTARA SRILACHOT
Student
Details
The Thai Sign Language Generation System aims to create a comprehensive 3D modeling and animation platform that translates Thai sentences into dynamic and accurate representations of Thai Sign Language (TSL) gestures. This project enhances communication for the Thai deaf community by leveraging a landmark-based approach using a Vector Quantized Variational Autoencoder (VQVAE) and a Large Language Model (LLM) for sign language generation. The system first trains a VQVAE encoder using landmark data extracted from sign videos, allowing it to learn compact latent representations of TSL gestures. These encoded representations are then used to generate additional landmark-based sign sequences, effectively expanding the training dataset using the BigSign ThaiPBS dataset. Once the dataset is augmented, an LLM is trained to output accurate landmark sequences from Thai text inputs, which are then used to animate a 3D model in Blender, ensuring fluid and natural TSL gestures. The project is implemented using Python, incorporating MediaPipe for landmark extraction, OpenCV for real-time image processing, and Blender’s Python API for 3D animation. By integrating AI, VQVAE-based encoding, and LLM-driven landmark generation, this system aspires to bridge the communication gap between written Thai text and expressive TSL gestures, providing the Thai deaf community with an interactive, real-time sign language animation platform.
Objective
1. ออกแบบและพัฒนาระบบแอนิเมชัน 3 มิติที่สามารถแปลงข้อความภาษาไทยที่เขียนเป็นท่าทางภาษามือไทย ได้อย่างถูกต้องและเป็นธรรมชาติ 2. ทำให้ระบบเป็นไปตามกฎทางภาษาศาสตร์ของภาษามือไทย โดยครอบคลุมองค์ประกอบสำคัญ เช่น ความเร็วของท่าทาง รูปทรงของมือ 3. ใช้เทคนิคขั้นสูงด้านการประมวลผลภาษาธรรมชาติ (NLP), การเรียนรู้ของเครื่อง (Machine Learning) และการสร้างแบบจำลอง 3 มิติ เพื่อแปลอินพุตภาษาไทยและสร้างแอนิเมชัน 3 มิติของภาษามือไทยแบบเรียลไทม์ 4. จัดทำเครื่องมือสื่อสารที่เข้าถึงได้ง่าย เพื่อลดอุปสรรคระหว่างบุคคลที่ได้ยินกับชุมชนผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดในประเทศไทย 5. สร้างอินเทอร์เฟซที่ยืดหยุ่นและใช้งานง่าย ซึ่งช่วยให้ผู้ใช้สามารถป้อนข้อความภาษาไทยและได้รับแอนิเมชันภาษามือไทยที่ถูกต้องแบบเรียลไทม์ ส่งเสริมความเท่าเทียมและพัฒนาการสื่อสาร
การสื่อสารระหว่างบุคคลที่ได้ยินกับผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดเป็นอุปสรรคสำคัญ โดยเฉพาะเมื่อบุคคลที่ได้ยินไม่มีความคุ้นเคยกับภาษามือไทย (TSL) ภาษามือไทยมีความซับซ้อนและต้องใช้การฝึกฝน ความตั้งใจ และประสบการณ์อย่างมากจึงจะเชี่ยวชาญได้ ซึ่งมักต้องใช้เวลาหลายเดือนของการศึกษาอย่างต่อเนื่อง แม้แต่เพื่อให้ได้ระดับความคล่องแคล่วขั้นพื้นฐาน สิ่งนี้ก่อให้เกิดช่องว่างด้านการเข้าถึง โดยเฉพาะกับผู้พิการทางการได้ยินที่อาจไม่เคยเรียนรู้ไวยากรณ์หรือภาษาไทยมาตรฐาน อาจพบความยากลำบากในการทำความเข้าใจข้อความภาษาไทยที่เขียน ซึ่งยิ่งทำให้การสื่อสารเป็นเรื่องที่ท้าทายยิ่งขึ้น แม้ว่าการใช้ข้อความเขียนอาจดูเหมือนเป็นทางออกหนึ่งของการสื่อสาร แต่ในความเป็นจริงอาจไม่ได้ผลเสมอไป เนื่องจากผู้พิการทางการได้ยินบางคนอาจไม่สามารถอ่านหรือทำความเข้าใจข้อความภาษาไทยได้อย่างคล่องแคล่ว อันเนื่องมาจากการไม่ได้สัมผัสกับไวยากรณ์ของภาษาพูดแบบดั้งเดิม นี่จึงเป็นเหตุผลสำคัญที่ต้องมีเครื่องมือแปลภาษาแบบเรียลไทม์ที่สามารถแปลงข้อความภาษาไทยเป็นภาษามือไทยได้อย่างถูกต้อง เพื่อช่วยลดช่องว่างนี้ และส่งเสริมให้เกิดปฏิสัมพันธ์ที่มีความหมายระหว่างผู้พิการทางการได้ยิน บุคคลที่ไม่สามารถใช้คำพูด และบุคคลที่ได้ยิน
1. เสริมสร้างการเข้าถึงและการสื่อสาร– ระบบนี้จะช่วยให้ผู้บกพร่องทางการได้ยินสามารถสื่อสารกับบุคคลทั่วไปได้ง่ายขึ้นผ่านการแปลข้อความภาษาไทยเป็นภาษามือไทย 2. ส่งเสริมการเรียนรู้ภาษามือไทย – ผู้ที่ไม่รู้ภาษามือสามารถใช้ระบบเพื่อเรียนรู้การแสดงท่าทางภาษามือไทยได้อย่างแม่นยำจากแอนิเมชัน 3D ที่แสดงผลอย่างเป็นธรรมชาติ 3. สนับสนุนงานวิจัยด้าน AI และภาษามือไทย – เนื่องจากภาษามือไทยยังขาดชุดข้อมูลขนาดใหญ่ โครงการนี้จะช่วยส่งเสริมการพัฒนาโมเดล AI สำหรับการเรียนรู้ท่าทางภาษามือ 4. ช่วยพัฒนาเทคโนโลยีแปลภาษามือแบบเรียลไทม์ – ระบบนี้สามารถนำไปใช้ในแอปพลิเคชันแปลภาษามือแบบเรียลไทม์ที่ช่วยให้ผู้บกพร่องทางการได้ยินสามารถสื่อสารในสถานการณ์ต่าง ๆ ได้สะดวกขึ้น 5. เป็นเครื่องมือช่วยพัฒนาสื่อการเรียนการสอน– โรงเรียนและสถาบันการศึกษาที่สอนภาษามือไทยสามารถใช้แอนิเมชัน 3D และโมเดลการจดจำภาษามือในการสอน เพื่อให้ผู้เรียนเข้าใจโครงสร้างภาษามือไทยได้ดียิ่งขึ้น 6. พัฒนาแพลตฟอร์มสำหรับการสื่อสารสองทาง– ระบบรองรับทั้งการแปลงข้อความเป็นภาษามือและการจดจำภาษามือ ซึ่งช่วยให้ผู้ที่ใช้ภาษามือสามารถโต้ตอบกับบุคคลที่ไม่ได้ใช้ภาษามือได้อย่างมีประสิทธิภาพ 7. กระตุ้นให้เกิดการพัฒนาแอปพลิเคชันที่เกี่ยวข้องกับภาษามือไทย– โครงการนี้สามารถเป็นแนวทางให้กับนักพัฒนาและนักวิจัยในการพัฒนาเทคโนโลยีด้าน AI และ 3D Animation เพื่อรองรับการแปลและจดจำภาษามือไทยในอนาคต