เจ้าของนวัตกรรม
นาย ภัทร ศรีลาโชติ
นักศึกษา
Details
ระบบสร้างภาษามือไทยเชิงกำเนิดมุ่งพัฒนาแพลตฟอร์ม 3 มิติที่แปลงประโยคภาษาไทยเป็นท่าทางภาษามือไทยที่ถูกต้องและเป็นธรรมชาติ โดยใช้เทคโนโลยี VQVAE และ LLM เพื่อเสริมสร้างการสื่อสารสำหรับชุมชนผู้บกพร่องทางการได้ยิน
ระบบสร้างภาษามือไทยเชิงกำเนิดมีเป้าหมายในการพัฒนาแพลตฟอร์ม การสร้างแบบจำลอง 3 มิติและแอนิเมชัน ที่สามารถแปลง ประโยคภาษาไทยเป็นท่าทางภาษามือไทย (TSL) ที่ถูกต้องและเป็นธรรมชาติ โครงการนี้ช่วยเสริมสร้างการสื่อสารสำหรับ ชุมชนผู้บกพร่องทางการได้ยินในประเทศไทย โดยใช้แนวทางที่อิงกับ แลนมาร์ก (Landmark-Based Approach) ผ่านการใช้ Vector Quantized Variational Autoencoder (VQVAE) และ Large Language Model (LLM) ในการสร้างภาษามือ
- การฝึกโมเดล: เริ่มต้นด้วยการฝึกโมเดล VQVAE โดยใช้ข้อมูลแลนมาร์กที่สกัดจากวิดีโอภาษามือ เพื่อเรียนรู้การแทนค่าแบบแฝง (Latent Representations) ของท่าทางภาษามือไทย
- การขยายชุดข้อมูล: ใช้โมเดลที่ฝึกแล้วสร้างลำดับแลนมาร์กเพิ่มเติมเพื่อขยายชุดข้อมูลจาก BigSign ThaiPBS Dataset
- การสร้างแอนิเมชัน: ฝึก LLM เพื่อสร้างลำดับแลนมาร์กจากข้อความภาษาไทย และนำไปสร้างแอนิเมชัน 3 มิติใน Blender
- เทคโนโลยีที่ใช้: พัฒนาด้วย Python โดยใช้ MediaPipe สำหรับการสกัดแลนมาร์ก, OpenCV สำหรับการประมวลผลภาพ, และ Blender’s Python API สำหรับแอนิเมชัน
Objective
โครงการมีวัตถุประสงค์เพื่อพัฒนาระบบแอนิเมชัน 3 มิติที่แปลงข้อความภาษาไทยเป็นภาษามือไทยอย่างถูกต้องตามหลักภาษาศาสตร์ เพื่อลดอุปสรรคในการสื่อสารและส่งเสริมความเท่าเทียมในสังคม
- ออกแบบและพัฒนาระบบแอนิเมชัน 3 มิติที่สามารถแปลงข้อความภาษาไทยที่เขียนเป็นท่าทางภาษามือไทย ได้อย่างถูกต้องและเป็นธรรมชาติ
- ทำให้ระบบเป็นไปตามกฎทางภาษาศาสตร์ของภาษามือไทย โดยครอบคลุมองค์ประกอบสำคัญ เช่น ความเร็วของท่าทาง รูปทรงของมือ
- ใช้เทคนิคขั้นสูงด้านการประมวลผลภาษาธรรมชาติ (NLP), การเรียนรู้ของเครื่อง (Machine Learning) และการสร้างแบบจำลอง 3 มิติ เพื่อแปลอินพุตภาษาไทยและสร้างแอนิเมชัน 3 มิติของภาษามือไทยแบบเรียลไทม์
- จัดทำเครื่องมือสื่อสารที่เข้าถึงได้ง่าย เพื่อลดอุปสรรคระหว่างบุคคลที่ได้ยินกับชุมชนผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดในประเทศไทย
- สร้างอินเทอร์เฟซที่ยืดหยุ่นและใช้งานง่าย ซึ่งช่วยให้ผู้ใช้สามารถป้อนข้อความภาษาไทยและได้รับแอนิเมชันภาษามือไทยที่ถูกต้องแบบเรียลไทม์ ส่งเสริมความเท่าเทียมและพัฒนาการสื่อสาร