เจ้าของนวัตกรรม
นาย ภัทร ศรีลาโชติ
นักศึกษา
Details
ระบบสร้างภาษามือไทยเชิงกำเนิดมีเป้าหมายในการพัฒนาแพลตฟอร์ม การสร้างแบบจำลอง 3 มิติและแอนิเมชัน ที่สามารถแปลง ประโยคภาษาไทยเป็นท่าทางภาษามือไทย (TSL) ที่ถูกต้องและเป็นธรรมชาติ โครงการนี้ช่วยเสริมสร้างการสื่อสารสำหรับ ชุมชนผู้บกพร่องทางการได้ยินในประเทศไทย โดยใช้แนวทางที่อิงกับ แลนมาร์ก (Landmark-Based Approach) ผ่านการใช้ Vector Quantized Variational Autoencoder (VQVAE) และ Large Language Model (LLM) ในการสร้างภาษามือ ระบบเริ่มต้นด้วยการ ฝึกโมเดล VQVAE โดยใช้ข้อมูลแลนมาร์กที่สกัดจากวิดีโอภาษามือ เพื่อให้โมเดลเรียนรู้ การแทนค่าแบบแฝง (Latent Representations) ของท่าทางภาษามือไทย หลังจากนั้น โมเดลที่ฝึกแล้วจะถูกใช้เพื่อ สร้างลำดับแลนมาร์กของท่าทางเพิ่มเติม ซึ่งช่วยขยายชุดข้อมูลฝึกโดยอ้างอิงจาก BigSign ThaiPBS Dataset เมื่อชุดข้อมูลได้รับการขยายแล้ว ระบบจะทำการ ฝึก LLM เพื่อสร้างลำดับแลนมาร์กที่ถูกต้องจากข้อความภาษาไทย โดยลำดับแลนมาร์กที่ได้จะถูกนำไปใช้ สร้างแอนิเมชันของโมเดล 3 มิติใน Blender เพื่อให้ได้ท่าทางภาษามือที่ลื่นไหลและเป็นธรรมชาติ โครงการนี้ถูกพัฒนาด้วย Python โดยใช้ MediaPipe สำหรับการสกัดแลนมาร์ก OpenCV สำหรับการประมวลผลภาพแบบเรียลไทม์ และ Blender’s Python API สำหรับสร้างแอนิเมชัน 3 มิติ ด้วยการผสานเทคโนโลยี AI, การเข้ารหัสผ่าน VQVAE และการสร้างแลนมาร์กด้วย LLM ระบบนี้มุ่งหวังที่จะ เชื่อมช่องว่างระหว่างข้อความภาษาไทยและภาษามือไทย เพื่อมอบแพลตฟอร์มการแปลภาษามือแบบโต้ตอบ ในเวลาจริง ให้กับชุมชนผู้บกพร่องทางการได้ยินในประเทศไทย
ระบบเริ่มต้นด้วยการ ฝึกโมเดล VQVAE โดยใช้ข้อมูลแลนมาร์กที่สกัดจากวิดีโอภาษามือ เพื่อให้โมเดลเรียนรู้ การแทนค่าแบบแฝง (Latent Representations) ของท่าทางภาษามือไทย หลังจากนั้น โมเดลที่ฝึกแล้วจะถูกใช้เพื่อ สร้างลำดับแลนมาร์กของท่าทางเพิ่มเติม ซึ่งช่วยขยายชุดข้อมูลฝึกโดยอ้างอิงจาก BigSign ThaiPBS Dataset เมื่อชุดข้อมูลได้รับการขยายแล้ว ระบบจะทำการ ฝึก LLM เพื่อสร้างลำดับแลนมาร์กที่ถูกต้องจากข้อความภาษาไทย โดยลำดับแลนมาร์กที่ได้จะถูกนำไปใช้ สร้างแอนิเมชันของโมเดล 3 มิติใน Blender เพื่อให้ได้ท่าทางภาษามือที่ลื่นไหลและเป็นธรรมชาติ
โครงการนี้ถูกพัฒนาด้วย Python โดยใช้ MediaPipe สำหรับการสกัดแลนมาร์ก OpenCV สำหรับการประมวลผลภาพแบบเรียลไทม์ และ Blender’s Python API สำหรับสร้างแอนิเมชัน 3 มิติ ด้วยการผสานเทคโนโลยี AI, การเข้ารหัสผ่าน VQVAE และการสร้างแลนมาร์กด้วย LLM ระบบนี้มุ่งหวังที่จะ เชื่อมช่องว่างระหว่างข้อความภาษาไทยและภาษามือไทย เพื่อมอบแพลตฟอร์มการแปลภาษามือแบบโต้ตอบ ในเวลาจริง ให้กับชุมชนผู้บกพร่องทางการได้ยินในประเทศไทย
Objective
1. ออกแบบและพัฒนาระบบแอนิเมชัน 3 มิติที่สามารถแปลงข้อความภาษาไทยที่เขียนเป็นท่าทางภาษามือไทย ได้อย่างถูกต้องและเป็นธรรมชาติ 2. ทำให้ระบบเป็นไปตามกฎทางภาษาศาสตร์ของภาษามือไทย โดยครอบคลุมองค์ประกอบสำคัญ เช่น ความเร็วของท่าทาง รูปทรงของมือ 3. ใช้เทคนิคขั้นสูงด้านการประมวลผลภาษาธรรมชาติ (NLP), การเรียนรู้ของเครื่อง (Machine Learning) และการสร้างแบบจำลอง 3 มิติ เพื่อแปลอินพุตภาษาไทยและสร้างแอนิเมชัน 3 มิติของภาษามือไทยแบบเรียลไทม์ 4. จัดทำเครื่องมือสื่อสารที่เข้าถึงได้ง่าย เพื่อลดอุปสรรคระหว่างบุคคลที่ได้ยินกับชุมชนผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดในประเทศไทย 5. สร้างอินเทอร์เฟซที่ยืดหยุ่นและใช้งานง่าย ซึ่งช่วยให้ผู้ใช้สามารถป้อนข้อความภาษาไทยและได้รับแอนิเมชันภาษามือไทยที่ถูกต้องแบบเรียลไทม์ ส่งเสริมความเท่าเทียมและพัฒนาการสื่อสาร
การสื่อสารระหว่างบุคคลที่ได้ยินกับผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดเป็นอุปสรรคสำคัญ โดยเฉพาะเมื่อบุคคลที่ได้ยินไม่มีความคุ้นเคยกับภาษามือไทย (TSL) ภาษามือไทยมีความซับซ้อนและต้องใช้การฝึกฝน ความตั้งใจ และประสบการณ์อย่างมากจึงจะเชี่ยวชาญได้ ซึ่งมักต้องใช้เวลาหลายเดือนของการศึกษาอย่างต่อเนื่อง แม้แต่เพื่อให้ได้ระดับความคล่องแคล่วขั้นพื้นฐาน สิ่งนี้ก่อให้เกิดช่องว่างด้านการเข้าถึง โดยเฉพาะกับผู้พิการทางการได้ยินที่อาจไม่เคยเรียนรู้ไวยากรณ์หรือภาษาไทยมาตรฐาน อาจพบความยากลำบากในการทำความเข้าใจข้อความภาษาไทยที่เขียน ซึ่งยิ่งทำให้การสื่อสารเป็นเรื่องที่ท้าทายยิ่งขึ้น แม้ว่าการใช้ข้อความเขียนอาจดูเหมือนเป็นทางออกหนึ่งของการสื่อสาร แต่ในความเป็นจริงอาจไม่ได้ผลเสมอไป เนื่องจากผู้พิการทางการได้ยินบางคนอาจไม่สามารถอ่านหรือทำความเข้าใจข้อความภาษาไทยได้อย่างคล่องแคล่ว อันเนื่องมาจากการไม่ได้สัมผัสกับไวยากรณ์ของภาษาพูดแบบดั้งเดิม นี่จึงเป็นเหตุผลสำคัญที่ต้องมีเครื่องมือแปลภาษาแบบเรียลไทม์ที่สามารถแปลงข้อความภาษาไทยเป็นภาษามือไทยได้อย่างถูกต้อง เพื่อช่วยลดช่องว่างนี้ และส่งเสริมให้เกิดปฏิสัมพันธ์ที่มีความหมายระหว่างผู้พิการทางการได้ยิน บุคคลที่ไม่สามารถใช้คำพูด และบุคคลที่ได้ยิน
1. เสริมสร้างการเข้าถึงและการสื่อสาร– ระบบนี้จะช่วยให้ผู้บกพร่องทางการได้ยินสามารถสื่อสารกับบุคคลทั่วไปได้ง่ายขึ้นผ่านการแปลข้อความภาษาไทยเป็นภาษามือไทย 2. ส่งเสริมการเรียนรู้ภาษามือไทย – ผู้ที่ไม่รู้ภาษามือสามารถใช้ระบบเพื่อเรียนรู้การแสดงท่าทางภาษามือไทยได้อย่างแม่นยำจากแอนิเมชัน 3D ที่แสดงผลอย่างเป็นธรรมชาติ 3. สนับสนุนงานวิจัยด้าน AI และภาษามือไทย – เนื่องจากภาษามือไทยยังขาดชุดข้อมูลขนาดใหญ่ โครงการนี้จะช่วยส่งเสริมการพัฒนาโมเดล AI สำหรับการเรียนรู้ท่าทางภาษามือ 4. ช่วยพัฒนาเทคโนโลยีแปลภาษามือแบบเรียลไทม์ – ระบบนี้สามารถนำไปใช้ในแอปพลิเคชันแปลภาษามือแบบเรียลไทม์ที่ช่วยให้ผู้บกพร่องทางการได้ยินสามารถสื่อสารในสถานการณ์ต่าง ๆ ได้สะดวกขึ้น 5. เป็นเครื่องมือช่วยพัฒนาสื่อการเรียนการสอน– โรงเรียนและสถาบันการศึกษาที่สอนภาษามือไทยสามารถใช้แอนิเมชัน 3D และโมเดลการจดจำภาษามือในการสอน เพื่อให้ผู้เรียนเข้าใจโครงสร้างภาษามือไทยได้ดียิ่งขึ้น 6. พัฒนาแพลตฟอร์มสำหรับการสื่อสารสองทาง– ระบบรองรับทั้งการแปลงข้อความเป็นภาษามือและการจดจำภาษามือ ซึ่งช่วยให้ผู้ที่ใช้ภาษามือสามารถโต้ตอบกับบุคคลที่ไม่ได้ใช้ภาษามือได้อย่างมีประสิทธิภาพ 7. กระตุ้นให้เกิดการพัฒนาแอปพลิเคชันที่เกี่ยวข้องกับภาษามือไทย– โครงการนี้สามารถเป็นแนวทางให้กับนักพัฒนาและนักวิจัยในการพัฒนาเทคโนโลยีด้าน AI และ 3D Animation เพื่อรองรับการแปลและจดจำภาษามือไทยในอนาคต