SignGen: โปรแกรมสร้างวิดีโอภาษามือไทยโดยใช้โมเดลภาษาขนาดใหญ่

ระบบสร้างภาษามือไทยเชิงกำเนิดมีเป้าหมายในการพัฒนาแพลตฟอร์ม การสร้างแบบจำลอง 3 มิติและแอนิเมชัน ที่สามารถแปลง ประโยคภาษาไทยเป็นท่าทางภาษามือไทย (TSL) ที่ถูกต้องและเป็นธรรมชาติ โครงการนี้ช่วยเสริมสร้างการสื่อสารสำหรับ ชุมชนผู้บกพร่องทางการได้ยินในประเทศไทย โดยใช้แนวทางที่อิงกับ แลนมาร์ก (Landmark-Based Approach) ผ่านการใช้ Vector Quantized Variational Autoencoder (VQVAE) และ Large Language Model (LLM) ในการสร้างภาษามือ ระบบเริ่มต้นด้วยการ ฝึกโมเดล VQVAE โดยใช้ข้อมูลแลนมาร์กที่สกัดจากวิดีโอภาษามือ เพื่อให้โมเดลเรียนรู้ การแทนค่าแบบแฝง (Latent Representations) ของท่าทางภาษามือไทย หลังจากนั้น โมเดลที่ฝึกแล้วจะถูกใช้เพื่อ สร้างลำดับแลนมาร์กของท่าทางเพิ่มเติม ซึ่งช่วยขยายชุดข้อมูลฝึกโดยอ้างอิงจาก BigSign ThaiPBS Dataset เมื่อชุดข้อมูลได้รับการขยายแล้ว ระบบจะทำการ ฝึก LLM เพื่อสร้างลำดับแลนมาร์กที่ถูกต้องจากข้อความภาษาไทย โดยลำดับแลนมาร์กที่ได้จะถูกนำไปใช้ สร้างแอนิเมชันของโมเดล 3 มิติใน Blender เพื่อให้ได้ท่าทางภาษามือที่ลื่นไหลและเป็นธรรมชาติ โครงการนี้ถูกพัฒนาด้วย Python โดยใช้ MediaPipe สำหรับการสกัดแลนมาร์ก OpenCV สำหรับการประมวลผลภาพแบบเรียลไทม์ และ Blender’s Python API สำหรับสร้างแอนิเมชัน 3 มิติ ด้วยการผสานเทคโนโลยี AI, การเข้ารหัสผ่าน VQVAE และการสร้างแลนมาร์กด้วย LLM ระบบนี้มุ่งหวังที่จะ เชื่อมช่องว่างระหว่างข้อความภาษาไทยและภาษามือไทย เพื่อมอบแพลตฟอร์มการแปลภาษามือแบบโต้ตอบ ในเวลาจริง ให้กับชุมชนผู้บกพร่องทางการได้ยินในประเทศไทย

การสื่อสารระหว่างบุคคลที่ได้ยินกับผู้พิการทางการได้ยินหรือบุคคลที่ไม่สามารถใช้คำพูดเป็นอุปสรรคสำคัญ โดยเฉพาะเมื่อบุคคลที่ได้ยินไม่มีความคุ้นเคยกับภาษามือไทย (TSL) ภาษามือไทยมีความซับซ้อนและต้องใช้การฝึกฝน ความตั้งใจ และประสบการณ์อย่างมากจึงจะเชี่ยวชาญได้ ซึ่งมักต้องใช้เวลาหลายเดือนของการศึกษาอย่างต่อเนื่อง แม้แต่เพื่อให้ได้ระดับความคล่องแคล่วขั้นพื้นฐาน สิ่งนี้ก่อให้เกิดช่องว่างด้านการเข้าถึง โดยเฉพาะกับผู้พิการทางการได้ยินที่อาจไม่เคยเรียนรู้ไวยากรณ์หรือภาษาไทยมาตรฐาน อาจพบความยากลำบากในการทำความเข้าใจข้อความภาษาไทยที่เขียน ซึ่งยิ่งทำให้การสื่อสารเป็นเรื่องที่ท้าทายยิ่งขึ้น แม้ว่าการใช้ข้อความเขียนอาจดูเหมือนเป็นทางออกหนึ่งของการสื่อสาร แต่ในความเป็นจริงอาจไม่ได้ผลเสมอไป เนื่องจากผู้พิการทางการได้ยินบางคนอาจไม่สามารถอ่านหรือทำความเข้าใจข้อความภาษาไทยได้อย่างคล่องแคล่ว อันเนื่องมาจากการไม่ได้สัมผัสกับไวยากรณ์ของภาษาพูดแบบดั้งเดิม นี่จึงเป็นเหตุผลสำคัญที่ต้องมีเครื่องมือแปลภาษาแบบเรียลไทม์ที่สามารถแปลงข้อความภาษาไทยเป็นภาษามือไทยได้อย่างถูกต้อง เพื่อช่วยลดช่องว่างนี้ และส่งเสริมให้เกิดปฏิสัมพันธ์ที่มีความหมายระหว่างผู้พิการทางการได้ยิน บุคคลที่ไม่สามารถใช้คำพูด และบุคคลที่ได้ยิน