Thai lip reading based on Learning of spatiotemporal features



#KLLC 2024
#Digital Technology


Reading lip movements, also known as speechreading, is the process of using visual cues to interpret sounds produced by the mouth and the articulation of the lips. Individuals who engage in
lip reading observe the movements of the lips, nose, and tongue in order to perceive and interpret the meaning of spoken words. This skill can be used to communicate with individuals who are deaf
or in situations where sound is not optimal, such as in noisy environments or places where speaking aloud is not permitted. Lip reading is often complemented with sign language to enhance meaning and serve as a more accurate and comprehensible means of communication. Currently, there is a limited availability of lip reading models specifically designed for the Thai language. Therefore, the researchers have initiated efforts to develop a model for lip reading in Thai. This endeavor begins with data collection, as there is currently a scarcity of Thai language video datasets for lip reading. The collected dataset will then be transformed into a format suitable for input into the prepared simulation model. Following adjustments and fine-tuning of the model to suit the Thai language dataset, experimentation and evaluation will be conducted. However, no conclusive results have been drawn from these experiments due to the ongoing progress of data collection and dataset transformation.


Lip Reading หรือที่เรียกว่าการอ่านจากการพูดด้วยการดูจากการเคลื่อนไหวของริมฝีปาก คือการใช้การ มองเห็นเพื่อตีความเสียงที่เกิดจากปากและกระดูกต่อปาก โดยคนที่ทํา Lip Reading จะสังเกตเคลื่อนไหวของปาก จมูกและลิ้น เพื่อจะได้รับรู้และแปลความหมายของคําพูดซึ่งสามารถนําไปใช้ในการเขาสื่อสารกับคนหูหนวก หรือในสถานการณ์ที่เสียงไม่เป็นไปตามปกติ เช่น เมื่อมีเสียงรบกวนหรือในสถานที่ที่ไม่อนุญาตให้ใช้เสียงพูด โดย Lip Reading มักจะใช้ร่วมกับการสื่อสารด้วยภาษามือ (Sign Language) เพื่อเสริมความหมายและเป็น ช่องทางในการสื่อสารที่ถูกต้องและเข้าใจได้ดีขึ้นซึ่งในปัจจุบันยังไม่มีการทํา Lip Reading ที่รองรับกับภาษาไทย คณะผู้จัดทําจึงมีความคิดริเริ่มที่จะพัฒนาแบบจําลองสําหรับภาษาไทย

Project Members

บุณยกร สงวนศักดิ์


ธนธรณ์ หอมชิต


สมเกียรติ วังศิริพิทักษ์
Somkiat Wangsiripitak



Vote for this Innovation!