KMITL Expo 2026 LogoKMITL 66th Anniversary Logo

COMMUNICATION ASSISTANCE SYSTEM FOR PARALYZED IMMOBILE PATIENTS BY EYE TRACKING

Abstract

This project aims to design and develop an eye-tracking system to facilitate communication for paralyzed immobile patients. The system is designed to enable patients to convey their needs to caregivers or family members by detecting and tracking eye movements using the Tobii Eye Tracker 5 device. This approach serves as an alternative communication method, replacing the physical movement or speech of paralyzed patients. The system effectively detects and tracks eye movements at a distance of 55 to 85 centimeters and is designed for installation on a computer to ensure ease of use. The program interface consists of three main sections: (1) a set of emotions, (2) a set of needs, and (3) a set of additional needs. It supports input from a virtual keyboard in both Thai and English and allows users to specify additional needs through eye-tracking-enabled typing. Furthermore, the system can generate synthetic speech for text that is difficult to pronounce aloud, send notification messages via the Line application, and store usage data in a database presented in a dashboard format. System testing revealed that the optimal detection distance ranges from 65 to 75 centimeters, as this range yields an error rate of no more than 1 percent. The system accurately responds to eye movements for communication through sound within 3 seconds when interacting with various function buttons. This eye-tracking system effectively enables paralyzed immobile patients to communicate their emotions and needs, facilitating better understanding and interaction between patients and their caregivers or family members.

Objective

จากรายงานสถิติสาธารณสุข กระทรวงสาธารณสุขในปี 2566 ประเทศไทยพบผู้ป่วยโรคหลอดเลือดสมองมากถึง 355,193 ราย เสียชีวิต 34,518 ราย ผู้เสียชีวิตส่วนใหญ่มีอายุน้อยกว่า 70 ปี เป็นโรคหลอดเลือดสมอง ขณะที่โรคกล้ามเนื้ออ่อนแรง (ALS) ซึ่งแม้จะมีโอกาสเป็นได้น้อยกว่า แต่หนทางการรักษาให้หายเป็นปกติมีน้อย (ข้อมูลในระบบคลังข้อมูลสุขภาพ HDC กระทรวงสาธารณสุข ณ วันที่ 22 กรกฎาคม 2567) ที่สำคัญผู้ป่วยโรคหลอดเลือดสมอง อัมพาต และโรคกล้ามเนื้ออ่อนแรงส่วนใหญ่ยังต้องเผชิญสภาวะการสูญเสียความสามารถทางการเคลื่อนไหวร่างกาย หรือการสื่อสาร อย่างไรก็ตามผู้ป่วยกลุ่มที่ไม่สามารถเคลื่อนไหวร่างกาย และพูดคุยสื่อสารได้ส่งผลให้การใช้ชีวิตนั้นยากลำบาก ไม่แม้แต่จะบอกถึงความรู้สึก และความต้องการพื้นฐานให้กับผู้ดูแล หรือสมาชิกในครอบครัวให้รับรู้ ซึ่งปัจจุบันนั้นวิธีการสื่อสารเพื่อการรักษา หรือการดูแลผู้ป่วยอัมพาตที่ไม่สามารถเคลื่อนไหวร่างกายได้มีข้อจำกัดในด้านการสื่อสารเป็นอย่างมาก เช่น วิธีการใช้ภาพพิมพ์ หรือบอร์ดคำ มีข้อจำกัดในด้านจำนวนคำ หรือภาพที่แสดงทำให้ผู้ป่วยไม่สามารถสื่อสารให้เป็นไปตามความต้องการ หรือความรู้สึกของผู้ป่วยได้อย่างถูกต้องตามความต้องนั้น ๆ ได้อย่างเต็มที่ ​ระบบติดตามดวงตาเพื่อช่วยเหลือการสื่อสารสำหรับผู้ป่วยอัมพาตที่ไม่สามารถเคลื่อนไหวได้ ประยุกต์ใช้งานเซ็นเซอร์ติดตามดวงตา Tobii Eye Tracker และโปรแกรม Unity สร้างหน้าต่างผู้ใช้งาน (User Interface) เป็นรูปแบบของชุดคำสั่งการสื่อสาร โดยมีการส่งข้อความผ่านแอปพลิเคชันไลน์ และเก็บข้อมูลผลการตอบสนองความต้องการประจำวันของผู้ป่วยใน Google Sheet จากนั้นนำมาแสดงผลผ่าน Dashboard โดยใช้ Google Looker ซึ่งหากมีการใช้งานระบบติดตามดวงตาผู้ป่วยสามารถสื่อสารความต้องการได้ง่าย และตรงต่อความต้องการมากขึ้นเพื่อเพิ่มประสิทธิภาพของการสื่อสารระหว่างผู้ป่วยและผู้ดูแล

Other Innovations

SignGen: An LLM-Based Thai Sign Language Generator

คณะวิศวกรรมศาสตร์

SignGen: An LLM-Based Thai Sign Language Generator

The Thai Sign Language Generation System aims to create a comprehensive 3D modeling and animation platform that translates Thai sentences into dynamic and accurate representations of Thai Sign Language (TSL) gestures. This project enhances communication for the Thai deaf community by leveraging a landmark-based approach using a Vector Quantized Variational Autoencoder (VQVAE) and a Large Language Model (LLM) for sign language generation. The system first trains a VQVAE encoder using landmark data extracted from sign videos, allowing it to learn compact latent representations of TSL gestures. These encoded representations are then used to generate additional landmark-based sign sequences, effectively expanding the training dataset using the BigSign ThaiPBS dataset. Once the dataset is augmented, an LLM is trained to output accurate landmark sequences from Thai text inputs, which are then used to animate a 3D model in Blender, ensuring fluid and natural TSL gestures. The project is implemented using Python, incorporating MediaPipe for landmark extraction, OpenCV for real-time image processing, and Blender’s Python API for 3D animation. By integrating AI, VQVAE-based encoding, and LLM-driven landmark generation, this system aspires to bridge the communication gap between written Thai text and expressive TSL gestures, providing the Thai deaf community with an interactive, real-time sign language animation platform.

Read more
Detection of Durian Leaf Diseases Using Image Analysis and Artificial Intelligence

คณะเทคโนโลยีการเกษตร

Detection of Durian Leaf Diseases Using Image Analysis and Artificial Intelligence

Durian is a crucial economic crop of Thailand and one of the most exported agricultural products in the world. However, producing high-quality durian requires maintaining the health of durian trees, ensuring they remain strong and disease-free to optimize productivity and minimize potential damage to both the tree and its fruit. Among the various diseases affecting durian, foliar diseases are among the most common and rapidly spreading, directly impacting tree growth and fruit quality. Therefore, monitoring and controlling leaf diseases is essential for preserving durian quality. This study aims to apply image analysis technology combined with artificial intelligence (AI) to classify diseases in durian leaves, enabling farmers to diagnose diseases independently without relying on experts. The classification includes three categories: healthy leaves (H), leaves infected with anthracnose (A), and leaves affected by algal spot (S). To develop the classification model, convolutional neural network (CNN) algorithms—ResNet-50, GoogleNet, and AlexNet—were employed. Experimental results indicate that the classification accuracy of ResNet-50, GoogleNet, and AlexNet is 93.57%, 93.95%, and 68.69%, respectively.

Read more
Air Quality Monitoring System with External Device Controlling Capability

คณะบริหารธุรกิจ

Air Quality Monitoring System with External Device Controlling Capability

Air Quality Monitoring System with External Device Controlling Capability is the equipment which measures and records the climatic data with the capability to control external devices (e.g. blower fan or air purifier) to rectify the surrounding atmosphere according to the air quality at the moment and other users' pre-defined conditions.

Read more