KMITL Innovation Expo 2025 Logo

COMMUNICATION ASSISTANCE SYSTEM FOR PARALYZED IMMOBILE PATIENTS BY EYE TRACKING

Abstract

This project aims to design and develop an eye-tracking system to facilitate communication for paralyzed immobile patients. The system is designed to enable patients to convey their needs to caregivers or family members by detecting and tracking eye movements using the Tobii Eye Tracker 5 device. This approach serves as an alternative communication method, replacing the physical movement or speech of paralyzed patients. The system effectively detects and tracks eye movements at a distance of 55 to 85 centimeters and is designed for installation on a computer to ensure ease of use. The program interface consists of three main sections: (1) a set of emotions, (2) a set of needs, and (3) a set of additional needs. It supports input from a virtual keyboard in both Thai and English and allows users to specify additional needs through eye-tracking-enabled typing. Furthermore, the system can generate synthetic speech for text that is difficult to pronounce aloud, send notification messages via the Line application, and store usage data in a database presented in a dashboard format. System testing revealed that the optimal detection distance ranges from 65 to 75 centimeters, as this range yields an error rate of no more than 1 percent. The system accurately responds to eye movements for communication through sound within 3 seconds when interacting with various function buttons. This eye-tracking system effectively enables paralyzed immobile patients to communicate their emotions and needs, facilitating better understanding and interaction between patients and their caregivers or family members.

Objective

จากรายงานสถิติสาธารณสุข กระทรวงสาธารณสุขในปี 2566 ประเทศไทยพบผู้ป่วยโรคหลอดเลือดสมองมากถึง 355,193 ราย เสียชีวิต 34,518 ราย ผู้เสียชีวิตส่วนใหญ่มีอายุน้อยกว่า 70 ปี เป็นโรคหลอดเลือดสมอง ขณะที่โรคกล้ามเนื้ออ่อนแรง (ALS) ซึ่งแม้จะมีโอกาสเป็นได้น้อยกว่า แต่หนทางการรักษาให้หายเป็นปกติมีน้อย (ข้อมูลในระบบคลังข้อมูลสุขภาพ HDC กระทรวงสาธารณสุข ณ วันที่ 22 กรกฎาคม 2567) ที่สำคัญผู้ป่วยโรคหลอดเลือดสมอง อัมพาต และโรคกล้ามเนื้ออ่อนแรงส่วนใหญ่ยังต้องเผชิญสภาวะการสูญเสียความสามารถทางการเคลื่อนไหวร่างกาย หรือการสื่อสาร อย่างไรก็ตามผู้ป่วยกลุ่มที่ไม่สามารถเคลื่อนไหวร่างกาย และพูดคุยสื่อสารได้ส่งผลให้การใช้ชีวิตนั้นยากลำบาก ไม่แม้แต่จะบอกถึงความรู้สึก และความต้องการพื้นฐานให้กับผู้ดูแล หรือสมาชิกในครอบครัวให้รับรู้ ซึ่งปัจจุบันนั้นวิธีการสื่อสารเพื่อการรักษา หรือการดูแลผู้ป่วยอัมพาตที่ไม่สามารถเคลื่อนไหวร่างกายได้มีข้อจำกัดในด้านการสื่อสารเป็นอย่างมาก เช่น วิธีการใช้ภาพพิมพ์ หรือบอร์ดคำ มีข้อจำกัดในด้านจำนวนคำ หรือภาพที่แสดงทำให้ผู้ป่วยไม่สามารถสื่อสารให้เป็นไปตามความต้องการ หรือความรู้สึกของผู้ป่วยได้อย่างถูกต้องตามความต้องนั้น ๆ ได้อย่างเต็มที่ ​ระบบติดตามดวงตาเพื่อช่วยเหลือการสื่อสารสำหรับผู้ป่วยอัมพาตที่ไม่สามารถเคลื่อนไหวได้ ประยุกต์ใช้งานเซ็นเซอร์ติดตามดวงตา Tobii Eye Tracker และโปรแกรม Unity สร้างหน้าต่างผู้ใช้งาน (User Interface) เป็นรูปแบบของชุดคำสั่งการสื่อสาร โดยมีการส่งข้อความผ่านแอปพลิเคชันไลน์ และเก็บข้อมูลผลการตอบสนองความต้องการประจำวันของผู้ป่วยใน Google Sheet จากนั้นนำมาแสดงผลผ่าน Dashboard โดยใช้ Google Looker ซึ่งหากมีการใช้งานระบบติดตามดวงตาผู้ป่วยสามารถสื่อสารความต้องการได้ง่าย และตรงต่อความต้องการมากขึ้นเพื่อเพิ่มประสิทธิภาพของการสื่อสารระหว่างผู้ป่วยและผู้ดูแล

Other Innovations

Recommence

คณะสถาปัตยกรรม ศิลปะและการออกแบบ

Recommence

A natural representation of new beginnings.

Read more
A Computer Assembly Training with VR Technology

คณะเทคโนโลยีสารสนเทศ

A Computer Assembly Training with VR Technology

Nowadays, assembling a computer is considered something close to many people. Everyone has a chance to catch it. which knowledge of various components of computers and skills in assembling computers. These 2 things mentioned above are things that the general public should have basic knowledge and understanding about. For the self-assembly of computers, We therefore would like to provide knowledge to the general public who wants to learn how to assemble a computer, including information about its components. Through presentation in the form of learning media using VR technology, which will help reduce the problem of errors. and resources used in assembly Ready to create excitement for users by simulating computer assembly for users to interact within the virtual world. experience and provide knowledge before actually putting it into practice with real equipment This project was therefore created for those interested in assembling computers. Especially for people who have no experience in computer assembly. Including people who would like to have the opportunity to try building a computer by themselves.

Read more
The Metaverse of KMITL Lifelong Learning Center (KLLC) and Data Management Center (KDMC) for Public Relations

คณะเทคโนโลยีสารสนเทศ

The Metaverse of KMITL Lifelong Learning Center (KLLC) and Data Management Center (KDMC) for Public Relations

This thesis aims to present the development of a metaverse project for the KMITL Lifelong Learning Center (KLLC) and KMITL Data Management Center (KDMC) for Public Relations at King Mongkut's Institute of Technology Ladkrabang, with the main goal of creating a metaverse prototype to promote learning and public relations through virtual reality technology for students, staff, and external individuals. In this project, the developers have created a metaverse system to simulate a virtual experience for users at the KMITL Lifelong Learning Center (KLLC) and KMITL Data Management Center (KDMC) for Public Relations at King Mongkut's Institute of Technology Ladkrabang. Users will be able to access the system through a web application developed with Unity, which is the tool used to create the metaverse system. The design allows users to visit and interact with various locations within the building to promote public relations in a more widespread virtual format. The developers used Maya and Unity software to create a metaverse system for modeling 3D objects and managing various functions, providing users with a realistic and novel experience. This project is expected to promote learning and the dissemination of information in an easily accessible modern format, creating opportunities for education and learning for those who cannot travel to see the actual locations. This makes metaverse technology an important tool for effectively developing learning and engagement in the digital age.

Read more