KMITL Innovation Expo 2025 Logo

VIDEO-BASED EMOTION DETECTION FROM FACIAL EXPRESSIONS WITH ROBUSTNESS TO PARTIAL OCCLUSION

Abstract

Facial Expression Recognition (FER) has attracted considerable attention in fields such as healthcare, customer service, and behavior analysis. However, challenges remain in developing a robust system capable of adapting to various environments and dynamic situations. In this study, the researchers introduced an Ensemble Learning approach to merge outputs from multiple models trained in specific conditions, allowing the system to retain old information while efficiently learning new data. This technique is advantageous in terms of training time and resource usage, as it reduces the need to retrain a new model entirely when faced with new conditions. Instead, new specialized models can be added to the Ensemble system with minimal resource requirements. The study explores two main approaches to Ensemble Learning: averaging outputs from dedicated models trained under specific scenarios and using Mixture of Experts (MoE), a technique that combines multiple models each specialized in different situations. Experimental results showed that Mixture of Experts (MoE) performs more effectively than the Averaging Ensemble method for emotion classification in all scenarios. The MoE system achieved an average accuracy of 84.41% on the CK+ dataset, 54.20% on Oulu-CASIA, and 61.66% on RAVDESS, surpassing the 71.64%, 44.99%, and 57.60% achieved by Averaging Ensemble in these datasets, respectively. These results demonstrate MoE’s ability to accurately select the model specialized for each specific scenario, enhancing the system’s capacity to handle more complex environments.

Objective

ปัจจุบันการตรวจจับอารมณ์ของมนุษย์ผ่านการแสดงออกทางใบหน้า (Emotion Detection Using Facial Expression) ได้รับความสนใจมากขึ้น เนื่องจากมีการประยุกต์ใช้อย่างแพร่หลายในหลายด้าน เช่น สุขภาพจิตการศึกษา และการบริการลูกค้า อย่างไรก็ตาม การพัฒนาระบบที่มีความแม่นยำและสามารถทนทานต่อการเปลี่ยนแปลงของสภาพแวดล้อม เช่น การบดบังบางส่วนของใบหน้า หรือสภาพแสงที่ไม่สม่ำเสมอ ยังคงเป็นความท้าทายหลัก โดยเฉพาะการพัฒนาโมเดลที่สามารถทำงานได้ในสภาพแวดล้อมที่หลากหลาย จากการศึกษางานวิจัยเกี่ยวกับ Facial Expression Recognition (FER) ผู้วิจัยพบว่าเทคนิค Frame Attention Network (FAN) ซึ่งเป็นการประยุกต์ใช้กลไก Attention จากงานด้านการประมวลผลภาษาสามารถนำมาใช้เพื่อให้ความสำคัญกับเฟรมที่มีความหมายในวิดีโอ ทำให้ระบบสามารถโฟกัสเฉพาะเฟรมที่แสดงอารมณ์ที่สำคัญได้ ซึ่งส่งผลต่อประสิทธิภาพของโมเดล ทีมวิจัยจึงนำเทคนิคนี้มาปรับปรุงเพื่อเพิ่มความทนทานของระบบในการจัดการสถานการณ์ดังกล่าว เพื่อพัฒนาประสิทธิภาพของระบบให้ดียิ่งขึ้น ทีมวิจัยได้ใช้แนวทาง Ensemble Learning ซึ่งเป็นการรวมผลลัพธ์จากหลายโมเดลที่ถูกฝึกในเงื่อนไขเฉพาะ การใช้ Ensemble ช่วยลดข้อผิดพลาดจากการใช้โมเดลเดียว และเพิ่มความแม่นยำและความน่าเชื่อถือของผลลัพธ์ โดยเฉพาะอย่างยิ่งในสภาพแวดล้อมที่หลากหลาย อย่างไรก็ตาม ทีมวิจัยยังได้ขยายการพัฒนาเพิ่มเติมโดยใช้เทคนิค Multi-Task Learning (MTL) เพื่อให้ระบบสามารถเรียนรู้จากหลายงานพร้อมกัน ซึ่งในงานวิจัยนี้ได้นำ MTL มาใช้ใน Mixture of Experts โดยให้ MTL ทำหน้าที่เป็นกลไก Gating ช่วยเลือกโมเดลที่เหมาะสมกับแต่ละสถานการณ์ เช่น การบดบังใบหน้า ทำให้ระบบสามารถตัดสินใจได้อย่างมีประสิทธิภาพว่าควรใช้โมเดลใดในสภาวะแวดล้อมที่ต่างไป สามารถรักษาความแม่นยำแม้ในสภาวะที่มีความหลากหลายและยังคงรักษาข้อดีในเรื่องของความสามารถในการขยายขนาด (Scaling Up) ได้อย่างมีประสิทธิภาพ

Other Innovations

Classifying children's writing skill levels using image processing

คณะเทคโนโลยีสารสนเทศ

Classifying children's writing skill levels using image processing

Currently, the issue of developmental writing disabilities in children is a matter of great importance for school-age children. Diagnosing whether a child has developmental writing disabilities relies on writing skill assessments, which are administered to those seeking diagnosis and evaluated by medical professionals or experts. However, there are still limitations in the diagnostic process, which depends heavily on expert physicians, leading to a high demand for human resources. To address this, we have developed a method for scoring writing skill assessments using image processing technology, based on existing scoring criteria. Currently, three criteria are used for scoring: writing position, article format, and copying speed. We have also created a web application to make the system more accessible and easier to use.

Read more
Mango Fruit Detection and 3D Localization System

คณะวิศวกรรมศาสตร์

Mango Fruit Detection and 3D Localization System

The evaluation of mango yield and consumer behavior reflects an increasing awareness of product origins, with a growing demand for traceability to understand how the produce has been cultivated and managed. This study explores the relationship between mango characteristics and cultivation practices before harvest, using location identification to provide insights into these processes. To achieve this, a model was developed to detect and locate mangoes using 2D images via a Deep Learning approach. The study also investigates techniques to determine the real-world coordinates of mangoes from 2D images. The YOLOv8 model was employed for object detection, integrated with camera calibration and triangulation techniques to estimate the 3D positions of detected mangoes. Experiments involved 125 trials with randomized mango positions and camera placements at varying yaw and pitch angles. Parameters extracted from sequential images were compared to derive the actual 3D positions of the mangoes. The YOLOv8 model demonstrated high performance with prediction metrics of Precision (0.928), Recall (0.901), mAP50 (0.965), mAP50-95 (0.785), and F1-Score (0.914). These results indicate sufficient accuracy for predicting mango positions, with an average positional error of approximately 38 centimeters.

Read more
Herbal inhaler Homyen

คณะศิลปศาสตร์

Herbal inhaler Homyen

The innovation of aromatic and cooling inhalers stems from the widespread use of inhalers in modern times. This innovation aims to elevate the product to suit contemporary lifestyles, incorporating Thai identity in a way that resonates with the younger generation. The development focuses on enhancing scents using locally sourced Thai ingredients, adding value to Thai flowers and fruits. Various extraction methods are employed to preserve the fragrance for a longer duration. Additionally, borneol, camphor, and menthol are blended to provide a refreshing and cooling sensation. For the packaging, polymer clay is used to create the container, which is hand-molded and then baked to harden. Instead of a traditional cap, a fabric covering is used to introduce a unique and innovative alternative to conventional inhalers.

Read more