KMITL Innovation Expo 2025 Logo

A Unified Framework for Automated Captioning and Damage Segmentation in Car Damage Analysis

Abstract

This research presents a deep learning method for generating automatic captions from the segmentation of car part damage. It analyzes car images using a Unified Framework to accurately and quickly identify and describe the damage. The development is based on the research "GRiT: A Generative Region-to-text Transformer for Object Understanding," which has been adapted for car image analysis. The improvement aims to make the model generate precise descriptions for different areas of the car, from damaged parts to identifying various components. The researchers focuses on developing deep learning techniques for automatic caption generation and damage segmentation in car damage analysis. The aim is to enable precise identification and description of damages on vehicles, there by increasing speed and reducing the work load of experts in damage assessment. Traditionally, damage assessment relies solely on expert evaluations, which are costly and time-consuming. To address this issue, we propose utilizing data generation for training, automatic caption creation, and damage segmentation using an integrated framework. The researchers created a new dataset from CarDD, which is specifically designed for cardamage detection. This dataset includes labeled damages on vehicles, and the researchers have used it to feed into models for segmenting car parts and accurately labeling each part and damage category. Preliminary results from the model demonstrate its capability in automatic caption generation and damage segmentation for car damage analysis to be satisfactory. With these results, the model serves as an essential foundation for future development. This advancement aims not only to enhance performance in damage segmentation and caption generation but also to improve the model’s adaptability to a diversity of damages occurring on various surfaces and parts of vehicles. This will allow the system to be applied more broadly to different vehicle types and conditions of damage inthe future

Objective

ในปัจจุบัน การประเมินความเสียหายที่เกิดขึ้นกับรถยนต์เป็นงานที่ซับซ้อนและต้องการความเชี่ยวชาญจากผู้ประเมินที่มีประสบการณ์ เนื่องจากลักษณะความเสียหายแต่ละกรณีมีความแตกต่างกัน โดยต้องพิจารณาหลายปัจจัย เช่น ชนิดของความเสียหายและตำแหน่งที่ได้รับผลกระทบ การขาดมาตรฐานการประเมินที่ชัดเจนและความแตกต่างในวิธีการของผู้เชี่ยวชาญแต่ละคน อาจนำไปสู่ความไม่สอดคล้องในการตัดสินใจ ทำให้เกิดความล่าช้าในการซ่อมแซมและการเบิกจ่ายค่าสินไหมทดแทนที่ขาดมาตรฐาน ซึ่งกลายเป็นความท้าทายสำคัญที่ภาคประกันภัยต้องเผชิญ ในปี 2021 สหรัฐอเมริกามีรายงานอุบัติเหตุบนท้องถนนสูงถึง 1,767,116 ครั้ง ซึ่งเพิ่มขึ้น 13.3% จากปี 2011 แนวโน้มนี้สอดคล้องกับการเคลมค่าสินไหมที่เพิ่มขึ้น9%ในปี2022เมื่อเทียบกับปี2021ซึ่งเป็นผลจากค่าใช้จ่ายในการซ่อมแซมที่สูงขึ้นและภาวะเงินเฟ้อ ส่งผลให้ต้นทุนของภาคประกันภัยเพิ่มขึ้นอย่างมีนัยสำคัญ การเพิ่มขึ้นของจำนวนอุบัติเหตุและต้นทุนการซ่อมแซมได้นำไปสู่ความท้าทายหลักสองประการประการแรกคือ ความรวดเร็วและความแม่นยำในการประเมินความเสียหาย ซึ่งเป็นปัจจัยสำคัญในการปรับปรุงประสิทธิภาพของกระบวนการซ่อมแซมและการเบิกค่าสินไหม การประเมินด้วยมนุษย์อาจเกิดความล่าช้าและข้อผิดพลาด ทำให้เกิดความไม่พึงพอใจในด้านบริการของผู้เอาประกันภัย ประการที่สองคือการขาดมาตรฐานการประเมินความเสียหายที่ชัดเจนวิธีการประเมินของผู้เชี่ยวชาญที่แตกต่างกันอาจส่งผลให้เกิดความไม่สอดคล้องในการประเมินราคาและข้อเสนอแนะสำหรับการซ่อมแซมนอกจากนี้การขาดมาตรฐานกลางยังอาจก่อให้เกิดความไม่เป็นธรรมระหว่างบริษัทประกันและผู้เอาประกันภัย เนื่องจากการตีความขอบเขตความเสียหายที่แตกต่างกัน เพื่อแก้ปัญหานี้ แนวคิด การแบ่งส่วนความเสียหาย (Damage Segmentation) ได้ถูกเสนอให้เป็นเครื่องมือในการระบุและจำแนกความเสียหายตามส่วนต่าง ๆ ของรถยนต์ วิธีนี้ช่วยให้เกิดมาตรฐานในการประเมินและเพิ่มความรวดเร็วและแม่นยำในการประเมิน อย่างไรก็ตาม งานวิจัยส่วนใหญ่ที่เกี่ยวกับการแบ่งส่วนความเสียหายของรถยนต์ มักเน้นเพียงการแยกแยะความเสียหายออกจากพื้นที่โดยรอบ แต่ไม่ได้ระบุชิ้นส่วนที่เสียหายอย่างชัดเจน ขณะที่งานวิจัยบางชิ้นมุ่งเน้นแค่การแบ่งส่วนชิ้นส่วนของรถยนต์แยกกันเท่านั้น จากการศึกษาข้อมูลในปัจจุบัน ไม่พบงานวิจัยใดที่พยายามผสานเทคนิคการแบ่งส่วนความเสียหายร่วมกับการแบ่งส่วนชิ้นส่วนของรถยนต์ เพื่อสร้างความเข้าใจที่ครอบคลุม ด้วยเหตุนี้ งานวิจัยนี้จึงมุ่งเน้นการพัฒนา คำบรรยายอัตโนมัติ (Image Captioning) ร่วมกับการแบ่งส่วนความเสียหายซึ่งไม่เพียงแค่ระบุประเภทความเสียหาย แต่ยังสามารถระบุชิ้นส่วนที่ได้รับความเสียหายจากภาพถ่ายปัจจุบันงานวิจัยเกี่ยวกับคำบรรยายอัตโนมัติ ส่วนใหญ่เน้นการบรรยายภาพในเชิงทั่วไป เช่น การระบุวัตถุหรือกิจกรรมภายในภาพ แม้ว่าจะมีงานที่บูรณาการระหว่างการแบ่งส่วนผนวกเข้ากับคำบรรยาย แต่ยังไม่มีงานใดที่เจาะจงบรรยายภาพเพื่อระบุความเสียหายของรถยนต์โดยเฉพาะ วิธีการนี้จะช่วยสร้างมาตรฐานใหม่ในการประเมินความเสียหายของยานพาหนะ ลดข้อผิดพลาดจากการประเมินด้วยมนุษย์ และเพิ่มความรวดเร็วในการประเมินได้อย่างมีประสิทธิภาพ

Other Innovations

THE BRAIN ACTIVATION ON UPPER EXTREMITY MOTOR CONTROL TASKS IN DIFFERENT FORCES LEVELS

คณะวิศวกรรมศาสตร์

THE BRAIN ACTIVATION ON UPPER EXTREMITY MOTOR CONTROL TASKS IN DIFFERENT FORCES LEVELS

Motor control is a critical process for muscle contraction, which is initiated by nerve impulses governed by the motor cortex. This process is vital for performing activities of daily living (ADLs). Consequently, a disruption in communication between the brain and muscles, as seen in various chronic conditions and diseases, can impair bodily movement and ADLs. Evaluating the interaction between brain function and motor control is significant for the diagnosis and treatment of motor control disorders; moreover, it can contribute to the development of brain-computer interfaces (BCIs). The purpose of this study is to investigate brain activation in designed upper extremity motor control tasks in regulating the pushing force in different brain regions; and develop investigation methods to assess motor control tasks and brain activation using a robotic arm to guide upper extremity force and motor control. Eighteen healthy young adults were asked to perform upper extremity motor control tasks and recorded the hemodynamic signals. Functional Near-Infrared Spectroscopy (fNIRs) and robotic arms were used to assess brain activation and the regulation of pushing force and extremity motor control. Two types of motion, static and dynamic, move along a designated trajectory in both forward and backward directions, and three different force levels selected from a range of ADLs, including 4, 12, and 20 N, were used as force-regulating upper extremity motor control tasks. The hemodynamic responses were measured in specific regions of interest, namely the primary motor cortex (M1), premotor cortex (PMC), supplementary motor area (SMA), and prefrontal cortex (PFC). Utilizing a two-way repeated measures ANOVA with Bonferroni correction (p < 0.00625) across all regions, we observed no significant interaction effect between force levels and movement types on oxygenated hemoglobin (HbO) levels. However, in both contralateral (c) and ipsilateral (i) PFC, movement type—static versus dynamic—significantly affected brain activation. Additionally, cM1, iPFC, and PMC showed a significant effect of force level on brain activation.

Read more
VIDEO-BASED EMOTION DETECTION FROM FACIAL EXPRESSIONS  WITH ROBUSTNESS TO PARTIAL OCCLUSION

คณะเทคโนโลยีสารสนเทศ

VIDEO-BASED EMOTION DETECTION FROM FACIAL EXPRESSIONS WITH ROBUSTNESS TO PARTIAL OCCLUSION

Facial Expression Recognition (FER) has attracted considerable attention in fields such as healthcare, customer service, and behavior analysis. However, challenges remain in developing a robust system capable of adapting to various environments and dynamic situations. In this study, the researchers introduced an Ensemble Learning approach to merge outputs from multiple models trained in specific conditions, allowing the system to retain old information while efficiently learning new data. This technique is advantageous in terms of training time and resource usage, as it reduces the need to retrain a new model entirely when faced with new conditions. Instead, new specialized models can be added to the Ensemble system with minimal resource requirements. The study explores two main approaches to Ensemble Learning: averaging outputs from dedicated models trained under specific scenarios and using Mixture of Experts (MoE), a technique that combines multiple models each specialized in different situations. Experimental results showed that Mixture of Experts (MoE) performs more effectively than the Averaging Ensemble method for emotion classification in all scenarios. The MoE system achieved an average accuracy of 84.41% on the CK+ dataset, 54.20% on Oulu-CASIA, and 61.66% on RAVDESS, surpassing the 71.64%, 44.99%, and 57.60% achieved by Averaging Ensemble in these datasets, respectively. These results demonstrate MoE’s ability to accurately select the model specialized for each specific scenario, enhancing the system’s capacity to handle more complex environments.

Read more
Website Design For Exploring Death and Historical Turning Points

คณะสถาปัตยกรรม ศิลปะและการออกแบบ

Website Design For Exploring Death and Historical Turning Points

When it comes to the general perception of death, it is often seen as something negative or inauspicious. However, the end or death of someone can sometimes be the beginning of change, influencing thoughts, lifestyles, and attitudes in a positive way for those around them. For students aged 13-18, accessing and understanding this topic remains a challenge. Most available information is often presented in complex forms that are difficult for young people to grasp. Moreover, teaching materials in schools often lack creativity and engagement, leading to a decline in students’ interest in this subject. To address this issue, a website has been designed as an accessible and creative resource. It aims to deepen young people's understanding of the impact of actions and the death of individuals on the world they live in, while inspiring them to become part of creating positive change for the future.

Read more