งานวิจัยนี้นำเสนอวิธีการเรียนรู้เชิงลึกเพื่อสร้างคำบรรยายอัตโนมัติจากการแบ่งส่วนความเสียหายของชิ้นส่วนรถยนต์ โดยการวิเคราะห์จากข้อมูลภาพของรถยนต์โดยใช้โครงสร้างแบบโครงคร่าวแบบรวม (Unified Framework) เพื่อช่วยให้สามารถระบุตำแหน่งและอธิบายความเสียหายที่เกิดขึ้นกับรถยนต์ได้อย่างแม่นยำและรวดเร็ว โดยการพัฒนาประยุกต์จากพื้นฐานงานวิจัยที่มีชื่อว่า ”GRiT: A Generative Region-to-text Transformer for Object Understanding” ที่ผู้วิจัยได้ทำการพัฒนาและปรับแต่งให้เหมาะสมกับการวิเคราะห์ภาพที่เกี่ยวข้องกับรถยนต์โดยเฉพาะ การปรับปรุงนี้มีจุดประสงค์เพื่อทำให้แบบจำลองสามารถสร้างคำบรรยายสำหรับบริเวณต่างๆ ของรถยนต์ได้อย่างแม่นยำ ตั้งแต่บริเวณที่ได้รับความเสียหายไปจนถึงการระบุส่วนประกอบต่างๆ บนรถยนต์

ทางผู้วิจัยได้เน้นการพัฒนาเทคนิคการเรียนรู้เชิงลึกเพื่อสร้างคำบรรยายอัตโนมัติและการแบ่งส่วนความเสียหายในการวิเคราะห์ความเสียหายของรถยนต์ เพื่อช่วยให้สามารถระบุตำแหน่งและอธิบายความเสียหายที่เกิดขึ้นกับยานยนต์ได้อย่างแม่นยำ ช่วยเพิ่มความรวดเร็ว ลดภาระของผู้เชี่ยวชาญในการประเมินความเสียหาย โดยวิธีการเเบบดั้งเดิมอาศัยการประเมินจากผู้เชี่ยวชาญเท่านั้น มีค่าใช้จ่ายสูงและใช้เวลานาน เพื่อลดปัญหานี้ ทางเราเสนอให้ใช้ประโยชน์จากการสร้างข้อมูลเพื่อฝึกฝนการสร้างคำบรรยายาย เเละ แบ่งส่วนความเสียหายอย่างอัตโนมัติ โดยใช้ โครงสร้างแบบโครงคร่าวแบบรวม ซึ่งการพัฒนานี้เป็นการขยายความสามารถของแบบจำลองให้สามารถประยุกต์ใช้ได้กว้างขวางมากขึ้นในภาคส่วนของยานยนต์

ทางผู้วิจัยได้สร้างชุดข้อมูลใหม่จาก CarDD ซึ่งเป็นชุดข้อมูลที่เฉพาะเจาะจงสำหรับการตรวจจับความเสียหายของรถยนต์ ในชุดข้อมูลนี้มีการติดป้ายกำกับความเสียหายบนรถยนต์ และผู้วิจัยได้นำข้อมูลชุดดังกล่าวมาเข้าสู่แบบจำลองเพื่อแยกส่วนของรถยนต์เป็นชิ้นส่วนต่างๆ เพื่อจัดทำการติดป้ายกำกับคำอธิบายที่แม่นยำสำหรับแต่ละชิ้นส่วนและหมวดหมู่ความเสียหาย

ผลลัพธ์เบื้องต้นจากเเบบจำลอง แสดงให้เห็นถึงความสามารถในการสร้างคำบรรยายอัตโนมัติและการแบ่งส่วนความเสียหายในการวิเคราะห์ความเสียหายของรถยนต์ได้อยู่ในเกณฑ์พอใช้ ด้วยผลลัพธ์นี้ เเบบจำลองนี้ถือเป็นพื้นฐานสำคัญที่จะถูกพัฒนาต่อยอดในอนาคต การพัฒนาต่อยอดนี้ไม่เพียงแต่มุ่งเน้นที่การเพิ่มประสิทธิภาพในการแบ่งส่วนความเสียหายและสร้างคำบรรยายเท่านั้น แต่ยังรวมถึงการปรับปรุงความสามารถในการตอบสนองต่อความหลากหลายของความเสียหายที่เกิดขึ้นบนพื้นผิวและส่วนต่างๆ ของรถยนต์ ซึ่งจะช่วยให้ระบบสามารถประยุกต์ใช้ได้กับยานยนต์หลากหลายรูปแบบและสภาพความเสียหายที่แตกต่างกันมากขึ้นในอนาคต