KMITL Innovation Expo 2025 Logo

Offline Evaluation System for Large Language Models in Designing Thai Expert Systems

Abstract

The offline evaluation system for Thai-language large language models (LLMs) is designed to enable experts to efficiently test and assess various LLMs without relying on external services. This enhances the flexibility in selecting LLMs that best suit organizational needs or expert systems (ES). The system operates on personal computers, ensuring data security by eliminating concerns about external data storage. Additionally, it supports model testing and development using Retrieval-Augmented Generation (RAG), allowing access to domain-specific knowledge for accurate, energy-efficient processing. This ensures that the models can perform optimally and effectively meet the demands of organizations and expert systems.

Objective

ในปัจจุบัน โมเดลภาษาขนาดใหญ่ (Large Language Models: LLMs) ได้รับความนิยมและถูกนำไปใช้งานในหลากหลายด้าน ทั้งในองค์กรและภาคอุตสาหกรรม โดยเฉพาะในการพัฒนาระบบผู้เชี่ยวชาญ (Expert System: ES) ที่ช่วยให้ผู้ใช้สามารถทำงานได้อย่างมีประสิทธิภาพสูงขึ้น ไม่ว่าจะเป็นการวิเคราะห์ข้อมูล การให้คำแนะนำ หรือการประมวลผลข้อมูลเฉพาะทางในแต่ละสาขา อย่างไรก็ตาม การใช้โมเดลภาษาขนาดใหญ่จากภายนอกอาจมีข้อจำกัดด้านความปลอดภัยของข้อมูล และบางองค์กรจำเป็นต้องประมวลผลภายในระบบของตนเองเพื่อลดความเสี่ยงจากการเชื่อมต่อภายนอก ดังนั้น การพัฒนาระบบทดสอบโมเดลภาษาขนาดใหญ่แบบออฟไลน์ในภาษาไทยจึงมีความสำคัญ ทั้งในแง่ของการรักษาความปลอดภัยข้อมูล ลดการพึ่งพาบริการจากภายนอก และเพิ่มความยืดหยุ่นในการเลือกใช้โมเดลที่เหมาะสมกับงานเฉพาะด้าน อย่างไรก็ตาม การทดสอบและประเมินประสิทธิภาพของ LLMs ในสภาพแวดล้อมแบบออฟไลน์ถือเป็นความท้าทาย เนื่องจากต้องคำนึงถึงปัจจัยต่าง ๆ เช่น ความแม่นยำของโมเดล ทรัพยากรที่ใช้ในการประมวลผล และความสามารถในการรองรับภาษาไทยได้อย่างมีประสิทธิภาพ

Other Innovations

Lucky Lakshmi

คณะสถาปัตยกรรม ศิลปะและการออกแบบ

Lucky Lakshmi

Here, We Luckier in Love Everyday". Introducing you a Lakshmi 2025 Edition. Amidst the buzz of the mall, take charge of your love destiny—because fate is so last season.

Read more
IOT Battery solution

คณะวิศวกรรมศาสตร์

IOT Battery solution

Design and Development of a Remote Battery Management System This research focuses on the design and development of a battery management system that enables remote monitoring and control, allowing users to customize battery cell properties as needed. The system is specifically designed for use with graphene battery cells and can be effectively applied to alternative energy systems for residential use.

Read more
Crispy Rice Berry Waffle

คณะครุศาสตร์อุตสาหกรรมและเทคโนโลยี

Crispy Rice Berry Waffle

Crispy Rice-berry Snack is a product made from broken rice-berry rice that has been processed into a snack that is thin and crispy, bite-sized. Broken rice-berry rice is cooked, finely ground, and mixed with other ingredients to increase its nutritional value, such as adding plant seeds, adding plant protein nutrients, and then forming it into sheets using heat. The resulting product is a thin sheet, purple-brown in color, crispy, and has the smell of the ingredients used in the production process. It does not contain sugar or sweeteners. It is used as a snack with tea or coffee. Crispy Rice-berry Waffle is a product that contains complete nutrients, including carbohydrates, protein, and fat, which are derived from the ingredients in the production formula.

Read more