KMITL Expo 2026 LogoKMITL 66th Anniversary Logo

Offline Evaluation System for Large Language Models in Designing Thai Expert Systems

Abstract

The offline evaluation system for Thai-language large language models (LLMs) is designed to enable experts to efficiently test and assess various LLMs without relying on external services. This enhances the flexibility in selecting LLMs that best suit organizational needs or expert systems (ES). The system operates on personal computers, ensuring data security by eliminating concerns about external data storage. Additionally, it supports model testing and development using Retrieval-Augmented Generation (RAG), allowing access to domain-specific knowledge for accurate, energy-efficient processing. This ensures that the models can perform optimally and effectively meet the demands of organizations and expert systems.

Objective

ในปัจจุบัน โมเดลภาษาขนาดใหญ่ (Large Language Models: LLMs) ได้รับความนิยมและถูกนำไปใช้งานในหลากหลายด้าน ทั้งในองค์กรและภาคอุตสาหกรรม โดยเฉพาะในการพัฒนาระบบผู้เชี่ยวชาญ (Expert System: ES) ที่ช่วยให้ผู้ใช้สามารถทำงานได้อย่างมีประสิทธิภาพสูงขึ้น ไม่ว่าจะเป็นการวิเคราะห์ข้อมูล การให้คำแนะนำ หรือการประมวลผลข้อมูลเฉพาะทางในแต่ละสาขา อย่างไรก็ตาม การใช้โมเดลภาษาขนาดใหญ่จากภายนอกอาจมีข้อจำกัดด้านความปลอดภัยของข้อมูล และบางองค์กรจำเป็นต้องประมวลผลภายในระบบของตนเองเพื่อลดความเสี่ยงจากการเชื่อมต่อภายนอก ดังนั้น การพัฒนาระบบทดสอบโมเดลภาษาขนาดใหญ่แบบออฟไลน์ในภาษาไทยจึงมีความสำคัญ ทั้งในแง่ของการรักษาความปลอดภัยข้อมูล ลดการพึ่งพาบริการจากภายนอก และเพิ่มความยืดหยุ่นในการเลือกใช้โมเดลที่เหมาะสมกับงานเฉพาะด้าน อย่างไรก็ตาม การทดสอบและประเมินประสิทธิภาพของ LLMs ในสภาพแวดล้อมแบบออฟไลน์ถือเป็นความท้าทาย เนื่องจากต้องคำนึงถึงปัจจัยต่าง ๆ เช่น ความแม่นยำของโมเดล ทรัพยากรที่ใช้ในการประมวลผล และความสามารถในการรองรับภาษาไทยได้อย่างมีประสิทธิภาพ

Other Innovations

Prototypal Community Center for Bangkok's Future Net Zero Ambitions

คณะสถาปัตยกรรม ศิลปะและการออกแบบ

Prototypal Community Center for Bangkok's Future Net Zero Ambitions

This project is a carbon safe haven of Bangkok, aspiring to be the prototypal gateway of the future's carbon net zero ambitions. The project aims to answer the fundamental "flaw" of the existing urban fabric, still being extremely inefficient and highly polluting. Conversely, Carbon Oasis would not only create its own energy, but look to provide its excess energy and water surplus' back to the city and its surroundings. Taking parts of the existing city and implementing new concepts to inspire a change in the urban fabric and its people.

Read more
Optimization Hydrogen Manufacturing (HMU-2) and Pressure Swing Adsorption (PSA-3) Unit

คณะวิศวกรรมศาสตร์

Optimization Hydrogen Manufacturing (HMU-2) and Pressure Swing Adsorption (PSA-3) Unit

This cooperative education project aims to enhance the efficiency of Hydrogen Manufacturing Unit 2 (HMU-2) and Pressure Swing Adsorption 3 (PSA-3) by using AVEVA Pro/II process modeling and a Machine Learning model for process simulation. The study found that the AVEVA Pro/II model predicted outcomes with deviations ranging from 0–35%, including a hydrogen flow rate deviation from the PSA unit of 12%, exceeding the company’s acceptable limit of 10%. To address this, a Machine Learning model based on the Random Forest algorithm was developed with hyperparameter tuning. The Machine Learning model demonstrated high accuracy, achieving Mean Squared Errors (MSE) of 8.48 and 0.18 for process and laboratory data, respectively, and R-squared values of 0.98 and 0.88 for the same datasets. It outperformed the AVEVA Pro/II model in predicting all variables and reduced the hydrogen flow rate deviation to 4.75% and 1.35% for production rates of 180 and 220 tons per day, respectively. Optimization using the model provided recommendations for process adjustments, increasing hydrogen production by 7.8 tons per day and generating an additional annual profit of 850,966.23 Baht.

Read more
Coastal folk Park

คณะเทคโนโลยีการเกษตร

Coastal folk Park

Public Park Project: Coastal folk Park is a design park in the area of ​​Ang Sila Subdistrict, Chonburi Province. In an area of ​​22 acre, it is intended to be a place of rest, recreation, and also a source of learning and conservation of the seashore and the traditional way of life of the area.

Read more