KMITL Expo 2026 LogoKMITL 66th Anniversary Logo

Offline Evaluation System for Large Language Models in Designing Thai Expert Systems

Abstract

The offline evaluation system for Thai-language large language models (LLMs) is designed to enable experts to efficiently test and assess various LLMs without relying on external services. This enhances the flexibility in selecting LLMs that best suit organizational needs or expert systems (ES). The system operates on personal computers, ensuring data security by eliminating concerns about external data storage. Additionally, it supports model testing and development using Retrieval-Augmented Generation (RAG), allowing access to domain-specific knowledge for accurate, energy-efficient processing. This ensures that the models can perform optimally and effectively meet the demands of organizations and expert systems.

Objective

ในปัจจุบัน โมเดลภาษาขนาดใหญ่ (Large Language Models: LLMs) ได้รับความนิยมและถูกนำไปใช้งานในหลากหลายด้าน ทั้งในองค์กรและภาคอุตสาหกรรม โดยเฉพาะในการพัฒนาระบบผู้เชี่ยวชาญ (Expert System: ES) ที่ช่วยให้ผู้ใช้สามารถทำงานได้อย่างมีประสิทธิภาพสูงขึ้น ไม่ว่าจะเป็นการวิเคราะห์ข้อมูล การให้คำแนะนำ หรือการประมวลผลข้อมูลเฉพาะทางในแต่ละสาขา อย่างไรก็ตาม การใช้โมเดลภาษาขนาดใหญ่จากภายนอกอาจมีข้อจำกัดด้านความปลอดภัยของข้อมูล และบางองค์กรจำเป็นต้องประมวลผลภายในระบบของตนเองเพื่อลดความเสี่ยงจากการเชื่อมต่อภายนอก ดังนั้น การพัฒนาระบบทดสอบโมเดลภาษาขนาดใหญ่แบบออฟไลน์ในภาษาไทยจึงมีความสำคัญ ทั้งในแง่ของการรักษาความปลอดภัยข้อมูล ลดการพึ่งพาบริการจากภายนอก และเพิ่มความยืดหยุ่นในการเลือกใช้โมเดลที่เหมาะสมกับงานเฉพาะด้าน อย่างไรก็ตาม การทดสอบและประเมินประสิทธิภาพของ LLMs ในสภาพแวดล้อมแบบออฟไลน์ถือเป็นความท้าทาย เนื่องจากต้องคำนึงถึงปัจจัยต่าง ๆ เช่น ความแม่นยำของโมเดล ทรัพยากรที่ใช้ในการประมวลผล และความสามารถในการรองรับภาษาไทยได้อย่างมีประสิทธิภาพ

Other Innovations

C(4)ulture Adventure Board Game

คณะศิลปศาสตร์

C(4)ulture Adventure Board Game

Board games are becoming a popular way to connect people, especially in cafés and social spaces. Meanwhile, Thailand’s diverse tourism—rich in nature, culture, and regional charm—attracts visitors worldwide. We combine the thrill of travel with board games to showcase hidden gems in a fun and educational way, leading to the creation of “C(4)ulture Adventure Board Game.”

Read more
Smart Cat House

คณะวิทยาศาสตร์

Smart Cat House

This project presents the development of a "Smart Cat House" using Internet of Things (IoT) and image processing technology to facilitate and enhance the safety of cat care for owners. The infrastructure of the smart cat house consists of an ESP8266 board connected to an ESP32 CAM camera for cat monitoring, and an Arduino board that controls various sensors such as a motion sensor in the litter box, a DHT22 temperature and humidity sensor, an ultrasonic water and food level sensor, including a water supply system for cats, an automatic feeding system, and a ventilation system controlled by a DC FAN that adjusts its operation according to the measured temperature to maintain a suitable environment. There is also an IR sensor to detect the cat's entry into the litter box and an automatic sand changing system with a SERVO MOTOR. All systems are connected and controlled through the Blynk application, which can be used on mobile phones, allowing owners to monitor and care for their pets remotely. Cat detection and identification uses image processing technology from the ESP32 CAM camera in conjunction with YOLO (You Only Look Once), a high-performance object detection algorithm, to detect and distinguish between cats and people. Data from various sensors are sent to the Arduino board to control the operation of various devices in the smart cat house, such as turning lights on and off, automatically changing sand, adjusting temperature and humidity, feeding food and water at scheduled times, or ventilation. The use of a connection system via ESP8266 and the Blynk application makes it easy and convenient to control various devices. Owners can monitor and control the operation of the entire system from anywhere with internet access.

Read more
Data Centralization for Manufacturing : Development of a web application for request tools

คณะวิทยาศาสตร์

Data Centralization for Manufacturing : Development of a web application for request tools

The objective is to develop a web application for tool requests to issues arising from using Excel programs. The initial Excel file is copied from an existing SQL database and repeatedly duplicated, leading to excessive storage consumption. Additionally, the Excel files cannot be accessed concurrently by multiple users. Therefore, this web application aims to connect directly to the SQL database, eliminating the problems caused by using Excel files.

Read more