KMITL Innovation Expo 2025 Logo

Offline Evaluation System for Large Language Models in Designing Thai Expert Systems

Abstract

The offline evaluation system for Thai-language large language models (LLMs) is designed to enable experts to efficiently test and assess various LLMs without relying on external services. This enhances the flexibility in selecting LLMs that best suit organizational needs or expert systems (ES). The system operates on personal computers, ensuring data security by eliminating concerns about external data storage. Additionally, it supports model testing and development using Retrieval-Augmented Generation (RAG), allowing access to domain-specific knowledge for accurate, energy-efficient processing. This ensures that the models can perform optimally and effectively meet the demands of organizations and expert systems.

Objective

ในปัจจุบัน โมเดลภาษาขนาดใหญ่ (Large Language Models: LLMs) ได้รับความนิยมและถูกนำไปใช้งานในหลากหลายด้าน ทั้งในองค์กรและภาคอุตสาหกรรม โดยเฉพาะในการพัฒนาระบบผู้เชี่ยวชาญ (Expert System: ES) ที่ช่วยให้ผู้ใช้สามารถทำงานได้อย่างมีประสิทธิภาพสูงขึ้น ไม่ว่าจะเป็นการวิเคราะห์ข้อมูล การให้คำแนะนำ หรือการประมวลผลข้อมูลเฉพาะทางในแต่ละสาขา อย่างไรก็ตาม การใช้โมเดลภาษาขนาดใหญ่จากภายนอกอาจมีข้อจำกัดด้านความปลอดภัยของข้อมูล และบางองค์กรจำเป็นต้องประมวลผลภายในระบบของตนเองเพื่อลดความเสี่ยงจากการเชื่อมต่อภายนอก ดังนั้น การพัฒนาระบบทดสอบโมเดลภาษาขนาดใหญ่แบบออฟไลน์ในภาษาไทยจึงมีความสำคัญ ทั้งในแง่ของการรักษาความปลอดภัยข้อมูล ลดการพึ่งพาบริการจากภายนอก และเพิ่มความยืดหยุ่นในการเลือกใช้โมเดลที่เหมาะสมกับงานเฉพาะด้าน อย่างไรก็ตาม การทดสอบและประเมินประสิทธิภาพของ LLMs ในสภาพแวดล้อมแบบออฟไลน์ถือเป็นความท้าทาย เนื่องจากต้องคำนึงถึงปัจจัยต่าง ๆ เช่น ความแม่นยำของโมเดล ทรัพยากรที่ใช้ในการประมวลผล และความสามารถในการรองรับภาษาไทยได้อย่างมีประสิทธิภาพ

Other Innovations

Electrochemical Synthesis of Drug Molecules

คณะวิทยาศาสตร์

Electrochemical Synthesis of Drug Molecules

The synthesis using electrons as reagents instead of oxidants is a method for synthesizing drug molecules in a way that reduces the use of chemicals, thereby minimizing environmental pollution.

Read more
AI-Powered Security & Consumer Analytics, Integrating AI Vision for Enhanced Security and Consumer Behavior Insights in the Digital Era

คณะบริหารธุรกิจ

AI-Powered Security & Consumer Analytics, Integrating AI Vision for Enhanced Security and Consumer Behavior Insights in the Digital Era

In the digital era, Artificial Intelligence (AI) plays a crucial role in developing smart cities and enhancing business operations. Among AI-driven technologies, AI Vision Analytics has gained significant attention for Access Control Systems (ACS) and Consumer Behavior Analytics. This research focuses on integrating AI Access Control and AI Video Analytics to examine factors influencing Technology Adoption Behavior using the UTAUT2 (Unified Theory of Acceptance and Use of Technology 2) framework. Key factors assessed include Trust in Technology, Effort Expectancy, Social Influence, and Performance Expectancy, which impact users’ willingness to adopt AI-driven security and analytics solutions. The study also includes a real-world implementation of AI Vision Analytics at KMITL EXPO, where an AI-powered Access Control System and AI Video Analytics are deployed. The collected data is analyzed to identify trends in AI adoption for business management and security enhancement. The findings provide valuable insights for businesses and organizations to optimize AI Vision Analytics for enhancing security management and digital marketing strategies.

Read more
Handheld Mercury Meter

คณะวิทยาศาสตร์

Handheld Mercury Meter

This work presents the fabrication of the handheld meter for potentiometric detection of Hg (II). The meter was constructed based on using an ion-sensitive field-effect transistor (ISFET) platform. The developed meter provides high accuracy and precision (%Recovery was in the range of 92.55 - 109.32 and %RSD was 2.38). It was applied to the analysis of cosmetic samples. The results by the developed electrode were not significantly different at a 95% confidence level compared to the results by using ICP-OES.

Read more