KMITL Expo 2026 LogoKMITL 66th Anniversary Logo

Offline Evaluation System for Large Language Models in Designing Thai Expert Systems

Abstract

The offline evaluation system for Thai-language large language models (LLMs) is designed to enable experts to efficiently test and assess various LLMs without relying on external services. This enhances the flexibility in selecting LLMs that best suit organizational needs or expert systems (ES). The system operates on personal computers, ensuring data security by eliminating concerns about external data storage. Additionally, it supports model testing and development using Retrieval-Augmented Generation (RAG), allowing access to domain-specific knowledge for accurate, energy-efficient processing. This ensures that the models can perform optimally and effectively meet the demands of organizations and expert systems.

Objective

ในปัจจุบัน โมเดลภาษาขนาดใหญ่ (Large Language Models: LLMs) ได้รับความนิยมและถูกนำไปใช้งานในหลากหลายด้าน ทั้งในองค์กรและภาคอุตสาหกรรม โดยเฉพาะในการพัฒนาระบบผู้เชี่ยวชาญ (Expert System: ES) ที่ช่วยให้ผู้ใช้สามารถทำงานได้อย่างมีประสิทธิภาพสูงขึ้น ไม่ว่าจะเป็นการวิเคราะห์ข้อมูล การให้คำแนะนำ หรือการประมวลผลข้อมูลเฉพาะทางในแต่ละสาขา อย่างไรก็ตาม การใช้โมเดลภาษาขนาดใหญ่จากภายนอกอาจมีข้อจำกัดด้านความปลอดภัยของข้อมูล และบางองค์กรจำเป็นต้องประมวลผลภายในระบบของตนเองเพื่อลดความเสี่ยงจากการเชื่อมต่อภายนอก ดังนั้น การพัฒนาระบบทดสอบโมเดลภาษาขนาดใหญ่แบบออฟไลน์ในภาษาไทยจึงมีความสำคัญ ทั้งในแง่ของการรักษาความปลอดภัยข้อมูล ลดการพึ่งพาบริการจากภายนอก และเพิ่มความยืดหยุ่นในการเลือกใช้โมเดลที่เหมาะสมกับงานเฉพาะด้าน อย่างไรก็ตาม การทดสอบและประเมินประสิทธิภาพของ LLMs ในสภาพแวดล้อมแบบออฟไลน์ถือเป็นความท้าทาย เนื่องจากต้องคำนึงถึงปัจจัยต่าง ๆ เช่น ความแม่นยำของโมเดล ทรัพยากรที่ใช้ในการประมวลผล และความสามารถในการรองรับภาษาไทยได้อย่างมีประสิทธิภาพ

Other Innovations

Hydro IoT

คณะวิศวกรรมศาสตร์

Hydro IoT

A small hydroponic vegetable growing system simulation kit with water flow system that monitors, maintains and controls the amount of fertilizer in the system.

Read more
il n'y a rien à faire

คณะสถาปัตยกรรม ศิลปะและการออกแบบ

il n'y a rien à faire

This artwork was created based on the universal concepts of global warming and post-apocalyptic world, which has caused disturbances and chaos in ecosystems, leading to the extinction of many living beings on Earth due to human actions. Repairing and restoring this world may therefore be a false hope, connected to my personal experience of losing loved ones and the sorrow from setting high hope, through the artistic process using Animation Art and Sound Art.

Read more
Bacteriocinogenomic analysis and anti-pathogenic activity of potential Lactococcus lactis TKP1-5 isolated from the feces of Anas platyrhynchos

คณะวิทยาศาสตร์

Bacteriocinogenomic analysis and anti-pathogenic activity of potential Lactococcus lactis TKP1-5 isolated from the feces of Anas platyrhynchos

Bacteriocins are microbial peptides that demonstrate potency against pathogens. This study evaluated the inhibitory effects on pathogens and characterized the bacteriogenomic profile of strain TKP1-5, isolated from the feces of Anas platyrhynchos domesticus. Strain TKP1-5 was characterized using phenotypic traits, 16S rRNA sequencing, and Whole-Genome Sequencing (WGS). It exhibited growth in the presence of 2-6% NaCl, temperatures of 25-45°C, and pH levels ranging from 3 to 9. Based on ANIb, ANIm, and dDDH values, strain TKP1-5 was identified as Lactococcus lactis. Whole genome analysis revealed that strain TKP1-5 harbors the Nisin Z peptide gene cluster with a bit-score of 114.775. The antimicrobial spectrum of bacteriocin TKP1-5 showed inhibitory effects against pathogenic bacteria including Pediococcus pentosaceus JCM5885, Listeria monocytogenes ATCC 19115, Enterococcus faecalis JCM 5803T, Salmonella Typhimurium ATCC 13311ᵀ, Aeromonas hydrophila B1 AhB1, Streptococcus agalactiae 1611 and Streptococcus cowan I. Genomic analysis confirmed L. lactis TKP1-5 as a non-human pathogen without antibiotic resistance genes or plasmids. Furthermore, L. lactis TKP1-5 contains potential genes associated with various probiotic properties and health benefits. This suggests that L. lactis TKP1-5, with its antibacterial activity and probiotic potential, could be a promising candidate for further research and application in the food industry.

Read more