Offline Evaluation System for Large Language Models in Designing Thai Expert Systems

The offline evaluation system for Thai-language large language models (LLMs) is designed to enable experts to efficiently test and assess various LLMs without relying on external services. This enhances the flexibility in selecting LLMs that best suit organizational needs or expert systems (ES). The system operates on personal computers, ensuring data security by eliminating concerns about external data storage. Additionally, it supports model testing and development using Retrieval-Augmented Generation (RAG), allowing access to domain-specific knowledge for accurate, energy-efficient processing. This ensures that the models can perform optimally and effectively meet the demands of organizations and expert systems.

ในปัจจุบัน โมเดลภาษาขนาดใหญ่ (Large Language Models: LLMs) ได้รับความนิยมและถูกนำไปใช้งานในหลากหลายด้าน ทั้งในองค์กรและภาคอุตสาหกรรม โดยเฉพาะในการพัฒนาระบบผู้เชี่ยวชาญ (Expert System: ES) ที่ช่วยให้ผู้ใช้สามารถทำงานได้อย่างมีประสิทธิภาพสูงขึ้น ไม่ว่าจะเป็นการวิเคราะห์ข้อมูล การให้คำแนะนำ หรือการประมวลผลข้อมูลเฉพาะทางในแต่ละสาขา อย่างไรก็ตาม การใช้โมเดลภาษาขนาดใหญ่จากภายนอกอาจมีข้อจำกัดด้านความปลอดภัยของข้อมูล และบางองค์กรจำเป็นต้องประมวลผลภายในระบบของตนเองเพื่อลดความเสี่ยงจากการเชื่อมต่อภายนอก ดังนั้น การพัฒนาระบบทดสอบโมเดลภาษาขนาดใหญ่แบบออฟไลน์ในภาษาไทยจึงมีความสำคัญ ทั้งในแง่ของการรักษาความปลอดภัยข้อมูล ลดการพึ่งพาบริการจากภายนอก และเพิ่มความยืดหยุ่นในการเลือกใช้โมเดลที่เหมาะสมกับงานเฉพาะด้าน อย่างไรก็ตาม การทดสอบและประเมินประสิทธิภาพของ LLMs ในสภาพแวดล้อมแบบออฟไลน์ถือเป็นความท้าทาย เนื่องจากต้องคำนึงถึงปัจจัยต่าง ๆ เช่น ความแม่นยำของโมเดล ทรัพยากรที่ใช้ในการประมวลผล และความสามารถในการรองรับภาษาไทยได้อย่างมีประสิทธิภาพ