PENERAPAN RETRIEVAL AUGMENTED GENERATION (RAG) UNTUK MENINGKATKAN KESESUAIAN PENILAIAN AKREDITASI

Abstract

Penilaian kualitatif dalam akreditasi pendidikan tinggi sering dihadapkan pada tantangan inkonsistensi dan relevansi antarasesor yang dapat mengancam kesesuaian penilaian secara keseluruhan. Penelitian ini bertujuan untuk merancang, membangun, dan mengevaluasi sebuah sistem pendukung keputusan berbasis Retrieval-Augmented Generation (RAG) yang dirancang untuk meningkatkan kesesuaian penilaian. Fokus utama sistem adalah mengidentifikasi potensi inkonsistensi antara dua asesor pada tahap Penilaian Tahap Pertama dan menganalisis relevansi komentar pada tahap Penilaian Tahap Kedua terhadap kriteria yang ditetapkan. Sistem ini dikembangkan dengan arsitektur RAG yang mengintegrasikan kapabilitas Large Language Model (LLM) GPT-4-turbo dengan basis data vektor Pinecone yang berisi data penilaian historis, yang alur kerjanya diatur menggunakan kerangka kerja LangChain. Evaluasi kuantitatif yang komprehensif dilakukan dengan membandingkan hasil analisis sistem terhadap ground truth yang divalidasi oleh ahli. Metodologi evaluasi ini menggunakan metrik klasifikasi accuracy, metrik regresi dengan MAE dan RMSE, dan metrik kesamaan semantik dengan BERTScore. Hasilnya menunjukkan kinerja sistem yang baik, dengan akurasi mencapai 89% dalam mengklasifikasikan status konsistensi utama Penilaian Tahap Pertama. Rekomendasi skor yang dihasilkan menunjukkan keselarasan yang sangat tinggi dengan ground truth, dibuktikan oleh nilai MAE yang sangat rendah 0.129 untuk Penilaian Tahap Pertama dan 0.180 untuk Penilaian Tahap Kedua. Kualitas justifikasi tekstual yang dihasilkan juga tinggi, dengan rata-rata F1-BERTScore berkisar antara 0.71 hingga 0.75, menandakan kesamaan makna yang kuat. Penelitian ini berhasil membuktikan bahwa sistem RAG dapat berfungsi sebagai "opini kedua" yang terinformasi dan dapat dipertanggungjawabkan untuk mendukung asesor dalam meningkatkan kesesuaian serta konsistensi, yang pada akhirnya berkontribusi pada peningkatan kesesuaian penilaian akreditasi.