Penerapan Zero-Shot Aspect Based Sentiment Analysis untuk Analisis Inkonsistensi Penilaian Akreditasi

Abstract

Penilaian akreditasi merupakan proses penting untuk menjamin mutu pendidikan, tetapi rentan terhadap subjektivitas penilai yang dapat menyebabkan inkonsistensi dalam hasil penilaian. Oleh karena itu, diperlukan pendekatan untuk menganalisis potensi inkonsistensi tersebut. Penelitian ini bertujuan untuk menerapkan Zero-Shot Aspect Based Sentiment Analysis berbasis Natural Language Inference (NLI) sebagai upaya untuk mendeteksi relevansi dan mengklasifikasikan sentimen komentar terhadap aspek penilaian dalam konteks akreditasi dengan dua tahapan yaitu Aspect Category Detection (ACD) dan Aspect Sentiment Classification (ASC). Data yang digunakan berupa teks komentar penilai yang disertai dengan informasi mengenai data penilai dan skor hasil penilaian. Tahapan penelitian meliputi preprocessing data, penentuan aspek representatif, deteksi relevansi dan klasifikasi sentimen terhadap aspek menggunakan model Zero Shot Text Classification (ZSC) berbasis NLI, serta analisis inkonsistensi hasil penilaian. Hasil menunjukkan kinerja yang berbeda secara signifikan di antara kedua tahapan. Untuk tahapan ACD, hasil rata-rata Macro F1-score model dengan data yang tidak seimbang mencapai sekitar 64,2% dan 63,4%. Kinerja model ini berada di bawah State of the Art (SOTA) yang menggunakan metode supervised untuk Bahasa Indonesia, tetapi model dapat dianggapkompetitif jika dibandingkan dengan SOTA yang menggunakan metode unsupervised. Untuk tahapan ASC, hasil rata-rata Macro F1-score model mencapai sekitar 29,6% dan 26,8%. Kinerja model ini berada di bawah SOTA yang menggunakan metode supervised untuk Bahasa Indonesia dan Bahasa Inggris. Meskipun demikian, pendekatan ini berpotensi sebagai alat bantu awal untuk menganalisis inkonsistensi hasil penilaian yang memerlukan validasi lebih lanjut oleh ahli lembaga akreditasi.