ESSAY GRADING MODEL (EGM) BERBAHASA INDONESIA MENGGUNAKAN WORD EMBEDDING INDOBERT DAN LONG SHORT TERM MEMORY (LSTM)

Abstract

Selama ini penilaian soal esai memiliki beberapa kekurangan, antara lain memakan waktu yang lama, subjektivitas dan konsistensi dalam proses penilaian. Untuk mengatasi keterbatasan waktu dan subjektivitas tersebut, maka proses penilaian dapat dilakukan secara otomatis dengan menerapkan Essay Grading Model (EGM). Identifikasi konsistensi dilakukan dengan similarity matching dengan menghitung nilai cosine similarity dari kunci jawaban dan jawaban mahasiswa. EGM menggunakan teknologi Natural Language Processing(NLP) dengan teknik word embedding IndoBERT untuk mengubah teks esai menjadi representasi vektor numerik. Selanjutnya, model machine learning yang digunakan adalah Long Short Term Memory (LSTM) dan Bidirectional LSTM(BiLSTM). Penilaian Penelitian EGM dilakukan menggunakan dataset mahasiswa dari program studi Sistem Informasi Manajemen yang berjumlah 122 data dengan 5 soal. Dalam penelitian ini, teknik word embedding menggunakan dua variasi, yaitu IndoBERT base dan IndoBERT large. Penelitian melibatkan penerapan model LSTM dan BiLSTM. Untuk mengukur tingkat konsistensi digunakan cosine similarity terhadap kunci jawaban dan dilakukan perhitungan selisih antara nilai dari tutor dan nilai hasil cosine similarity. Berdasarkan hasil penelitian, tingkat konsistensi antara nilai dari penilai dengan nilai hasil cosine similarity mencapai 18% - 50%. Hasil penelitian menunjukkan bahwa IndoBERT base memberikan akurasi yang lebih tinggi dibandingkan dengan IndoBERT large, dengan akurasi tertinggi mencapai 80% menggunakan model BiLSTM dan 79.5% menggunakan model LSTM. Selain itu, F1-score macro menghasilkan nilai sebesar 80% menggunakan BiLSTM dan 79% menggunakan LSTM. Tingkat akurasi yang telah dicapai EGM cukup tinggi, tetapi performanya bisa ditingkatkan dengan menambahkan teknik-teknik lain pada data yang digunakan. Hal ini dapat membantu EGM dalam memberikan penilaian yang lebih baik dan akurat terhadap penilaian soal esai.