ESSAY GRADING MODEL (EGM) BERBAHASA INDONESIA MENGGUNAKAN WORD EMBEDDING INDOBERT DAN LONG SHORT TERM MEMORY (LSTM)

Abstract

Selama ini, penilaian soal esai memiliki beberapa kekurangan, antara lain memakan waktu yang lama, subjektivitas dan konsistensi dalam proses penilaian. Tingkat ketidakonsistenan mencapai 18% - 50%. Untuk mengatasi keterbatasan waktu dan subjektivitas tersebut, maka proses penilaian dapat dilakukan secara otomatis dengan menerapkan Essay Grading Model (EGM). EGM menggunakan teknologi Natural Language Processing(NLP) dengan teknik word embedding IndoBERT untuk mengubah teks esai menjadi representasi vektor numerik. Selanjutnya, model machine learning yang digunakan adalah Long Short Term Memory (LSTM) dan Bidirectional LSTM(BiLSTM). Pengujian EGM dilakukan menggunakan dataset mahasiswa dari jurusan Sistem Informasi Manajemen yang berjumlah 122 data dengan 5 soal. Dalam pengujian ini, teknik word embedding menggunakan dua variasi, yaitu IndoBERT base dan IndoBERT large. Pengujian melibatkan penerapan model LSTM dan BiLSTM. Hasil pengujian menunjukkan bahwa IndoBERT base memberikan akurasi yang lebih tinggi dibandingkan dengan IndoBERT large, dengan akurasi tertinggi mencapai 80% menggunakan model BiLSTM dan 79.5% menggunakan model LSTM. Selain itu, F1-score macro menghasilkan nilai sebesar 80% menggunakan BiLSTM dan 79% menggunakan LSTM. Tingkat akurasi yang telah dicapai EGM cukup tinggi, namun performanya bisa ditingkatkan dengan menambahkan teknik-teknik lain pada data yang digunakan. Hal ini dapat membantu EGM dalam memberikan penilaian yang lebih baik dan akurat terhadap soal-soal esai.