MODEL CONVOLUTIONAL NEURAL NETWORK (CNN) DENGAN PENDEKATAN TRANSFER LEARNING RESNET-50 UNTUK PROTOTIPE DETEKSI WAJAH PEMELAJAR

Abstract

Fokus merupakan faktor fundamental yang menentukan keberhasilan belajar dan kemampuan menyerap materi pelajaran dengan efektif. Namun dalam penerapan pembelajaran jarak jauh sulitnya memantau tingkat fokus menjadi tantangan sendiri bagi pengajar. Penelitian ini bertujuan untuk membangun model klasifikasi untuk mendeteksi tingkat fokus berdasarkan ekspresi wajah. Metode yang diusulkan menggunakan arsitektur Convolutional Neural Network (CNN) dengan menerapkan pendekatan transfer learning dari model pra-latih ResNet-50 yang telah terbukti memiliki kemampuan yang baik dalam klasifikasi menggunakan data citra wajah. Model dilatih dan diuji menggunakan ekstraksi frame citra wajah dari dataset DAiSEE yang kemudian dilabeli ulang dengan label engaged dan disengaged. Hasil pelatihan model menunjukan performa yang baik dengan akurasi sebesar 94% untuk data uji. Model kemudian di deploy kedalam platform website sebagai prototipe untuk menunjukan kemampuan model dalam menangani data nyata yang langsung diambil dari kamera perangkat. Penelitian ini berpotensi untuk diimplementasikan sebagai alat bantu bagi institusi pendidikan untuk memonitor tingkat fokus mahasiswa dalam menjalani sesi pembelajaran secara daring sehingga dapat meningkatkan kualitas interaksi dan proses pembelajaran.