ANALISIS PERBANDINGAN MODEL QWEN 2.5 FAMILY DENGAN TEKNIK QUANTIZATION UNTUK TUGAS RETRIEVAL-AUGMENTED GENERATION (RAG)

Abstract

Penelitian ini membahas dampak penerapan teknik Post-Training Quantization (PTQ) pada keluarga model Qwen 2.5 dengan berbagai ukuran parameter (3B, 7B, 14B, dan 32B) menggunakan skema kuantisasi Q5 dan Q8. Kesimpulannya, kombinasi kuantisasisiensi dan kualitas model pada dua skenario utama: inferensi langsung tanpa konteks (baseline inference) dan sistem Retrieval-Augmented Generation (RAG) yang mengintegrasikan pencarian informasi. Dataset berupa dokumen PDF dikonversi menjadi pasangan pertanyaan dan jawaban secara otomatis menggunakan model Claude, kemudian digunakan untuk menguji performa sistem. Evaluasi kualitas jawaban dilakukan melalui pendekatan LLM-as-a-Judge berbasis Claude 3 Sonnet, dengan lima kriteria utama: akurasi, kelengkapan, relevansi, kejelasan, dan pemanfaatan konteks. Hasil eksperimen menunjukkan bahwa model Qwen 2.5-32B-Q5 unggul dalam skenario baseline inference, sementara Qwen 2.5-32B-Q8 memberikan performa terbaik dalam sistem RAG. Teknik kuantisasi terbukti mampu mengurangi ukuran model hingga lebih dari 60% tanpa degradasi signifikan pada kualitas keluaran. Kesimpulannya, kombinasi kuantisasi dan seleksi model yang tepat memungkinkan penerapan sistem RAG yang efisien dan tetap akurat, serta membuka peluang untuk implementasi model bahasa besar pada perangkat dengan keterbatasan sumber daya.