IMPLEMENTASI LLM GEMINI 2.0 FLASH DAN NAÏVE BAYES UNTUK KLASIFIKASI RATING ULASAN SIREKAP 2024

Abstract

Aplikasi Sistem Informasi Rekapitulasi (SIREKAP) 2024 memegang peranan krusial dalam mendukung transparansi, efisiensi, dan akuntabilitas penyelenggaraan pemilihan umum di Indonesia melalui ulasan digital pengguna. Namun, tingginya volume ulasan yang tidak terstruktur serta masalah ketidakseimbangan data yang ekstrem membuat proses analisis sentimen maupun evaluasi kualitas aplikasi secara manual menjadi sangat tidak efisien. Oleh karena itu, penelitian ini bertujuan untuk mengotomatisasi klasifikasi ulasan pengguna SIREKAP 2024 ke dalam lima kelas rating menggunakan pendekatan pembelajaran mesin. Metodologi yang diterapkan mencakup pra-proses teks berbasis Large Language Model (LLM) Gemini 2.0 Flash untuk merapikan ejaan dan tata bahasa, ekstraksi fitur Term Frequency-Inverse Document Frequency (TF-IDF), serta pengklasifikasian menggunakan algoritma Multinomial Naïve Bayes yang dioptimasi parameternya dengan Optuna. Evaluasi keandalan model dilakukan melalui teknik 10-Fold Cross Validation dan Confusion Matrix terhadap dataset sebanyak 8.358 ulasan. Hasil pengujian menunjukkan rata-rata F1-score sebesar 31,00%. Kinerja model yang terbatas ini utamanya disebabkan oleh dominasi ulasan pada kelas Rating 1 yang mencapai 64,1%, sehingga model mengalami bias terhadap kelas mayoritas dan kesulitan mengklasifikasikan kelas minoritas. Temuan ini menyoroti pentingnya penanganan ketidakseimbangan data untuk penelitian selanjutnya