ANALISIS DISKREPANSI ANTARA RATING DAN SENTIMEN TEKS PADA ULASAN APLIKASI SEABANK MENGGUNAKAN MODEL DEEP LEARNING INDOBERT

Abstract

Kemajuan layanan perbankan berbasis digital turut memicu lonjakan ulasan pengguna di Google Play Store, baik berupa penilaian numerik maupun teks ulasan. Akan tetapi, keduanya kerap menunjukkan ketidakkonsistenan, di mana rating yang diberikan tidak selalu merepresentasikan sentimen sesungguhnya dalam teks ulasan. Penelitian ini bertujuan untuk mengklasifikasikan sentimen ulasan pengguna aplikasi SeaBank melalui model deep learning IndoBERT sekaligus mendeteksi diskrepansi antara rating numerik dan prediksi sentimen teks. Sebanyak 14.466 ulasan diperoleh melalui web scraping Google Play Store setelah melalui proses seleksi dengan mengeliminasi data kosong dan ulasan berrating 3. Pelatihan model dilakukan pada 1.500 sampel yang dipilih secara stratified dengan rasio 80:10:10 untuk data latih, validasi, dan uji, serta penanganan ketidakseimbangan kelas menggunakan class weight. Hasil evaluasi menunjukkan akurasi model sebesar 98,00% dengan F1-score 0,90 untuk kelas negatif dan 0,99 untuk kelas positif. Dari total 14.466 data, terdeteksi 823 ulasan (5,69%) yang mengalami diskrepansi, meliputi 655 ulasan Tipe A (rating positif, prediksi negatif) dan 168 ulasan Tipe B (rating negatif, prediksi positif). Hasil ini membuktikan bahwa penilaian numerik tidak sepenuhnya merepresentasikan sentimen yang terkandung dalam teks ulasan pengguna.