EVALUASI PERFORMA NAIVE BAYES DAN SVM DALAM MEMPREDIKSI SENTIMEN ULASAN PENGGUNA APLIKASI PINTEREST

Abstract

Kemajuan teknologi digital telah mendorong pertumbuhan signifikan dalam penggunaan aplikasi mobile di berbagai kalangan pengguna, termasuk Pinterest yang menghasilkan banyak ulasan pengguna sebagai sumber informasi kepuasan. Meskipun demikian, banyaknya ulasan yang tersedia dalam bentuk teks yang tidak tersusun membuat proses analisis secara manual sulit dilakukan dan berpotensi menimbulkan bias akibat ketidakseimbangan data sentimen. Penelitian ini dilaksanakan guna membandingkan tingkat performa algoritma Naive Bayes dan Support Vector Machine (SVM) dalam pengelompokan sentimen ulasan pengguna aplikasi Pinterest. Metode penelitian meliputi pre-processing, pelabelan, ekstraksi fitur melalui penerapan Term Frequency-Inverse Document Frequency (TF-IDF), pembagian data 80:20 dan 70:30, serta penerapan Random Oversampling (ROS) dilakukan untuk mengatasi ketidakseimbangan data. Evaluasi diterapkan dengan memanfaatkan confusion matrix melalui metrik akurasi, precision, recall, dan F1-score. Temuan penelitian menunjukkan bahwa Support Vector Machine (SVM) pada kondisi data Imbalanced rasio 80:20 memperoleh akurasi global tertinggi sebesar 89,01% dan F1-score 88,71%, sedangkan Naive Bayes dengan Random Oversampling (ROS) rasio 70:30 menghasilkan recall kelas negatif tertinggi sebesar 87,03% dan F1-score 72,68%. Penelitian menegaskan bahwa evaluasi model pada data tidak seimbang perlu menitikberatkan pada performa per kelas, khususnya recall kelas negatif, bukan hanya akurasi global.