EVALUASI KINERJA LIGHTGBM DAN CATBOOST UNTUK PREDIKSI CHURN BERDASARKAN DATASET PELANGGAN LAYANAN STREAMING MUSIK

Abstract

Industri layanan streaming musik mengalami pertumbuhan yang pesat, namun dengan meningkatnya jumlah pengguna, risiko churn atau pelanggan yang berhenti berlangganan juga semakin tinggi. Churn dapat berdampak signifikan terhadap pendapatan dan efisiensi biaya akuisisi pelanggan baru, sehingga penting bagi perusahaan untuk mengidentifikasi pelanggan yang berisiko churn dengan tepat. Penelitian ini mengusulkan penggunaan dua algoritma pembelajaran mesin berbasis gradient boosting, yaitu LightGBM dan CatBoost, untuk memprediksi churn pelanggan layanan streaming musik. Model ini dilatih menggunakan dataset Streaming Subscription Churn, dengan menerapkan teknik SMOTE untuk menangani ketidakseimbangan kelas. Evaluasi model dilakukan menggunakan metrik seperti akurasi, presisi, recall, F1-Score, dan AUC-ROC. Hasil penelitian menunjukkan bahwa kedua model memiliki akurasi yang hampir identik, yaitu 84%. Namun, CatBoost unggul dalam recall (0.86) dibandingkan LightGBM (0.84), yang menunjukkan kemampuannya yang lebih baik dalam mendeteksi pelanggan berisiko churn. Model CatBoost juga memiliki F1-Score 0.85 dan AUC-ROC 0.94, sementara LightGBM memiliki F1-Score 0.84 dan AUC-ROC 0.94. Berdasarkan hasil ini, CatBoost lebih direkomendasikan untuk strategi retensi pelanggan karena lebih efektif dalam mengidentifikasi pelanggan yang berpotensi churn.