Optimasi Hyperparameter Model Ensemble untuk Klasifikasi Sentimen Ulasan OVO

Abstract

Pertumbuhan layanan dompet digital di Indonesia mendorong meningkatnya jumlah ulasan pengguna yang mengandung opini penting terkait kualitas layanan. Analisis sentimen menjadi penting untuk memahami persepsi pengguna terhadap aplikasi OVO. Penelitian ini menganalisis 10.644 ulasan dari Google Playstore yang dikumpulkan melalui teknik web scraping. Ulasan tersebut diproses melalui tahapan text preprocessing, representasi fitur menggunakan Word2Vec, serta penyeimbangan kelas menggunakan Synthetic Minority Oversampling Technique (SMOTE). Tiga algoritma ensemble learning yaitu Random Forest, XGBoost, dan LightGBM diterapkan dan dioptimasi melalui Grid Search dan Randomized Search, dengan evaluasi menggunakan 10-Fold Cross-Validation serta uji statistik paired t-test. Hasil menunjukkan bahwa meskipun XGBoost dan LightGBM memperoleh nilai cross-validation yang lebih tinggi, performa terbaik pada data uji dicapai oleh Random Forest. Model tersebut mencapai akurasi 89,90% dan ROC-AUC Macro 91,11% pada skema Grid Search, serta akurasi 89,76% dan ROC-AUC Macro 91,19% pada skema Randomized Search. Temuan ini menunjukkan bahwa Random Forest memiliki kemampuan generalisasi paling stabil terhadap data ulasan OVO dibandingkan dua model boosting. Penelitian ini memberikan kontribusi pada pengembangan analisis sentimen berbahasa Indonesia melalui integrasi Word2Vec, SMOTE, dan optimasi hyperparameter, serta membuka peluang eksplorasi lanjutan menggunakan contextual embedding dan teknik penyeimbangan data yang lebih adaptif.