Komparasi SVM dan IndoBERT dalam Klasifikasi Sentimen Program Makanan Bergizi Gratis

Abstract

Program Makanan Bergizi Gratis (MBG) memunculkan beragam respons masyarakat di media sosial, khususnya pada platform X (Twitter). Analisis sentimen diperlukan untuk memahami kecenderungan opini publik terhadap program tersebut. Penelitian ini membandingkan kinerja Support Vector Machine (SVM) dan IndoBERT dalam mengklasifikasikan sentimen positif dan negatif pada 2.674 tweet terkait MBG. Data diperoleh melalui web scraping dan diproses melalui tahapan cleaning, normalisasi teks, tokenisasi, serta pelabelan menjadi dua kelas sentimen. Ketidakseimbangan data ditangani menggunakan Synthetic Minority Oversampling Technique (SMOTE). Model SVM dilatih menggunakan representasi fitur TF-IDF, sedangkan IndoBERT dilatih melalui fine-tuning sebagai model transformer. Evaluasi performa dilakukan menggunakan 10-Fold Cross-Validation, confusion matrix, ROC-AUC, dan uji statistik paired t-test. Hasil penelitian menunjukkan bahwa SVM memperoleh akurasi 94,64% dan F1-Score 94,63%, sedangkan IndoBERT mencapai akurasi 90,11% dan F1-Score 89,92%. Meskipun IndoBERT mencatat nilai AUC sedikit lebih tinggi, kinerja keseluruhan SVM lebih unggul secara konsisten pada data yang telah diseimbangkan dengan SMOTE. Uji paired t-test menghasilkan nilai p < 0,05, yang menunjukkan bahwa perbedaan performa kedua model bersifat signifikan. SVM lebih efektif digunakan untuk klasifikasi sentimen dua kelas pada dataset MBG yang relatif kecil dan bersifat informal.