CONVOLUTIONAL NEURAL NETWORK DENGAN MEDIAPIPE HAND UNTUK PENGENALAN HURUF BAHASA ISYARAT INDONESIA (SIBI)

Abstract

Sistem Isyarat Bahasa Indonesia (SIBI) merupakan bahasa isyarat baku yang dikembangkan pemerintah Indonesia untuk mendukung komunikasi penyandang tuli dan wicara. Permasalahannya, pemahaman masyarakat umum terhadap SIBI masih sangat terbatas sehingga menyulitkan interaksi sehari-hari. Tujuan penelitian ini adalah mengembangkan prototipe sistem pengenalan huruf SIBI (24 huruf alfabet A–Y tanpa J dan Z) secara real-time dari video webcam menggunakan Convolutional Neural Network (CNN). Metode yang digunakan meliputi: pengumpulan dataset sebanyak 5.280 gambar; preprocessing berupa konversi grayscale, ekstraksi Region of Interest (ROI) dengan MediaPipe, penyeragaman ukuran 64×64 piksel, serta normalisasi nilai piksel; arsitektur CNN terdiri dari tiga blok konvolusi, dua lapisan fully connected, dan dropout, dilatih dengan optimizer Adam (learning rate 0,0001) serta early stopping. Hasil penelitian menunjukkan: akurasi model pada data uji mencapai 85,51%; kecepatan inferensi 14 frame per detik pada laptop tanpa GPU; akurasi uji coba langsung oleh tiga partisipan sebesar 90%; selain itu, ditemukan bahwa augmentasi data (rotasi, pergeseran, perubahan kecerahan) justru menyebabkan ketidakstabilan gradien sehingga tidak digunakan dalam model final. Sistem prototipe yang dihasilkan mampu mendeteksi dan mengklasifikasikan huruf SIBI secara real-time dilengkapi visualisasi landmark tangan dan teks prediksi