PENGEMBANGAN APLIKASI PENGENALAN BAHASA ISYARAT ABJAD SIBI MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK (CNN)

Abstract

Menyampaikan informasi dibutuhkan bahasa yang mudah dipahami. Penyandang tunarungu memiliki bahasa tersendiri dalam komunikasi yaitu bahasa isyarat. Bahasa isyarat SIBI (Sistem Isyarat Bahasa Indonesia) sering digunakan dalam kondisi formal. Pemahaman mengenai bahasa isyarat perlu ditanamkan sejak dini. Di SDLB Purworejo III Kota Pasuruan telah diajarkan bahasa isyarat. Namun dalam proses pembelajarannya masih menggunakan buku panduan, video pembelajaran atau bahkan peragaan secara langsung oleh guru.Pada penelitian ini dilakukan proses klasifikasi peragaan bahasa isyarat abjad SIBI berdasarkan peragaan secara langsung oleh guru maupun murid di depan kamera secara realtime. Aplikasi dibuat berbasis web serta proses klasifikasi menggunakan metode Convolutional Neural Network (CNN). Dataset berupa citra digital peragaan abjad SIBI diperoleh dari 1 orang guru dan 3 orang murid penyandang tunarungu, diperoleh total dataset 416 citra terdiri dari 384 citra hasil pengambilan gambar dan 32 citra digital hasil konversi video peragaan bahasa isyarat abjad J dan Z karena peragaan berupa gerakan aktif. Keluaran dari sistem ini berupa label kelas abjad dan nilai probalitas hasil klasifikasi yang ditampilkan pada webcam dalam website. Pengujian melibatkan 2 orang relawan dengan melakukan uji coba sebanyak 52 kali munggunakan model klasifikasi hasil training. Berdasarkan pengujian menggunakan rumus confusion matrix, diperoleh nilai accuracy, recall, specificity dan sensitivity sebesar 80,76% .