PENGEMBANGAN SISTEM PENERJEMAH BIDIRECTIONAL BISINDO BERBASIS LEAP MOTION DAN MULTILAYER PERCEPTRON

Abstract

Komunikasi antara penyandang tunarungu dan masyarakat umum masih menghadapi kendala akibat perbedaan media komunikasi yang digunakan. Berbagai penelitian pengenalan Bahasa Isyarat Indonesia (BISINDO) telah dikembangkan menggunakan pendekatan berbasis kamera RGB, namun metode tersebut masih dipengaruhi kondisi pencahayaan, latar belakang, dan umumnya hanya mendukung penerjemahan satu arah. Oleh karena itu, penelitian ini bertujuan mengembangkan sistem penerjemah bidirectional BISINDO berbasis Leap Motion Controller dan Multilayer Perceptron (MLP) untuk mendukung komunikasi dua arah. Metode penelitian meliputi akuisisi data gestur menggunakan Leap Motion Controller yang menghasilkan data koordinat tiga dimensi tangan dan jari, dilanjutkan dengan preprocessing berupa pembersihan dan normalisasi data. Model klasifikasi dibangun menggunakan MLP dengan dua hidden layer dan diimplementasikan dalam sistem berbasis Python yang terintegrasi dengan FastAPI, Speech-to-Text (STT), dan Text-to-Speech (TTS). Sistem menyediakan dua mode komunikasi, yaitu gesture-to-text/audio dan audio-to-sign. Hasil pengujian menggunakan 2080 data dari 26 kelas gestur BISINDO menunjukkan accuracy sebesar 95,87%, precision sebesar 95,12%, recall sebesar 94,76%, dan F1-score sebesar 94,93%. Sistem juga berhasil mengimplementasikan penerjemahan dua arah secara real-time melalui konversi gestur menjadi teks dan audio serta konversi audio menjadi representasi visual bahasa isyarat. Berdasarkan hasil tersebut, penggunaan Leap Motion Controller dan MLP mampu menghasilkan performa klasifikasi yang baik serta mendukung pengembangan sistem penerjemah BISINDO yang interaktif, stabil terhadap perubahan lingkungan, dan efektif untuk komunikasi dua arah