ANALISIS PERFORMA CNN SEQUENTIAL DAN MOBILENETV2 UNTUK KLASIFIKASI TULISAN TANGAN BERBASIS HAND TRACKING MEDIAPIPE

Abstract

Kemampuan menulis merupakan keterampilan dasar yang penting dalam proses pembelajaran, khususnya dalam pengenalan huruf dan angka. Namun, anak dengan disleksia sering mengalami kesulitan dalam mengenali, membedakan, dan menuliskan karakter yang memiliki bentuk visual serupa, sehingga diperlukan media pembelajaran yang lebih interaktif dan adaptif. Penelitian ini bertujuan untuk menganalisis performa model Convolutional Neural Network (CNN) Sequential dan MobileNetV2 dalam klasifikasi tulisan tangan berbasis hand tracking menggunakan MediaPipe Hands. Metode yang digunakan meliputi pengumpulan dataset tulisan tangan huruf kapital, huruf kecil, dan angka, pra-pemrosesan data berupa resize, grayscaling, normalisasi, dan augmentasi, serta pengujian model pada setiap kategori karakter. Evaluasi dilakukan menggunakan metrik accuracy, precision, recall, F1-score, grafik akurasi dan loss, serta confusion matrix. Hasil pengujian menunjukkan bahwa Sequential CNN lebih optimal pada kategori angka dengan F1-score 97,28%, sedangkan MobileNetV2 lebih unggul pada huruf kapital dengan F1-score 96,83% dan huruf kecil dengan F1-score 97,77%. Hasil ini menunjukkan bahwa pemilihan model berdasarkan kategori karakter dapat meningkatkan performa klasifikasi tulisan tangan