PEMANFAATAN COMPUTER VISION UNTUK BAHASA ISYARAT ASL MENGGUNAKAN FRAMEWORK MEDIAPIPE

Surya, Stefanus Raymond (2025) PEMANFAATAN COMPUTER VISION UNTUK BAHASA ISYARAT ASL MENGGUNAKAN FRAMEWORK MEDIAPIPE. Sarjana thesis, Universitas Bhinneka Nusantara.

	Text ABSTRAK.pdf Download (282kB)
	Text BAB I.pdf Download (569kB)
	Text BAB II.pdf Download (443kB)
	Text BAB III.pdf Download (948kB)
	Text BAB IV.pdf Restricted to Repository staff only Download (646kB)
	Text BAB V.pdf Download (391kB)
	Image Stefanus Raymond Surya - 211111006.jpg Download (308kB)

Abstract

Komunikasi antara penyandang disabilitas tunarungu dengan masyarakat umum masih menjadi tantangan akibat perbedaan bahasa yang digunakan. Penelitian ini bertujuan untuk membangun sistem pengenalan bahasa isyarat American Sign Language (ASL) berbasis computer vision menggunakan framework MediaPipe dan model Convolutional Neural Network (CNN). Sistem ini dirancang untuk mendeteksi gestur tangan dari citra dan mengklasifikasikannya ke dalam 34 kelas, terdiri dari huruf A-Y (kecuali huruf J dan huruf Z) serta angka 1-10. Dataset citra gestur tangan sebanyak 5643 data dibagi ke dalam data pelatihan, validasi, dan pengujian. Hasil pelatihan menunjukkan akurasi model mencapai 95,08% pada data pelatihan dan 81,11% pada data validasi. Evaluasi model pada data uji menghasilkan akurasi sebesar 78,90%, dengan nilai percision makro 0,83 dan recall makro 0,79. Confusion matrix menunjukkan model mampu mengenali sebagian besar kelas dengan baik, meskipun terdapat beberapa kelas dengan tingkat kesalahan klasifikasi yang tinggi. Penelitian ini membuktikan bahwa MediaPipe dan CNN dapat dimanfaatkan secara efektif untuk pengenalan bahasa isyarat statis, namun masih diperlukan pengembangan lebih lanjut untuk meningkatkan performa dan memperluas dukungan terhadap gestur dinamis.

Item Type:	Thesis (Sarjana)
Subjects:	Information system > Data management systems
Divisions:	Engineering Sciences
Depositing User:	Unnamed user with username editor_perpustakaan
Date Deposited:	22 Jan 2026 07:49
Last Modified:	22 Jan 2026 07:49
URI:	http://repository.stiki.ac.id/id/eprint/2489

Actions (login required)

View Item