View/Open

Author
Sultan, Ahmad Alfath

Advisor
Andika Setiawan, S.Kom., M.Cs.,
Winda Yulita, M.Cs.,

Koleksi
Teknik Informatika

Publisher

Warna sering digunakan dalam berbagai implementasi computer vision seperti deteksi kematangan buah dan pencarian orang berdasarkan pakaian, sementara teks digunakan sebagai pembeda pada benda dengan jenis yang sama, seperti plat nomor kendaraan. Penelitian ini bertujuan untuk mengintegrasikan model YOLOv9 untuk deteksi tangan yang memegang benda dan deteksi objek, rule-based model untuk klasifikasi warna, serta easyOCR untuk mendeteksi teks pada permukaan benda. Penelitian ini bertujuan untuk membuat model yang dapat digunakan dalam berbagai skenario yang membutuhkan informasi tentang objek berdasarkan warna dan teksnya, termasuk untuk keperluan forensik, retail, logistik, dan keamanan. Dataset yang digunakan berasal dari dataset buatan dan anotasi pribadi, serta dataset hasil survei seperti XKCD. Output audio menggunakan modul pyttsx juga ditambahkan agar pengguna dapat memahami hasil deteksi dari model yang diintegrasikan. Penelitian ini melakukan evaluasi menggunakan dataset buatan pribadi dan evaluasi real-time dengan partisipan untuk mengetahui hasil dari pengintegrasian model secara keseluruhan. Hasilnya, YOLO9 mendapatkan accuracy sekitar 68% untuk pendeteksian tangan yang memegang benda, dan 84% untuk pendeteksian benda. Rule-based classifier mendapatkan accuracy 39% pada dataset uji integrasi, kemudian untuk menguji kemampuan generalisasi didapatkan accuracy sebesar 67% pada dataset XKCD-balanced, dan 76% pada dataset buatan pribadi. easyOCR mendapatkan CER sekitar 54%, WER sebesar 82

URI
https://repository.itera.ac.id/depan/submission/SB2502110077

Keyword
rule-based YOLOv9 easyOCR pengintegrasian model