View/Open

Author
AZIZ, KURNIAWAN

Date Published
24 Aug 2026

Advisor
Martin Clinton Tosima Manullang, S.T., M.T., Ph.D.,

Subject
Teknik Informatika

Publisher

Sistem verifikasi suara rentan terhadap serangan spoofing berupa suara sintetis atau hasil konversi, sehingga dibutuhkan model countermeasure yang andal. Penelitian ini membandingkan tiga arsitektur countermeasure, yaitu AASIST, SE-Rawformer, dan RawTFNet-32, pada kondisi pelatihan yang seragam agar perbedaan performa mencerminkan perbedaan desain arsitektur, bukan perbedaan konfigurasi pelatihan. Penelitian ini juga mengukur kontribusi augmentasi RawBoost melalui studi ablasi serta mengevaluasi kemampuan generalisasi ketiga arsitektur pada dataset In-the-Wild yang berisi audio deepfake dunia nyata. Ketiga model dilatih pada dataset ASVspoof 2019 LA menggunakan optimizer Adam, learning rate $10^{-4}$, dan fungsi kerugian Weighted Cross-Entropy, kemudian dievaluasi menggunakan Equal Error Rate (EER) dan minimum tandem Detection Cost Function (min t-DCF) untuk kondisi in-distribution, serta Half Total Error Rate (HTER) untuk kondisi cross-domain. Hasil evaluasi menunjukkan AASIST mencatat EER terendah sebesar 1,591%, diikuti SE-Rawformer (2,336%) dan RawTFNet-32 (2,488%). Studi ablasi mengungkap bahwa RawBoost memberikan trade-off antara akurasi in-distribution dan ketahanan cross-domain yang berbeda arah untuk setiap arsitektur. Pada evaluasi In-the-Wild, seluruh arsitektur mengalami degradasi dengan HTER di atas 42%, dan AASIST yang terbaik pada kondisi in-distribution justru mengalami degradasi terbesar. Studi sensitivitas hyperparameter dan studi persepsi manusia terhadap 50 responden memperkuat temuan bahwa peringkat arsitektur bergantung pada konfigurasi pelatihan, dan bahwa generalisasi pada audio dunia nyata merupakan tantangan fundamental bagi model maupun manusia.

URI
https://repository.itera.ac.id/depan/submission/SB2608200040

Keyword
audio deepfake deteksi spoofing audio countermeasure RawBoost generalisasi lintas dataset