Alat Bantu dengar Teknologi AI, Mampu Membaca Gerakan Bibir Individu dengan Masker

Berita Baru, Inggris – Teknologi alat bantu dengar telah dikembangkan sehingga dapat memindai gerakan wajah Anda dan menggunakan kecerdasan buatan (AI) untuk mengetahui apa yang dikatakan.

Dilansir dari Dailymail.co.uk pada 15 September, dikembangkan oleh para insinyur di University of Glasgow, sistem ini bahkan mampu membaca bibir orang yang memakai masker.

Tim melatih algoritme dengan data yang dikumpulkan dengan memindai wajah orang dengan radar dan sinyal Wi-Fi saat mereka berbicara.

Ini memungkinkan sistem untuk menafsirkan ucapan dengan benar hingga 95 persen dari saat individu tidak menggunakan masker dan hingga 83 persen saat mereka menggunakan masker

Jika diintegrasikan ke dalam alat bantu dengar, alat ini dapat membantu orang tuli dan yang mengalami gangguan pendengaran untuk lebih mudah fokus pada suara di lingkungan yang bising.

“Sekitar lima persen dari populasi dunia, atau sekitar 430 juta orang memiliki beberapa jenis gangguan pendengaran,” kata penulis utama Dr Qammer Abbasi.

“Alat bantu dengar telah memberikan manfaat transformatif bagi banyak orang dengan gangguan pendengaran.”

“Generasi teknologi baru yang mengumpulkan spektrum data yang luas untuk menambah dan meningkatkan amplifikasi suara bisa menjadi langkah besar lainnya dalam meningkatkan kualitas hidup orang dengan gangguan pendengaran.”

“Dengan penelitian ini, kami telah menunjukkan bahwa sinyal frekuensi radio dapat digunakan untuk membaca suara vokal secara akurat di bibir orang, bahkan ketika mulut mereka ditutup.”

Alat bantu dengar saat ini membantu orang dengan gangguan pendengaran dengan memperkuat semua suara sekitar di sekitar mereka.

Meskipun ini membantu, mungkin sulit bagi pengguna untuk fokus pada suara tertentu dalam situasi bising, seperti saat bercakap-cakap dengan satu orang di sebuah pesta.

Untuk mengatasi hal ini, alat bantu dengar ‘pintar’ telah dikembangkan yang mengumpulkan data pembacaan bibir menggunakan kamera, yang digunakan bersama dengan amplifikasi audio konvensional.

Namun, mengumpulkan rekaman video orang tanpa persetujuan eksplisit mereka menimbulkan kekhawatiran akan privasi individu.

Kamera juga tidak bisa membaca bibir mereka yang mengenakan penutup wajah, baik untuk tujuan agama, budaya, atau kesehatan.

Dalam studi mereka, yang diterbitkan hari ini di Nature Communications, para peneliti menguraikan teknik pemindaian wajah yang dapat berfungsi sebagai alternatif kamera.

Mereka pertama kali berangkat untuk melatih algoritma pembelajaran mesin dan pembelajaran mendalam bagaimana mengenali gerakan bibir dan mulut yang terkait dengan setiap suara vokal.

Ini melibatkan meminta sukarelawan pria dan wanita untuk mengulangi lima suara vokal, A, E, I, O dan U – sambil membuka kedok dan mengenakan masker bedah.

Saat mereka melakukan ini, dan ketika bibir mereka diam, wajah mereka dipindai menggunakan sinyal frekuensi radio dari sensor radar dan pemancar Wi-Fi.

Ini terakumulasi menjadi 3.600 sampel data yang digunakan untuk mengajarkan algoritme membaca formasi vokal pengguna dengan masker dan yang tanpa masker.

Data Wi-Fi diinterpretasikan dengan benar oleh algoritme pembelajaran hingga 95 persen dari waktu untuk membuka kedok bibir, dan 80 persen untuk bertopeng.

Sementara itu, data radar ditafsirkan dengan benar hingga 91 persen tanpa topeng, dan 83 persen dengan topeng.

“Mengingat teknologi Wi-Fi di mana-mana dan keterjangkauan, hasilnya sangat menggembirakan yang menunjukkan bahwa teknik ini memiliki nilai baik sebagai teknologi mandiri dan sebagai komponen dalam alat bantu dengar multimodal masa depan,” kata Dr Abbasi.

Karena sistem ini menjaga privasi dengan hanya mengumpulkan data frekuensi radio tanpa rekaman video, diharapkan sistem ini dapat dipasang ke alat bantu dengar pintar di masa mendatang.