Зображення — University of Glasgow.
Щоб ідентифікувати рухи губ, новий пристрій поєднує у собі традиційну технологію слухових апаратів разом з радіочастотним зондуванням та штучним інтелектом. Тобто радар на слуховому апараті спочатку сканує обличчя під час мовлення за допомогою радіочастотних сигналів, а потім визначає, який конкретно це був звук. Правильність інтерпретування алгоритмом даних складає для відкритих облич 95%, а для тих, хто в масках, — 83%.
Для розробки системи дослідники попросили добровольців повторити п’ять голосних звуків спочатку у масці, а потім без неї. Щоб «навчити» алгоритми штучного інтелекту правильно розпізнавати характерні рухи губ і рота, пов’язані з кожним голосним звуком, знадобилося 3600 зразків звуків.
Також важливо, що нова технологія гамуватиме навколишні звуки. Це допоможе впоратися з «ефектом коктейльної вечірки» — поширеним недоліком традиційних слухових апаратів, які часто не дають користувачам зосередитися на конкретних звуках, наприклад, розмові з однією конкретною людиною в натовпі.
Раніше вчені вже пробували розробити подібні пристрої. Тоді для читання по губах вони використовували камери, однак пристрої не розрізняли мову людей в масках та спричиняли проблеми конфіденційності.
