Microsoft розробила ШІ, що синхронізує губи з вигаданими словами

Корпорація Microsoft запатентувала інноваційну систему на базі штучного інтелекту, здатну трансформувати мовлення людей у режимі реального часу під час трансляцій. Ця розробка дозволяє синхронізувати міміку губ диктора з модифікованим текстом, надаючи глядачам можливість сприймати контент відповідно до індивідуальних уподобань, як повідомляє Futurism.

Заява на патентування була подана 29 квітня 2025 року, а офіційна публікація відбулася 29 жовтня 2026-го.

Згідно з деталями патентного документа, спеціалізовані ШІ-агенти ідентифікуватимуть слова або фрази, що потребують заміни чи вилучення, та здійснюватимуть відповідні корективи. Одночасно система автоматично відрегулює відеоряд, зокрема рухи губ промовця, щоб вони точно відповідали зміненому аудіо. ШІ також забезпечить редагування суміжних аудіо- та візуальних елементів для створення ефекту безшовного переходу.

Серед потенційних сфер застосування цієї технології — дубляж прямих трансляцій іншими мовами, видалення слів-паразитів, корекція обмовок та усунення заїкання. Крім того, система зможе нівелювати використання жаргонізмів, діалектних висловів та образливої лексики. Варіанти заміни слів будуть підбиратися, зокрема, шляхом аналізу інформації з мережі Інтернет.

Вирізняльною рисою цієї розробки є функція персоналізації. Наприклад, під час одного виступу різні глядачі зможуть чути ті самі речення, але з різними формулюваннями, при цьому рухи губ диктора будуть адаптовані до кожного персоналізованого варіанту.

Водночас, така функціональність несе потенційний ризик маніпулювання інформацією, адже людина на екрані може нібито промовляти слова, які насправді не вимовляла. Для запобігання подібним випадкам, патент передбачає опцію збереження оригінального відео- та аудіоматеріалу, що дозволить верифікувати справжній зміст виступу за необхідності.

Технологію пропонують впроваджувати в освітні лекції, корпоративні презентації, телевізійні шоу та спортивні трансляції.

Фото на обкладинці: Samsung Memory / Unsplash

Підсумок від Українське життя:

Ця розробка Microsoft відкриває нові горизонти для персоналізації контенту під час прямих трансляцій. Вона може бути надзвичайно корисною для мовних адаптацій, покращення якості виступу або створення більш інклюзивного середовища для глядачів. Водночас важливо пам’ятати про етичні аспекти та потенційні ризики спотворення інформації, але наявність опції збереження оригіналу покликана мінімізувати ці загрози.

За матеріалами: bzh.life