Изначально HeyGen — сервис с виртуальными аватарами, которые озвучивают текст на разных языках. В соответствии с выбранным языком для цифрового персонажа генерируется мимика и движения губ.
В сентябре 2023 года HeyGen выпустили в бета-версию функции перевода видео. Для нее используется одновременно три технологии: перевод, дипфейк и распознавание голоса. Голос обрабатывают и копируют с помощью нейросетей. Текст переводят и переозвучивают на выбранный язык. Рот говорящего человека перерисовывают так, чтобы текст на новом языке ложился на мимику.
Таким образом, получается полный дубляж с переводом на другой язык, но сохранением оригинального голоса.Иногда заметны артефакты, но чем лучше качество видео, тем лучше генерация.
Это первый подобный популярный сервис. Он частично поддерживает русский язык: переозвучить на нем ничего нельзя, но можно перевести с русского на другие языки. Из-за ограничений HeyGen пока не получится использовать для длинных видео или сложных роликов с несколькими голосами. Зато короткие ролики переозвучить можно даже бесплатно. Русскоязычные пользователи в первую очередь стали тестировать нейросеть на культовых мемах.
Опробовать нейросеть HeyGen можно: https://labs.heygen.com/login
В сентябре 2023 года HeyGen выпустили в бета-версию функции перевода видео. Для нее используется одновременно три технологии: перевод, дипфейк и распознавание голоса. Голос обрабатывают и копируют с помощью нейросетей. Текст переводят и переозвучивают на выбранный язык. Рот говорящего человека перерисовывают так, чтобы текст на новом языке ложился на мимику.
Таким образом, получается полный дубляж с переводом на другой язык, но сохранением оригинального голоса.Иногда заметны артефакты, но чем лучше качество видео, тем лучше генерация.
Это первый подобный популярный сервис. Он частично поддерживает русский язык: переозвучить на нем ничего нельзя, но можно перевести с русского на другие языки. Из-за ограничений HeyGen пока не получится использовать для длинных видео или сложных роликов с несколькими голосами. Зато короткие ролики переозвучить можно даже бесплатно. Русскоязычные пользователи в первую очередь стали тестировать нейросеть на культовых мемах.
Опробовать нейросеть HeyGen можно: https://labs.heygen.com/login