ElevenLabs, занимающаяся разработками в области синтеза речи, запустила новую функцию автоматического дубляжа видеороликов. Эта возможность стала доступна для всех прямо на сайте компании.
Технология синтеза на базе ИИ переводит речь и вставляет её в оригинальную звуковую дорожку, стараясь сохранить исходный тон и произношение. Поддерживается 29 языков.
Работает всё просто:
- Перейдите на сайт ElevenLabs и выберите видео — можно загрузить его из памяти устройства или дать ссылку на YouTube, TikTok, Vimeo или даже X (Twitter).
- Укажите исходный язык и тот, на который нужно перевести. А далее нажмите Create.
Если в ролике нет посторонних шумов и музыки, то получается довольно неплохо. Ниже пример перевода речи Стива Джобса из известного интервью.
С дубляжом трейлеров с YouTube, где много звуковых эффектов и музыки, могут быть артефакты и перепады громкости. Но чтобы понять смысл, инструмента ElevenLabs будет более чем достаточно.
Видео с готовым переводом можно сразу скачать. После первого теста потребуется авторизация — можно через Google-аккаунт. С очень длинными роликами технология ElevenLabs пока не справляется.