Почему субтитры для видео нейросеть делает за минуту, а править приходится дольше
Распознавание речи давно перестало быть проблемой. Модель слышит речь, расставляет знаки препинания и выдаёт дорожку с таймкодами. Проблема начинается на втором шаге, когда черновик нужно превратить в титры, которые не стыдно показать.
Причина в разнице задач. Распознаванию нужно угадать слова. Титру нужно уложить эти слова в две строки, разбить по смыслу и успеть за речью. Это разные профессии, и вторая пока почти целиком ручная.
Что ломает распознавание: имена, цифры, термины
Три категории слов стабильно выходят из строя.
Имена и названия компаний. Модель слышит незнакомое сочетание звуков и подставляет ближайшее знакомое. Чем нишевее продукт, тем смешнее результат.
Цифры и единицы. «Пятнадцать процентов» и «пятьдесят процентов» различаются одним звуком, а в титрах разница меняет смысл всего аргумента. Годы, суммы, артикулы и модели техники ломаются почти всегда.
Профессиональные термины и аббревиатуры. Если в кадре говорят про фоли, эмбиент, хромакей или цветокор, распознавание уверенно выдаст что-то похожее по звуку и совершенно бессмысленное по смыслу.
Есть и четвёртая проблема, про которую реже пишут: уверенность. Модель не помечает сомнительные места, она выдаёт гладкий текст. Поэтому ошибку видно при чтении, при беглом взгляде на дорожку она прячется.
Как устроен путь от речи к титрам
Полезно понимать механику, тогда понятно, где именно вставлять проверку.
Whisper от OpenAI, который вышел в сентябре 2022 года, обучен на 680 тысячах часов многоязычной речи. Аудио режется на тридцатисекундные окна, каждое окно превращается в спектрограмму, а декодер предсказывает текст вместе со служебными токенами. Среди этих токенов есть таймкоды уровня фразы, то есть модель отмечает не только слово, но и границы смыслового куска.
Для субтитров это важнее, чем кажется. Таймкод фразы задаёт, где титр появится и где исчезнет. Если границы сдвинуты, титр либо висит на пустом кадре, либо меняется в середине слова.
Второй путь, через видеомодели, работает иначе. Gemini API смотрит видео с частотой один кадр в секунду и добавляет звук по 32 токена за секунду. При высоком разрешении каждый кадр стоит 258 токенов, и суммарно выходит около 300 токенов на секунду видео. Такой модели можно отдать ссылку на YouTube и попросить найти момент по таймкоду в формате MM:SS. Для субтитров это не основной инструмент, зато удобный способ проверить, совпадает ли подпись с картинкой.
Субтитры для видео ии: что обещает автоматика площадок
YouTube генерирует автоматические субтитры сам, и в справке честно написано, что качество зависит от материала. Дословно там сказано, что автоматические субтитры могут исказить речь из-за произношения, акцента, диалекта или фонового шума, и авторам советуют проверять и править такие дорожки.
Второй факт из той же справки: список языков, на которых работают автоматические субтитры, перевалил за шестьдесят позиций. Это удобно для охвата и опасно для качества, потому что редкий язык означает меньше обучающих данных и больше ошибок.
Практический вывод: автоматические субтитры площадки годятся как черновик для длинного разговорного видео. Для рекламного ролика, где каждая фраза несёт смысл, их нужно править руками.
Как сделать субтитры к видео онлайн нейросеть и не получить кашу
Порядок действий, который экономит время.
Сначала собирается глоссарий. Название компании, имена спикеров, продукты, термины, аббревиатуры. Список идёт в настройки распознавания или в промпт корректора. Это одна минута работы, которая снимает половину правок.
Потом распознавание выдаёт черновик. Его не читают глазами по диагонали, его слушают. Достаточно включить видео и следить за подписью: расхождения слышно быстрее, чем видно.
Дальше чистка таймингов. Титр должен появляться на начале фразы и уходить до того, как зритель начнёт читать следующую. Если две реплики склеились в один блок, блок режется.
И последнее, вёрстка. Короткая строка, максимум две строки на экран, крупный шрифт, контрастная подложка. В вертикальном кадре подпись поднимают выше нижней трети, иначе её закроет интерфейс площадки.
Отдельно про переносы. Автоматический перенос по ширине блока даёт строки, которые читаются как одно слово: «нейро / сеть». Переносить нужно по смыслу, вручную или правилом.
ИИ для субтитров на видео: где разделить работу
Мой подход такой: автоматике отдаём звук в текст, человеку оставляем смысл и ритм.
Автоматика сильна в трёх вещах. Черновая расшифровка, разметка времени, поиск по сказанному. Последнее недооценивают: по готовой расшифровке легко найти нужную реплику в двухчасовом материале.
Человек нужен в четырёх. Имена и термины, разбивка на строки, синхронизация с монтажными склейками, финальная вычитка. Ещё один пункт, о котором вспоминают поздно: единый стиль. Если в серии роликов титры скачут по размеру и положению, выглядит это как брак.
Третий участник, о котором стоит помнить, это монтаж. Титры живут в таймлайне, и если ролик пересобирают, дорожку приходится перекладывать. Поэтому субтитры делают после того, как картинка заморожена.
ИИ для создания субтитров к видео: чек-лист перед публикацией
Проверка занимает пять минут и снимает большинство претензий.
Последний пункт важнее остальных. Распознавание иногда дописывает слова в тишине, и такая вставка выглядит как монтажная ошибка.
- Имена, названия и термины сверены с глоссарием.
- Цифры сверены с тем, что сказано в кадре.
- Ни один титр не висит на паузе дольше секунды.
- Подписи не перекрывают лица и элементы интерфейса.
- Стиль совпадает с прошлыми роликами серии.
- В дорожке нет фрагментов, которых не было в речи.
Субтитры в потоке роликов
Когда роликов десятки, ручная вычитка перестаёт масштабироваться. Здесь выручает организация: один глоссарий на все выпуски, один шаблон стиля, одна инструкция для корректора.
Ещё одна деталь для тех, кто делает вертикальные форматы пачками. Подпись в кадре 9:16 конкурирует с интерфейсом площадки, и место под неё закладывают на этапе композиции. Пересобирать кадр потом дороже, чем сразу оставить нижнюю зону свободной.
Если субтитры нужны для серии, разумно смотреть на производство целиком, включая изготовление видео с помощью нейросетей, где расшифровка и титры встроены в общий процесс. Для роликов, которые живут годами и снимаются людьми, логика другая, там работают ручные ролики и отдельная вычитка каждой фразы. А для кампаний в ленте полезно заранее посмотреть, как устроена вертикальная реклама, потому что требования к читаемости там жёстче всего.
