Субтитры SRT из видео на локальном Whisper для блогеров, 2023–2024

В конце 2023 и начале 2024 года я сделал систему aif для путешественников и блогеров, которые снимают контент для YouTube, Instagram и других площадок. Она брала видео или ссылку на запись, извлекала звук, распознавала речь локальной моделью Whisper и выдавала файл субтитров с временными метками. Это связанный проект той же компании, о сотрудничестве с которой я рассказываю на странице Разработка для консалтинговой компании в Лондоне, 2023–2024.

Задача

Платные сервисы расшифровки обычно работают по подписке, и при большом объёме съёмок это заметная статья расходов. Задача была сделать так, чтобы пользователи могли обрабатывать свой контент на бесплатных инструментах и не платить стороннему сервису.

Как это было устроено

На вход подавались видео с Google Drive, ссылки на подкасты и ссылки на YouTube, и в работе были все три варианта. Видео в формате MP4 лежали в папке на Google Drive, а из ссылок система получала звуковую дорожку.

Для видео из папки сначала извлекался звук, длинные записи при необходимости делились на части. Дальше путь был общим: речь распознавала модель Whisper, запущенная локально, а не через облачный API. Результат сохранялся как файл субтитров SRT: текст разбит на фрагменты, у каждого есть время начала и конца. Готовый файл загружался обратно на Google Drive, в отдельную папку для расшифровок.

Для видео из Google Drive система записывала статус и прогресс по каждому файлу в Google Sheets. Временные файлы после загрузки удалялись, а уже обработанные ссылки учитывались, чтобы не запускать одну и ту же запись повторно.

Инженерные решения

Обработку принимал небольшой сервис на Python и Flask. Он сразу подтверждал, что запрос получен, и запускал распознавание отдельно, не держа запрос открытым, пока идёт длинное видео.

Распознавание шло на локальной модели и бесплатных инструментах, поэтому за каждую минуту записи платить не требовалось. Для блогера, который выпускает много роликов, это могло давать огромную экономию по сравнению с платной подпиской. Сервер при этом тоже стоит денег, но отдельной платы за объём обработанного не было.

Что было сделано, а что осталось в планах

Пользователь получал файл субтитров SRT с временными метками и дальше использовал его при монтаже. Следующим шагом планировалось автоматическое наложение субтитров на видео, чтобы на выходе сразу был готовый ролик. Эту часть я не доделал: заказчик остановил проект.

Сам я считаю его очень классным проектом, и работать над ним было интересно.

Похожая задача

Если вам нужно расшифровывать аудио и видео или встроить модель в обработку файлов на своём сервере, посмотрите AI в рабочих процессах, обработку данных на Python и автоматизацию Google Workspace. Другие проекты для этой компании собраны на странице Разработка для консалтинговой компании в Лондоне, 2023–2024.

Расскажите, какие записи нужно обрабатывать и в каком виде нужен результат. Обсудить задачу