Granite Speech 5.0 и перевод в Meet на 63 языка: расшифровка речи переезжает на свой сервер

IBM выложила под лицензией Apache 2.0 три речевые модели, которые расшифровывают и переводят речь на вашем железе, а Google включил в Meet перевод между 63 языками. Для владельца бизнеса это значит: расшифровка звонков и встреч перестала быть отдельной платной услугой. Её можно держать на своём сервере, не платить за минуту и не отдавать разговоры с клиентами наружу.

Что вышло на этой неделе

В блоге Hugging Face 21 октября команда IBM Granite описала три обновления. Новая granite-speech-5.0-2b расшифровывает английский, французский, немецкий, испанский, португальский и японский и переводит между ними и английским. Ей можно передать список до 2 000 терминов, чтобы она не коверкала названия продуктов и фамилии. По среднему WER на английских тестах она вторая среди открытых моделей, 5,06 %. Маленькая granite-speech-5.0-470m-turboctc стала многоязычной, сама ставит знаки препинания и ускорилась примерно в 1,6 раза, до 19 870 RTFx. А granite-speech-4.1-2b-plus подтянули для записей с несколькими говорящими: ошибка на длинных записях снизилась на 24 %. Все три запускаются в Transformers, vLLM и llama.cpp, на Mac через mlx-audio. Русского в списке языков нет, и для меня это главный минус релиза.

Google 22 октября в блоге обновлений Workspace объявил, что перевод речи в Meet работает между любыми из 63 языков в одной встрече. Язык определяется сам, каждый участник включает перевод для себя. Лимиты заметные: 90 минут на встречу для базовых планов Workspace и Google AI Pro, 8 часов для AI Expanded Access и Ultra. В записях встреч, звонках по телефону и встречах с шифрованием на стороне клиента перевода нет. Google пишет, что голос не хранит и на нём не обучается. Раскатка началась 22 октября.

HubSpot 14 октября опубликовал в блоге продаж обзор сервисов расшифровки. Мысль там одна, но верная: расшифровка нужна ради того, что идёт после неё. Краткое содержание, задачи, кто что сказал, запись в карточку CRM. Автор пишет, что по точности опирался на отзывы с G2 и Capterra, и советует перед покупкой прогнать через сервис свой реальный звонок. С этим советом я согласен.

И одна техническая заметка о том, почему своя модель со временем дешевеет. Команда Dharma-AI 21 октября в блоге Hugging Face рассказала, как пересобрала словарь токенизатора у модели Qwen3-4B, которая у них проверяет сочинения на португальском. Словарь из 151 669 записей был рассчитан на все языки, а модель писала один. После пересборки выходной слой сжался примерно со 152 000 до 65 000 строк, а измеренная стоимость вывода упала на 77 %. Статья ещё на рецензии, цифры могут измениться. Но когда модель стоит у вас, такие рычаги становятся вашими.

Зачем это владельцу бизнеса

Возьмём прокат автомобилей. Менеджер за день принимает десятки звонков: продлить аренду, сообщить о царапине, спросить про страховку. Через неделю клиент говорит, что ему обещали скидку, а менеджер этого не помнит. Если звонок записан и расшифрован, спор решается за минуту: открыли текст, нашли фразу. Платить сервису за каждую минуту при таком потоке дорого, а отдавать разговоры с клиентами стороннему сервису многие не хотят. Модель на своём сервере снимает оба вопроса.

Со встречами похоже. Переговоры с поставщиком из другой страны в Meet теперь можно вести без переводчика. Но в записи перевода не будет, и протокол встречи придётся делать отдельно.

Как это устроено у меня

В конце 2023 и начале 2024 года я сделал для консалтинговой компании в Лондоне систему субтитров на локальной модели Whisper. Она брала видео из папки Google Drive, ссылки на подкасты и YouTube, извлекала звук, распознавала речь и выдавала файл SRT с временными метками. За минуту записи платить не требовалось: сервер стоил денег, но отдельной платы за объём не было. Наложение субтитров на видео было в планах, но заказчик остановил проект.

У PDR-компании в США, где я с 2021 года веду сервер и телефонию, система записывает каждый звонок, а AI разбирает, кто звонил: лид, действующий клиент или страховая, и как ответил сотрудник. Мы всегда знаем, кто, когда и зачем звонил. Как устроен разбор внутри, я не раскрываю. Модели Granite я у себя не проверял, но проверил бы на таких записях: телефонный звук, шум, два голоса.

Что я бы сделал

Собрал бы 20–30 реальных записей: с шумом, с акцентом, с двумя говорящими одновременно. На них гонял бы любую модель или сервис до того, как платить.

Отделил бы распознавание от разбора. Сначала речь превращается в текст, потом отдельная модель отвечает на вопросы: кто звонил, что обещали, нужно ли перезвонить. Тогда модель распознавания можно заменить, не трогая остальное.

Решил бы заранее, где лежат записи и расшифровки и кто их видит. Текст разговора с клиентом это его персональные данные, и к нему нужны те же права доступа, что и к карточке в CRM.

Посчитал бы деньги на год. При десятке звонков в день сервис с оплатой за минуту дешевле своего сервера, при сотнях звонков и постоянном потоке встреч своя модель окупается. Точную границу назвал бы после подсчёта объёма.

Связанные материалы

Как я проверяю результат моделей, описано в статье AI в обработке данных: извлечение и проверка. Подход: AI в процессе, где результат можно проверить и Python для документов, данных и повторяемой обработки. Кейсы: субтитры SRT из видео на локальном Whisper и технический партнёр PDR-компании в США. Из обзоропо той же теме: кто звонил и зачем: AI-разбор звонков, почему я строю на бесплатных инструментах и как я выбираю между своей моделью и API. Раньше я писал, что инструмент и модель расшифровки проверяются отдельно. Если у вас копятся записи звонков или встреч, расскажите, что из них нужно доставать. Обсудить задачу.