DeepInfer на 155 трлн токенов в день, «Чёрный октябрь» и 47 отменённых ЦОДов: бюджет на AI

За неделю октября вышло несколько новостей, которые по отдельности выглядят как «про большие компании», а вместе меняют то, как малому бизнесу считать расходы на AI. DeepSeek открыл свой серверный стек и показал, что токены могут стоить копейки. CNews пишет об отмене строительства 47 дата-центров в США. А «Чёрный октябрь» напомнил, что AI-инструменты в вашей цепочке нужно обновлять, как любой другой софт. Расскажу, как я читаю эти новости.

Что вышло

Latent Space 21 октября разобрал релиз DeepInfer, серверного стека DeepSeek, на котором работает модель V4.1 Flash. Цифры из отчёта DeepSeek: 155 трлн токенов в день с одного кластера, 96 % попаданий во входной кэш, 230 токенов в секунду на генерации, кэш промптов живёт до 72 часов против 12 часов у OpenAI. При ценах $0,15 и $0,60 за миллион входных и выходных токенов авторы насчитали $38 выручки на карту в час, маржу больше 80 % при себестоимости $5–8 на карту в час и окупаемость за 81 день. Две оговорки оттуда же: это заявления самого DeepSeek без независимого аудита, а управление KV-кэшем и балансировка нагрузки в открытый код не вошли. Команда vLLM ответила, что на GB200 в сопоставимой конфигурации отстаёт по декодированию всего на 6 %.

CNews 20 октября со ссылкой на экспертов пишет, что бум ИИ-инфраструктуры в США на $10 трлн «дал трещину»: задержки строительства ЦОДов, рост стоимости заимствований, недовольство местных жителей, 47 отменённых проектов и сомнения инвесторов в окупаемости.

Про устройство рынка вычислений два разговора на Latent Space. 22 октября Эрик Бернхардссон, CEO Modal, объяснил, почему контракт на GPU выглядит как прямоугольник, фиксированное число карт на фиксированный срок, а реальная нагрузка за день растёт и падает. Modal собирает спрос тысяч клиентов в один пул: компания прошла $1 млрд годовой выручки и подняла $750 млн при оценке $16 млрд. При этом Эрик говорит о риске: если GPU подешевеют, тот, кто зафиксировал мощности по сегодняшним ценам, останется с дорогим запасом. 20 октября Эван Конрад из SF Compute рассказал о бирже вычислений с физической поставкой: покупатель получает работающие карты, и в цену входит, можно ли прерывать задачу и какая сеть ей нужна.

И «Чёрный октябрь» в сводке Latent Space от 23 октября: за 48 часов вышли RCE в PHP, дыра в GitLab с оценкой CVSS 10, которая жила с 2014 года и закрыта в 19.5.1, исправление RCE в декодере Brotli в Node.js. В LiteLLM 1.107.0 оказался стилер паролей, Railway попросил клиентов сменить секреты, Zeabur закрывается после утечки 321 810 аккаунтов. LiteLLM здесь важнее всего: это прокси, через который компании ходят к моделям, то есть ровно та прослойка, где лежат ваши ключи.

Что это значит для бизнеса

Возьмём производственную компанию, которая прогоняет через модель входящие спецификации. При цене DeepSeek шесть миллионов входных токенов в день стоят меньше доллара. Но если прокси, через который идут запросы, не обновляли полгода и в нём стилер, один инцидент перекроет годовой бюджет на модель. Токены дешевеют, а стоимость владения складывается из другого: кто обновляет библиотеки, где лежат ключи, сколько стоит проверка результата человеком и что будет, если поставщик модели поднимет цену или закроется.

Второй вывод, из новостей про дата-центры и прямоугольные контракты: не фиксируйте мощности, которые не нужны круглосуточно. Ферма не держит сезонных сборщиков в штате круглый год.

Как я считаю расходы у себя

В PDR-компании в США парсеры читают страховые сметы, акты и фото с VIN. Основа написана на Python: OpenCV готовит изображение, Tesseract распознаёт текст, Camelot достаёт таблицы из PDF, Pandas чистит данные. Модели подключаются только в конце: AI-валидаторы проверяют уже извлечённые данные, и я использую три сервиса, Anthropic, OpenAI и Gemini, каждый под свою задачу. Платим за проверку документа. В 2026 году я подключил эти валидаторы и выпустил релизную версию: около 99,9 % документов проходят без ручной правки. Парсеры освобождают около 60 часов ручной работы в неделю.

Другой пример. В конце 2023 и начале 2024 года я сделал для консалтинговой компании в Лондоне систему субтитров: видео из папки Google Drive или ссылка на YouTube, на выходе файл SRT с временными метками. Речь распознавала локальная модель Whisper, поэтому за каждую минуту записи платить не требовалось. Сервер стоил денег, но отдельной платы за объём не было. Наложение субтитров на видео было в планах, но заказчик остановил проект. Здесь цена принятого результата, готового файла субтитров, важнее цены токена.

Что я бы сделал

Посчитать стоимость одного принятого результата: документа, который прошёл проверку, или ответа, который клиент принял. В неё входят токены, время сотрудника на проверку и доля расходов на сервер. Токены в этой сумме у меня не главное.

Держать список AI-библиотек и прокси в проекте с версиями и обновлять их по расписанию. После «Чёрного октября» проверить LiteLLM, pip, certifi и системные сертификаты, сменить ключи, если они проходили через Railway.

Не привязываться к одному поставщику модели. Валидаторы в парсерах у меня на трёх сервисах, каждый под свою задачу, и это оставляет свободу манёвра.

Для задач, которые идут стабильно и большим объёмом, считать вариант локальной модели на своём сервере, как в проекте с субтитрами. Для редких и пиковых задач брать API и платить по факту.

Где AI помогает разбирать документы и как проверять результат: AI в обработке данных и раздел AI в процессе с проверкой результата. Кейсы: парсеры документов и фото для PDR-компании и субтитры на локальном Whisper. Другие обзоры: как я выбираю между своей моделью и API и как я читаю цифры из кейсов вендоров; раньше я писал, что считать нужно принятые задачи, а не только токены. Если хотите понять, во что AI обходится в вашем процессе на самом деле, опишите задачу: Обсудить задачу.