Новости и разборы
«На 94 % быстрее» и «8 часов в неделю»: как я читаю цифры из кейсов вендоров и считаю свои
Шесть свежих кейсов OpenAI и Close с цифрами экономии. Разбираю, что стоит за каждой цифрой, и показываю, как считаю цифры в своих проектах.
За одну неделю октября OpenAI опубликовала четыре кейса с цифрами, Close рассказала, как её менеджер экономит 8 часов в неделю, и у каждой цифры свой способ подсчёта. Владельцу бизнеса такие цифры приносят в коммерческом предложении: «на 94 % быстрее», «88,6 % совпадений с экспертом». Покажу, как я читаю эти числа и как считаю свои, потому что у меня на сайте тоже стоят проценты и часы.
Шесть кейсов и шесть способов считать
OpenAI 20 октября вынесла в заголовок кейс франчайзи Schlotzsky's и Cinnabon: сверка наличных на 94 % быстрее с ChatGPT Work. В описании страницы цифра уже другая: переоценка меню на 95 % быстрее и сценарий, который «мог бы высвободить» 100 тысяч долларов в денежном потоке. Полного текста у меня нет, опираюсь на заголовок и описание, а по ним видно два разных процесса и сослагательное наклонение у главной суммы.
OpenAI 22 октября сообщила о внедрении ChatGPT Work в Uber для более чем 30 000 сотрудников после пилота на 1000 человек. Результатов в заметке нет, компании обещают их позже. OpenAI 21 октября описала планы юридического департамента AT&T: «входная дверь» для запросов на естественном языке, подбор прецедентов. Тоже без чисел, зато с принципом: решения остаются за юристами.
OpenAI 20 октября в кейсе Terminal X привела самую подробную цифру: на 500 оценённых суждениях её проверяющий агент на GPT-6.1 Sol совпал со старшим рецензентом в 88,6 % случаев против 86,4 % у следующей модели. Разница измерена по рубрике из 54 критериев, то есть метод описан. А 2,4 миллиона долларов годовой экономии у одного клиента приведены со слов самой Terminal X, и как их считали, в кейсе нет.
Close 20 октября опубликовала рассказ своего менеджера по продажам о том, как ассистент Chloe Chat экономит ему больше 8 часов в неделю: подготовка к встрече с 15 минут до пары минут, письмо после звонка с 10–15 минут до пары минут, в день с пятью встречами это больше часа. Цифры его собственные и зависят от его расписания. OpenAI 16 октября показала пример Benefit Street Partners в другом жанре: портфельный менеджер сам собрал трекер оценок займов, всего 10–12 часов с доработками, а анализатор кредитных соглашений на 300 с лишним страниц выдаёт первый разбор за 20 минут, после чего час или больше читает человек. Время машины здесь стоит рядом со временем человека.
Что за цифрой должно стоять
Возьмём владельца сервисной компании с десятью менеджерами. Он читает «8 часов в неделю», умножает на десять и ждёт 80 часов. Но у менеджера из кейса пять встреч в день и звонки по всему миру, а у его сотрудников две встречи и переписка в мессенджере. Вывод: переносить цифру в другой бизнес можно только вместе с условиями, в которых её получили. У любой цифры я ищу четыре вещи: что измеряли, на каком объёме, за какой период и кто проверял результат после машины.
Как я считаю свои цифры
К своим цифрам я применяю те же четыре вопроса: что измеряли, на каком объёме, за какой период и кто проверял результат.
Для производственной компании я в 2024 году целиком сделал программу, которая по Excel-спецификациям раскладывает изделие на детали и считает, где, сколько и чего, со сверкой материалов с номенклатурой 1С. Техническое задание мы готовили с февраля, с апреля шла активная разработка, рабочую версию я передал летом. Один заказ программа обрабатывает в среднем за 65 секунд, раньше на это уходило 4–5 часов. Ею ежедневно пользуются 11 человек, каждый экономит около 4 часов в день, это около 900 часов в месяц. Итог складывается из понятных частей: 65 секунд на заказ, 11 человек, около 4 часов в день на каждого. В прокате автомобилей в ЮАР, где я отвечал за сайт и интеграции, машины с новой системой выдаются в 3 раза быстрее, средний чек вырос на 30 %, расходы на обслуживание сократились на 25 %. А насколько сократился простой между арендами, под который я делал календарь, точно сказать не могу, поэтому этой цифры у меня нет.
Парсеры документов для компании в сфере PDR в США я начал делать в 2023 году. С середины 2023-го около половины документов проходили без ручной правки, в 2024-м около 75 %, в 2025-м около 95 %, а в 2026 году, когда я подключил AI-валидаторы и выпустил релизную версию, около 99,9 %. Эти доли относятся к документам, которые прошли через парсеры. Освобождают они около 60 часов ручной работы в неделю: раньше эти документы перепечатывали в таблицу несколько сотрудников. Если заказчик спрашивает, сколько сэкономит парсер у него, я отвечаю, что до разбора образцов документов цифру обещать не буду.
Что я бы сделал с чужим кейсом
Найдите базу. «На 94 % быстрее» без «было столько, стало столько» это процент от неизвестного. Если базы нет, цифра годится для интереса, а для бюджета нет.
Отделите измеренное от оценённого. У Terminal X 88,6 % измерены на 500 суждениях, а 2,4 миллиона приведены со слов компании. Обе цифры могут быть верны, но вес у них разный.
Ищите человека после машины. У Benefit Street Partners 20 минут машины и час человека написаны рядом; если в кейсе человека нет, спросите, кто проверяет результат и сколько это стоит.
Считайте на своих данных до покупки. Возьмите 20 своих документов или 20 своих встреч, прогоните сценарий и посчитайте сами.
О том, где AI в обработке данных помогает и как проверять результат: AI в обработке данных: извлечение и проверка. По направлению: AI в процессе, где результат можно проверить. Кейсы с цифрами, о которых шла речь: парсеры документов и фото, расчёт заказа за 65 секунд и прокат в ЮАР. По той же теме: что случилось у нас, когда парсеры освободили 60 часов в неделю и метрики, которые учат команду плохим решениям; раньше я писал про себестоимость AI по принятым задачам. Если вам принесли кейс с процентами и нужно понять, что из него применимо к вашим документам, расскажите, какие это документы: Обсудить задачу.