Давеча наткнулся на любопытную статью про экономику decision models. Если вы вдруг упустили - decision models это такие умные ИИ классификаторы, которые не генерируют вам какой-то огромный и дорогой текст, а фактически отдают вам вероятность классификации по вашему запросу. Типа что на картинке - кошечка или собачка?  Не сочинять же на эту тему целое эссе. Decision model просто выберет вариант и сообщит, насколько уверена в своём решении. В октябре такие модели стали новым мейнстримом в мире ИИ. Идея, на мой взгляд, действительно богатая ведь если научиться грамотно распределять задачи, можно выстроить целые каскады принятия решений и не отправлять каждый запрос к дорогой универсальной LLM.  Ну так вот, автор рассуждает о том, как распределять задачи между простыми правилами, специализированными моделями, обычными LLM и людьми и что в итоге обходится бизнесу дешевле.

В своих измышлениях он выделяет три варианта задач для decision models:

• Choice - выбрать вариант из списка и оценить вероятность каждого • Score - оценить что-то по заданной шкале. Например, определить, насколько отзыв восторженный • Noul - оценить вероятность того, что утверждение верно

Почему это может быть выгоднее обычной LLM? Автор прикидывает стоимость обработки 400 тысяч запросов. Если для каждого запроса обычной модели нужно 250 входных и 50 выходных токенов, то всего получается 100 млн входных и 20 млн выходных токенов. В его расчёте это стоит:

- $13 через GPT-5 nano - $8,50, если входные токены кешируются - $4,20 через decision models Jev

То есть в этом примере decision models  обходится примерно втрое дешевле GPT-5 nano без кеширования и примерно вдвое дешевле - с кешированием. Но автор отдельно оговаривает: это расчёт для определённых предположений о длине запросов и ответов, а не универсальный прайс-лист на все случаи жизни.

И вот тут начинается самое интересное. Цена модели - ещё не полная стоимость решения. Если дешёвая модель ошибается, нужно учитывать и цену этих ошибок, и повторную обработку, и передачу задачи человеку или более мощной модели.

Упрощённо можно записать так: полная стоимость = стоимость модели + ожидаемые потери от ошибок + стоимость проверки и эскалации.

Скажем, на 100 запросах decision models против GPT-5 nano сэкономит около $0,0022 — это чуть больше двух десятых цента. Если неверное решение в конкретном процессе обходится компании в $10, то даже одна дополнительная ошибка легко перекроет эту экономию.

Т. е. реальные последствия ошибки везде разные. В одном продукте неверно размеченный отзыв можно спокойно перепроверить позже. В другом ошибочное решение может стоить клиента, денег или нескольких часов работы поддержки. Поэтому одной цены токенов недостаточно- важно знать, сколько бизнес теряет, когда модель промахивается.

Отсюда и идея автора выстроить своеобразную иерархию решений:

1. Сначала пробуем простые правила, кэш и поиск по похожим случаям. 2. Если они не помогли - передаём запрос decision model. 3. Неоднозначные случаи отправляем более мощной LLM. 4. Если цена ошибки высока - подключаем человека.

При этом модели полезно разрешить воздержаться от ответа. В статье для этого обсуждается правило Чоу: модель отвечает, только когда её уверенность достаточно высокая, а иначе передаёт задачу на следующий уровень. Где именно установить порог, зависит от баланса между вероятностью ошибки, ценой этой ошибки и стоимостью эскалации.

В общем, дьявол, как обычно, кроется в деталях. Считать нужно не только стоимость одного запроса к ИИ, а итоговую стоимость надёжно решённой задачи. Если ошибка почти ничего не стоит - можно чаще полагаться на дешёвую модель. Если ошибка дорогая - лучше заплатить за дополнительную проверку.