Я недавно сравнивал два способа передавать агенту длинный контекст. В одном случае сильная модель получала все материалы. В другом сначала собирался короткий набор доказательств, а потом другая модель принимала решение по нему.

На отдельной проверке второй способ оказался на 47,9 процента дешевле по внутреннему расчету стоимости работы моделей. Качество сохранилось, важные доказательства тоже. Ограничения доступа не потерялись.

Это моя внутренняя проверка на искусственном примере, без клиентского процесса и без связи со счетом за подписку. Но пока я сравнивал результаты, стало понятно, что смотреть только на расход модели мало.

Недавно OpenAI предложила считать стоимость полезной работы. В стоимость одной задачи попадает больше, чем расход модели. Там есть повторные попытки, время человека, проверка результата, исправления и переделки. ⠀ Можно получить дешевый ответ и потом несколько часов разбираться, почему его нельзя принять. Можно потратить больше на один прогон и закончить работу быстрее. Счет за модель этого сам по себе не покажет.

Для одного процесса я бы считал стоимость результата, который команда действительно приняла.

Я работаю один. У меня небольшая инженерная мастерская. Сейчас я собираю из этого отдельную работу для небольших команд.

Беру один реальный процесс, где уже пробуют ИИ. Смотрю, с чего он начинается, где появляются повторы и ручная проверка, что считается готовым результатом и какие данные вообще можно измерить.

На выходе команда получает карту процесса, критерий принятого результата, список того, что известно точно, расчет полной стоимости при наличии данных и одно решение по следующему шагу.

Следующий шаг тоже ограничиваем. Это может быть небольшой пилот с ИИ, изменение самого процесса, обычная автоматизация или сохранение работы за человеком. Для выбранного варианта фиксируем проверку и условие остановки. ⠀ Настройка агента, код и внедрение в эту работу не входят.

Если у вас уже есть процесс, где агент вроде бы помогает, но стоимость принятого результата непонятна, можно написать мне пару строк. Посмотрим, что там вообще стоит считать и какой следующий шаг имеет смысл.

Токены полезны для учета. Но в конце все равно приходится ответить на более простой вопрос. Сколько стоил результат, который команда действительно приняла.