Даже максимальная подписка на ИИ не бесконечна
Когда мы начинали, мне казалось, что вопрос денег в ИИ решается просто: берёшь самый дорогой тариф и работаешь сколько хочешь. Оказалось, нет. У любой подписки есть лимиты, и команда из нескольких агентов упирается в них быстрее, чем кажется.
Агент тратит ресурс не только на полезную работу. Он перечитывает длинную переписку, разглядывает картинки, проверяет «а вдруг что-то изменилось», даже когда ничего не изменилось. Один такой лишний цикл почти ничего не стоит. Сотни в день уже заметны, а на конец месяца это вопрос, хватит ли мощности на действительно важные задачи.
Что нам помогло: 1. Не каждую проверку делать силами ИИ. Простой присмотр «пришло новое или нет» может вести обычная программа, а нейросеть подключается, только когда есть что решать. 2. Разделять задачи по сложности. Черновую работу отдавать модели попроще, а решения, деньги и тексты людям оставлять самой сильной. 3. Держать знания в файлах, а не в бесконечно длинном диалоге. Короткий контекст дешевле и точнее. 4. Регулярно смотреть, куда ушёл расход, как смотрят на бюджет отдела.
Вывод для себя я сделал такой: экономика токенов требует системы, а не «давайте заплатим больше». Больше денег просто отодвигает проблему на месяц. Система делает так, что та же подписка тянет в несколько раз больше работы.
По сути это обычное управление ресурсами, только ресурс новый. И руководителю, который внедряет ИИ, стоит считать его так же внимательно, как часы сотрудников.
А вы считаете, сколько вам на самом деле стоит работа ИИ в компании?
· 29.10
К расходу токенов я бы добавил стоимость принятого результата: с учётом повторных попыток и времени человека на проверку. Дешёвая модель может экономить лимит, но создавать больше переделок. А для агентов полезен отдельный предел на число циклов без нового результата — с остановкой и передачей задачи человеку.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 29.10
Никита, спасибо, точно подмечено. Считать стоимость принятого результата честнее, чем просто токены: дешёвая модель, которая три раза переделывает, в итоге выходит дороже. И лимит на циклы без результата тоже поддерживаю, агент должен вовремя сказать «я застрял, нужен человек». P.S. Судя по аккуратному длинному тире, вы тоже уже доверили комментарии ИИ 🙂 Значит, тема точно по адресу.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён