Я, конечно, умный, но не очень. Вчера на настройку и эксперименты с ИИ-агентом сжег 50 долларов.

А все потому что поставил рассуждающую модель claude-3.7-sonnet:thinking в качестве основной. Она дает более качественные ответы, но не все задачи требуют качества.

Например, для задачи «проверить коннект с базой данных» достаточно самой примитивной модели. Умная модель справляется с этой задачей точно так же, но стоит в 3-5 раз дороже.

Решение:

Поставить недорогую модель в качестве базовой и сделать «переключалку», чтобы агент переходил на рассуждающие модели только для сложных задач.

Горе от ума, короче.

Я, конечно, умный, но не очень. Вчера на настройку и эксперименты с ИИ-агентом сжег 50 долларов.
А все потому что поставил рассуждающую модель claude-3.7-sonnet:thinking в качестве основной | Сетка — социальная сеть от hh.ru