Сегодня в очередной раз наткнулся в сетке на пост про AI. Пост опубликовала девушка-продакт с международным опытом, у которой больше 1000 подписчиков и совершенно нет никакого понимания того самого ИИ. Большей чуши, которую она запостила, и представить трудно. А потом на собеседования приходят молодые продакты с приставкой AI, которые это всё выпаливают, с серьёзным видом тебе это выдают. Давайте не постить уже то, что вы не понимаете и не ставить приставку AI к своему Product Owner?

Разберем попунктно советы нашего эксперта: "1. Модульная архитектура агентов Разделите одну сложную задачу на цепочку мелких подзадач. Это позволяет использовать дешевые модели для 80% рутины, оставляя дорогую модель только для финальной сборки."

И этот пункт отчасти звучит логично, но только умалчивается, что не все задачи при такой схеме будут дешевле, что в разы вырастает заддержка ответа, а чтобы задебажить ошибки вам понадобится специалист высочайшего класса, потому логика может сломаться на любом этапе.

"2. Пре-процессинг данных Очищайте входящие данные кодом перед отправкой в LLM. Удаление лишних метаданных и форматирования снижает вес запроса и экономит токены."

Экономия в этом случае копеечная. Написание кастомных парсеров дорого и в разы возрастает риск потери симантических связей после отчистки. Современные LLM понимают структуру данных лучшем, чем жесткий код.

"3. Группировка запросов (Batching) Отправляйте несколько задач в одном запросе вместо десятка отдельных. Вы платите за системную инструкцию (Prompt) один раз, что радикально снижает стоимость обработки единицы данных."

Если модель выдаст вам ошибку на некоректный формат на 9-й задаче из 10, то вам придется заново переделывать весь батч, тратя на это много токенов, либо писать сложный код для парсинга битых ответов. Также на длинных промтах модель часто теряет середину. Экономия на системном промпте нивелируется стоимостью повторных запросов. Есть еще кантаминация, кода разные задачи в одном промпте влияют друг на друга. Ну и вишенкой на торте мы увеличиваем заддержку ответа.

"4. Принудительный JSON-вывод Требуйте от модели только структурированный ответ без «вступлений». Это экономит токены на ненужной вежливости AI и упрощает интеграцию данных в бэкенд."

Современные модели из коробки содержат структурированный вывод. Убрать вежливость можно через системный промпт, а экономия там буквально копеечная. И зачастую естественный текст снижает вероятность голлюцинаций.

"5. Даунгрейд моделе Используйте идеальный ответ от GPT-4o как пример в промпте для GPT-4o-mini. Это обучает легкую модель выдавать сопоставимый по качеству результат при существенно меньшей стоимости."

Вот это полная ересь! Обучение модели производится не через промпт. Техника few-shot описанная тут действительно может помочь улучшить качество ответа, особенно в математических задачах, но она никак не учит модель- это же fine-tuning. Но зачастую эта техника делает запрос дороже, а не дешевле. В других задачах модель отловит общий стиль большой модели, но не ее логическую глубину.

Так вот я о чем. Давайте каждый будет писать то, в чем разбирается и для тех кейсов на которых это 100 процентов работает, а не будем тут выдавать чушь за аксиомы. Вас, коллеги, это не красит!