Опыт Shopify по замене больших языковых моделей на малые

Компания Shopify внедрила систему, в которой компактная нейросеть размером всего 0.8B параметров смогла превзойти мощную GPT-5.6 в конкретной задаче по генерации профилей покупателей. Основной успех заключается в создании автоматизированного цикла обучения: ошибки основной модели в реальных условиях фиксируются, исправляются с помощью более мощных систем и превращаются в тренировочные данные для маленькой и дешевой модели.

Это позволило сократить объем системных инструкций в 8 раз и увеличить производительность системы с 2 до 72 миллионов операций в день. Описание этого внутреннего эксперимента и детали работы агента Sidekick показывают, что при масштабировании продукта фокус смещается с универсальных моделей на специализированные ради экономии и скорости.

Ссылка: https://x.com/tobi/status/2094808564355191249 @AIandproducts