➡️А что по деньгам?

Пайплайн рос с каждой итерацией и каждая итерация стоила дороже предыдущей.

Вначале был один промпт. Скормил ЛЛМ новость - получил идеи. Дешево и быстро. Идеи были соответствующие.

Потом стало очевидно: модель не понимает, в каком мире происходит новость. Она не знает, кто реальные игроки, какие там деньги, есть ли уже кто-то, кто это делает. Придумывать идеи без этого контекста - как советовать, не зная ситуации. Добавил первый дополнительный вызов: исследователь, который идёт в интернет и собирает реальную картину рынка по каждой новости.

Подорожало сразу. Потому что этот исследователь - не дешевая Flash-модель. Это Perplexity с ризонингом и веб-поиском. И он обрабатывает каждую новость отдельно.

Дальше выяснилось, что сырой контекст и генерацию идей нельзя давать одной модели. Когда одна роль делает и анализ, и вывод - теряется глубина. Разделил на двух: аналитик разбирает входные данные, формулирует где боль и кто страдает, и только потом предприниматель генерирует идеи на основе этого диагноза.

Это еще два вызова Sonnet вместо одного.

Четвертым добавил критика - скоринг, который режет слабые идеи до того, как они попадут в канал.

Итого: один промпт превратился в четыре. Причем все 4 - это не дешевые халтурки, а тяжелые вызовы с большим контекстом.

Бюджету стало грустно😱

Чтобы бюджет немного взбодрить начал применять кэширование. Это срезало примерно 75% стоимости на системных промптах. Как прекрасно, что можно так оптимизировать работу.

На текущий момент на дневную обработку новостей у меня уходит 4 долл. Начинал с 20 центов. Ощущаю себя кутилой🥂

Прям получается производственный роман из моих постов😄