Мысли про LLM, агентов, и на что все это похоже

Работаю сейчас с каскадами нейросеток, где вперемешку LLM, классические алгоритмы, и специализированные сети.

И прямо вижу, как по-другому нужно это визуализировать в голове для достижения цели.

LLM "мягкие", обтекаемые, аморфные. Для них "алгоритм" и "данные" в принципе одно и то же. Они между ними могут путаться. Нельзя так просто выделить в промпте "постоянную" и "переменную" части. Нельзя так просто заставить ответить строго по форме. Промпт норовит перепутаться с данными. Ответ бывает вообще не тот, что ждал. Так и норовит выскользнуть, допустив вольности в трактовке или результате.

Классические алгоритмы строгие, жесткие, с ними все понятно.

А специализированные сети имеют строгость на выходе, но на входе допускают изрядный полет фантазии. Чего стоит одно искусство написания промптов к генераторам картинок (убежден, что к этому нельзя подпускать людей, генерировать промпты к сеткам должны другие сетки)

В итоге представляю это себе как тесто с вкраплениями орешков. С орешками все работать умеют, а вся проблематика агентов — найти теперь удобоваримую парадигму работы с тестом.