Langfuse — open-source LLM engineering platform.

В эпоху, когда все активно бегут писать своих ИИ-агентов и MCP-серверы, где-то тихонько звучит голос инженеров:

«Окей… А как это всё поддерживать?».

Проблема, с которой мы сталкиваемся, отдавая часть бизнес-логики агенту, — в том, что становится не понятно, почему система выдает именно такие результаты. Ведь в первую очередь сейчас есть фокус на том, что она просто РАБОТАЕТ и делает это прямо сейчас (можно спокойно рисовать зеленые стрелочки на графиках📈).

Со временем может происходить замусоривание контекста и деградация работы агента, а узнаём мы об этом порой слишком поздно. Индустрия постепенно формирует новые термины, описывающие различные проблемы:

- Agent drift — отклонение поведения ИИ-агента от задуманной политики - Memory contamination — загрязнение внутренней памяти агента - Policy collapse — резкое ухудшение уже обученной политики агента - Compounding errors — накапливающиеся ошибки в многошаговом поведении

Их список растёт с каждым днём. Гонка на рынке подталкивает всех к созданию быстрых прототипов, однако она же может подарить нам множество дыр в безопасности. Например, что может быть веселее, чем добраться до MCP-сервера, работающего напрямую с БД? 🙂

Меня порадовала эта новость. Langfuse — это продукт, который уже сейчас поддерживает трассировку работы агентов и MCP-серверов и предоставляет инструменты Evaluation и Prompt Management. А у ребят из ClickHouse — богатый опыт работы с большими объёмами данных и их аналитикой.

Сейчас ИИ-рынок активно растёт, пузырь раздувается, агенты пишутся повсеместно. И на этом фоне особенно радует, что инструменты для observability стараются поспевать. Потому что в любом деле решает не только технология, но и культура работы с ней. И от того, какая культура сформируется вокруг ИИ-агентов, во многом зависит наше будущее с ними.

Очень надеюсь, что после этой покупки они, как и обещают в анонсе, не забросят поддержку своей on-premise-версии, и я смогу дальше спокойно экспериментировать с ней.

Больше пишу в ТГ https://t.me/SazonovMaybeTalks