На прошлой неделе выступил с докладом о Сайбокс на DION Community — встрече инженеров, архитекторов и технических руководителей крупных российских компаний

Говорили не столько о технике, сколько о продуктовых решениях. Тема все равно не была тривиальной – как встроить ИИ в корпоративную инфраструктуру. Также досталось и вопросу: как прекратить разрастание многочисленных ассистентов, агентов и помощников. И это, кажется, сейчас стало занимать не только руководителей, но и обычных сотрудников, пытающихся найти бюджетирование на что-то кроме ИИ

“Чистилище пилотов”, “озеро агентов”, “зоопарк ассистентов”. Разными словами, под разным соусом и метафорами главные консалтинговые агенства и лидеры рынка подбираются к проблемам фрагментации решений и отсутствия единого контура управления

Я был на их стороне, поэтому в своем докладе прошелся именно по важным аспектам слоя управления моделями, агентами, данными и доступами внутри корпоративного периметра

Честно, я ожидал вопросы про модели, RAG или качество саммаризации встреч. Но почти все вопросы были про инфраструктуру, управление, on-prem и ПАКи

Чем интересовались технические руководители крупных компаний?

🔹какую корпоративную систему логичнее выбрать точкой входа ИИ? 🔹как управлять GPU, доступами, аудитом, и агентами в одной архитектуре? 🔹как избежать зависимости от вендора LLM и производителя GPU? 🔹как развернуть всё on-prem и не допустить утечки?

Кажется, рынок перестаёт выбирать модели и начинает выбирать архитектуру. Это хороший маркер зрелости рынка.

Но есть вопрос, который пока остается открытым и для меня: какая корпорация станет лидером, у кого лучшая LLM, или та, которая построит лучший слой для корпоративного ИИ?