Если вы когда-либо работали с генеративным ИИ, вы знаете, как быстро создаётся прототип - и как сложно довести его до полноценного запуска.

В мире, где агенты способны рассуждать, планировать, запоминать и использовать инструменты, нам нужен новый уровень операционной зрелости.

Добро пожаловать в AgentOps - набор инструментов и алгоритмов мышления для автономных агентов ИИ.

Что такое AgentOps?

AgentOps — это эволюция операционных практик, выходящая за рамки возможностей DevOps и MLOps.

В то время как DevOps ориентирован на детерминированное (предсказуемое) программное обеспечение, а MLOps справляется с неопределённостью прогнозов моделей, AgentOps создан для автономных, думающих систем, которые динамически взаимодействуют с внешними инструментами и средами.

Эта новая парадигма решает следующие задачи:

• Сложная оркестрация задач.

• Внутренние цепочки рассуждений (такие как ReAct, CoT, ToT).

• Принятие решений в реальном времени.

• Использование инструментов и вызовов API.

• Постоянная память и долгосрочное обучение.

Почему традиционных операционных процессов (Ops) уже недостаточно.

DevOps и MLOps заложили отличную основу — конвейеры CI/CD, управление версиями моделей, мониторинг и A/B тестирование.

Но при работе с агентами нам приходится решать следующие задачи:

• Оркестрация инструментов (выбор подходящего API/функции во время выполнения).

• Управление памятью (краткосрочная и долговременная память).

• Наблюдаемость процессов принятия решений (что думает агент и почему?).

• Недетерминированное (различное) поведение на разных этапах и при повторных попытках.

• Взаимодействие нескольких агентов (иерархии, одноранговые связи и модели сотрудничества).

Это требует новых инструментов, новой телеметрии и новых методов оценки.

Визуализируя переход от статичных приложений к интеллектуальным автономным агентам - мы наблюдаем эволюцию технологического стека:

DevOps → Приложения, которые работают и масштабируются детерминированно.

MLOps → Модели, которые прогнозируют и адаптируются.

AgentOps → Агенты, которые действуют, рассуждают и самосовершенствуются.

Практика AgentOps заключается в понимании не только результатов работы системы, но и процессов и планирования, которые привели к этим результатам.

Ключевые компоненты AgentOps.

Вот что в себя включает отлаженная практика AgentOps:

1. Контроль версий для агентов.

Не только код, но и промпты, наборы инструментов и даже стратегии оркестрации должны быть версионными и отслеживаемыми.

2. CI/CD для интеллекта.

Автоматизированные конвейеры, которые тестируют не только функциональность, но и поведение - гарантируя, что агенты выполняют задачи, выбирают инструменты корректно и избегают галлюцинаций.

3. Отслеживаемость и отладка.

Логирование всей последовательности шагов, решений и вызовов инструментов, выполненных агентом. Используйте такие инструменты как LangSmith или OpenTelemetry, для анализа и наблюдения.

4. Показатели, ориентированные на достижение целей.

Измеряют не только задержку и время безотказной работы, но и:

• Показатели достижения целей.

• Статус выполнение задач (успех/неудача).

• Сигналы обратной связи.

• Обработка ошибок и варианты отката.

5. Контроль с участием человека.

При решении сложных задач оценка поведения человеком по прежнему играет ключевую роль - особенно при доработке агентов, используемых в отраслях с регулированием или в ролях, предполагающих взаимодействие с клиентами.

Влияние на реальный мир.

AgentOps позволяет безопасно и в широких масштабах развертывать агенты в таких сферах, как финансы, здравоохранение, корпоративный SaaS, искусственный интеллект в автомобильной промышленности и других.

#AgentOps #MLOps #DevOps #LLM #AI #Перевод

Источник: https://www.linkedin.com/pulse/agentops-new-mlops-era-generative-ai-praveen-ravindran-pillai-u2flc

Окончание статьи в комментариях: