12 рекомендаций FSB по внедрению ИИ

Совет по финансовой стабильности (FSB) 15 октября выпустил набор практик, как в фин. секторе  внедрять ИИ. Разумно управляя риском, при этом.

Практики разделены на две группы: Организационные (Практики 1–4): кто управляет и кто отвечает:

1. Стратегия и надзор. ИИ увязан с бизнес-моделью и аппетитом к риску. Смотрит совет директоров

2. Роли. Три линии защиты и кросс-функциональный комитет

3. Риски ИИ внутри ERM. Документирован весь жизненный цикл, вплоть до промптов и ID агентов

4. Адаптивность. Учить людей и руководство. Ходить в отраслевые песочницы

Управление жизненным циклом ИИ (Практики 5–12). От идеи до эксплуатации:

5. Оценка рисков. Присущий и остаточный риск кейса — на этапе идеи и ещё раз при масштабировании.

6. Выбор технологии. Своё, open-source или вендор. Под задачу, а не под моду.

7. Данные. Качество, репрезентативность, конфиденциальность, законность.

8. Объяснимость. Логика понятна контролёру и клиенту. Для «чёрных ящиков» — компенсирующие контролёры

9. Мониторинг. Точность, дрейф моделей и данных, состязательное тестирование.

10. Человек в контуре. Борьба с automation bias, сохранение компетенций, ручной перехват.

11. ИБ. Prompt injection, jailbreak, poisoning. Защита инфраструктуры и API.

12. Третьи стороны. Цепочка поставок ИИ, встроенный ИИ в чужом софте, зависимость от одного вендора.

Совет, при этом, обозначает необходимость соблюдения баланса: отказ от ИИ также влечёт за собой риски потери конкурентоспособности и снижение способности выявлять современные угрозы ИБ  и фрод

Примеры в отчёте подтверждают рыночные варианты использования ИИ: кредитный скоринг, анти-фрод, AML/KYC, клиентское обслуживание, бэк-офис и непрерывность.

И, конечно, сами риски агентного ИИ:

• Несанкционированные действия. Агенту дали цель, он её достигнет. Иногда обходным путём: неэтичным или вовсе незаконным. Поймать это в реальном времени сложно

— Накопление ошибок. Цепочка из сотни шагов. Ошибся на одном, и всё дальнейшее строится на ошибке

• Сбой в зависимых системах. Агент ходит по API во внутренние и внешние системы. Что он там натворит — отдельный вопрос. А если агентов несколько, они могут договориться между собой (collusion). Звучит как «Чёрное зеркало», но реальные примеры уже есть

• Отравление памяти (Memory Poisoning). Подменили кусок базы знаний в RAG, и поведение агента тихо поплыло. Без единого алерта.

• Матрёшка субагентов. Главный агент плодит субагентов. Кто за кого отвечает, уже не разобрать. Контур контроля размывается

Бриф на русском в комментариях

Оригинал документа: https://www.fsb.org/uploads/P151026-1.pdf