Самая дорогая ошибка в ИИ-проекте
Недавно проектировал ИИ-надстройку над федеральной ведомственной системой принятия решений: годами работали жёсткие экспертные правила, теперь их меняют на ML, GNN и LLM. Четыре вывода.
1. Нельзя учить модель на прошлых решениях людей как на эталоне. Так замораживаешь все накопленные смещения: где-то были перегружены, где-то установка не судиться по мелочи, где-то региональная специфика. Учить надо на фактическом исходе: деньги пришли в бюджет или нет, решение устояло в суде или нет. Только так модель перестаёт повторять старые ошибки.
2. Архитектура ИИ следует за природой данных, а не за модой. Структурировано - бустинг плюс объяснимость, RAG не нужен. Неструктурированный корпус - тогда RAG, но гибридный: чистая семантика спотыкается на точных реквизитах (номера статей, дел, ИНН), их добирает текстовый поиск. Связи и аффилированность - это граф по природе, тут работает GNN: вывод активов через цепочки зависимых лиц табличная модель и правила не видят, а граф видит. LLM наружу - только с постпроверкой каждой цитаты. «RAG на всё» - самая частая дорогая ошибка.
3. Объяснимость - не украшение, а условие допуска. Решение, затрагивающее права, должно раскладываться на вклад каждого признака (SHAP поверх бустинга). Иначе его нельзя ни принять юридически, ни обжаловать. Поэтому в ядре калиброванный бустинг: LLM для такой роли слишком переуверена и не даёт разложения.
4. И главное. Модель обучается за недели. Согласовать роли, методологию и приёмку с внешним подрядчиком - месяцы. Проект буксует не там, где мало вычислений, а там, где ответственность за результат оторвана от контроля над бюджетом и исполнителем. И решается это управленчески
· 11.06
На самом деле юридически есть например "бесспорные долги", технически они подписываются пакетом за КЭП Руководителя подразделения, но де-юре он их не видит, тоесть это некий юридический вакуум, при этом решение принимает модель, ответственного человека тут нет.
Резюмируя: Да, законом прямо запрещены автоматизированные решения с юр последствиями, но де-факто они обходятся и такие решения есть и их будет становиться больше.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён