Извлечение фактов из контекста AI-агента

Надёжная память AI-агента состоит не только из хранилищ. Ей необходимы атомизация знаний, проверка доказательств, контроль допуска, версионирование и механизм исправления последствий.

Главный риск: модель может принять собственное предположение за факт, сохранить его и использовать в следующих задачах. Ошибка начнёт распространяться по цепочке выводов и действий. Чтобы этого не произошло, нужно разделить два конвейера: формирование памяти и исправление уже сохранённой ошибки.

Атом памяти и его статус Возможная модель жизненного цикла:

Hypothesis → Candidate → Fact → Decision

Это не обязательная линейная цепочка, а переходы, регулируемые политикой. Гипотеза не становится фактом автоматически, а факт не становится принятым решением без соответствующего основания.

Как измерять качество Три метрики:

False Memory Admission Rate — доля ошибочных атомов, ошибочно допущенных в память.

Lineage Completeness — доля атомов и производных результатов с полными связями происхождения.

Residual Mentions After Rollback — количество оставшихся активных упоминаний отозванного знания в контролируемом контуре; целевое значение ноль.

Метрики стоит проверять на регрессионных наборах, а также на реальных трассах и результатах эксплуатации.

Извлечение фактов из контекста AI-агента | Сетка — социальная сеть от hh.ru Извлечение фактов из контекста AI-агента | Сетка — социальная сеть от hh.ru