Потолок задаёт запись
То, что потеряно или перекошено при записи, не восстанавливает читатель, даже сильный.
В исследовании памяти ИИ-агентов граф, построенный слабой моделью, давал 43% верных ответов у неё самой и 45% у более сильной; когда сильная модель и строила, и читала граф, результат был 87%. Автор обзора советует хранить исходные записи, но предупреждает: данные — один разговор, один прогон.
В бенчмарке извлечения персональных данных на шести языках почти каждый запрос размечали два разметчика; если они расходились и третий проход не срабатывал, в эталон шла разметка первого из них — в 98,7% таких случаев. По эталону эксперта-рецензента (разметка выборки) F1 первого на 4,95 пункта ниже, чем по поставленному, а его преимущество над вторым, +2,83 по поставленному эталону, исчезает (−0,12). Авторы исследования отмечают, что оценивались проходы людей-разметчиков одного поставщика; автор разбора — что данные не опубликованы.
Аналогии. У модели есть только архив: инструмент найма, обученный на резюме за десять лет, штрафовал резюме со словом «women's». Автор материала об откатах агентов (его компания построила платформу для управления ими) пишет: без журнала решений инцидент не диагностировать, поэтому агента отключают.
