Знаете, какой шаг в работе агента почти никто не тестирует?
Друзья!
Знаете, какой шаг в работе агента почти никто не тестирует?
16 октября 2025 года Anthropic описала Agent Skills как папки с инструкциями, скриптами и ресурсами, которые агент сам находит и загружает динамически. Обычно спорят, что удобнее: скилы или документы. По-моему, этот спор проходит мимо главного.
А главное здесь в скрытой маршрутизации. Агент видит список скилов с короткими описаниями и по одной строчке решает, что открыть. Если он промахнулся, ошибки не будет. Агент молча возьмёт общий подход и сделает хуже. Со стороны кажется, что «модель тупит», хотя на самом деле сломался выбор, и в логах этого не видно.
Скилы тут не исключение. Нельсон Лю, Перси Лян и соавторы в работе Lost in the Middle показали, что качество заметно падает, когда нужная информация лежит в середине длинного контекста. Модель плохо находит нужное, если путь к нему неочевиден.
Anthropic в статье про context engineering формулирует задачу как поиск конфигурации контекста, которая скорее всего даст нужное поведение. Выбор скила по описанию входит в эту конфигурацию. Просто его никто не проверяет.
Дерево документов устроено иначе. Путь идёт сверху вниз: корневой README, потом раздел, потом файл. Сразу видно, на каком уровне агент свернул не туда. Исправляется это одной фразой в README этого уровня.
Есть и второе следствие, важное для фаундера. Anthropic сама сравнивает скил с онбординг-гайдом для нового сотрудника. Если агенту нужен скил, чтобы найти нужное, то и новый человек в команде это не найдёт. Одно дерево работает и для людей, и для агентов. И переносится между харнесами без переписывания.
Тест на завтра: откройте корневой README и попробуйте дойти до нужного файла за 2–3 шага, как это сделал бы агент. Если не получается, скилы проблему не решат. Они её спрячут.
Я вижу, как часть инженерной работы смещается в редактуру. Хорошо написанный README на каждом уровне становится такой же частью системы, как код.
· 1 ч
Отличные мускулы, Евгений
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён