Что оказалось труднее всего в HarnessOS
Как я строил HarnessOS · 8/10
Из всего, что я делал, самым сложным оказалась не оркестрация агентов. И не инфраструктура. И даже не память.
Самым сложным оказалась приёмка результата.
Вот в чём проблема. Агент говорит «готово». Ты смотришь — вроде работает. Тесты зелёные. Линтер чист. Компилируется.
А потом выясняется: не то. Не то, что ты хотел. Или работает не так. Или сломало что-то, чего ты не заметил.
«Тесты прошли» ≠ «задача решена».
Это Verification Tax в чистом виде. Ты экономишь час на написании — и тратишь полтора, а то и два на то, чтобы понять, что именно сделано и правильно ли это.
И здесь я упёрся в фундаментальную проблему.
Нельзя проверить корректность только техническими средствами. Тесты проверяют то, что написано в тестах. А не то, что ты хотел.
Решение пришло не сразу.
Ключевая идея: приёмка должна быть трёхуровневой.
• Первый уровень — машина. Автоматические проверки. Тесты. Линтер. Типы. Сборка. • Второй уровень — запись. Не «мы проверили», а файл, в котором написано, что проверялось, какой получен результат и какие критерии покрыты. • Третий уровень — человек. Явное «да». Не «агент решил, что готово», а человек посмотрел и согласился.
Только все три вместе дают нормальную приёмку.
Это не серебряная пуля. Это способ сделать Verification Tax управляемым.
В следующем посте — три самые сложные задачи, которые пришлось решать по дороге.
#HarnessOS #AIразработка #КакЯСтроилHarnessOS #AIагенты #разработка