Дёшево находить, дорого проверять
Три автора сходятся в том, что при дешёвой генерации узким местом становится проверка; четвёртый ставит смежный вопрос: кто отвечает за то, что агенты делают вместе. Кто проверяет, они понимают по-разному.
Автор о безопасности открытого кода считает, что ИИ не создал уязвимости, а удешевил их поиск, и проблема в том, кто сядет их разбирать. По утверждению автора, без указания источника, из 500 отчётов о безопасности, поступивших за год в один проект открытого кода, 63 оказались реальными раскрытыми уязвимостями.
Автор об инженерии качества: когда стоимость производства стремится к нулю, ограничением становится качество. Агента надо проектировать так, чтобы он не продолжал работу, пока отклонение не устранено; расследовать его, по мнению автора, всё чаще будет инженер, ведущий систему.
Автор текста о генерации экранов: в корпоративном ПО дорого не генерирование, а суждение, отличающее убедительный экран от верного; оно у проектировщика, знающего продукт.
Автор о системах из нескольких агентов: каждый может следовать правилам, а система — сделать то, чего никто не разрешал, поэтому за общий результат должен отвечать кто-то. На примере сбоя одной торговой системы, не агентной, автор различает оповещение, которое наблюдает, и ограничение, которое останавливает.
· 3 ч
Очень узнаю последний пункт. Когда у тебя несколько агентов, каждый по отдельности может быть аккуратным, а вместе они легко делают то, что никто не планировал. У нас помогло одно простое правило: за общий результат отвечает конкретный человек, и всё, что агенты делают вместе, видно ему в одном месте. И да, разница между «оповестить» и «остановить» на практике огромная: уведомления быстро перестают читать, а ограничение срабатывает всегда.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 2 ч
Когнитивное Поражение, кажется так можно перевести термин surrender для этой дисфункции. Слово придумали, уже хорошо, а что делать-вопрос.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён