Дмитрий, принцип “до необратимого шага - сам, дальше - человеку” мне нравится как хороший предохранитель. Но я бы одной обратимостью всё-таки не ограничивалась. Письмо клиенту технически можно исправить следующим письмом, а первое он уже прочитал 🙂

Для меня порог скорее многомерный: цена ошибки, обратимость, полномочия, последствия для клиента/денег/данных и возможность потом восстановить, на основании чего агент принял решение. Тогда действительно не надо проверять каждый чих - контроль можно поставить именно там, где риск становится существенным. А вот идея заранее назначенного человека, которому агент обязан передать решение, - очень здравая

Я бы даже расширил. Не обязательно агент обязан именно передать решение. Человек должен отвечать за необратимые действия агента. Это может быть и настройка и подстройка правил. Как с людьми - косячит мой оператор , а ответственность моя.

Дмитрий, аналогия с оператором мне как раз нравится - но она же, по-моему, добавляет ещё одно условие. Руководитель отвечает за сотрудника не просто потому, что сотрудник числится у него, а потому что он задал рамки полномочий, правила, контроль и может вмешаться.

С агентом я бы строила так же. Не обязательно передавать человеку каждое решение, но должно быть заранее понятно: что агент имеет право делать сам, кто отвечает за эту зону, где обязательна эскалация и можно ли потом восстановить логику действия.

Иначе получается довольно удобная управленческая конструкция: автономность выдали машине, а ответственность - человеку

Ответственность всегда будет за человеком. даже в тех системах где ИИ обслуживает ИИ.

Дмитрий, сегодня - пожалуй, да. А если чуть заглянуть вперёд, мне бы хотелось, чтобы “ответственность всегда за человеком” не означала “назначим человека крайним за миллионы решений, которые он физически не мог проверить”.

Мне ближе распределённая конструкция: организация отвечает за саму систему и допустимый риск, владелец процесса - за границы полномочий, разработчик - за свойства инструмента, а у агента должна быть технически фиксируемая зона действий: права, лимиты, журнал решений, возможность остановки и восстановления логики.

Человек тогда отвечает не за каждый шаг машины, а за то, правильно ли устроен контур, в котором она действует. Иначе автономность довольно быстро превращается в ответственность без реального контроля - мы это уже где-то видели 🙂

Я бы не говорил о контроле каждого шага ИИ вообще. И тем более не отождествял контроль с ответственностью. Есть менеджмент людей, а будет менеджмент ИИ. Менеджмент это как раз про ответственность, принятие решений и работу с рисками.

Виталий, пришлите, с интересом посмотрю 🙂 Особенно заинтриговало “попросить ИИ не врать”. Если бы одной хорошо составленной инструкцией можно было получить гарантию достоверности, у аудиторов и контролёров начались бы тревожные времена. Снизить число ошибок - верю. А вот отменить необходимость проверки пока не готова

Можно начать с этой подборки: https://dzen.ru/suite/4d232a1b-9c95-48a5-b906-61f0836b2683

Виталий, спасибо, дождалась. Начну с подборки. Особенно интересно посмотреть, где там проходит граница между “снизить вероятность галлюцинации” и “научить ИИ не врать”. Для меня это всё-таки две очень разные степени уверенности - во второй у аудиторов началась бы новая счастливая жизнь

Если кратко - чтоб не врал, нужно прописать в системном промпте, либо параметрах проекта. И разрешить говорить “не знаю”. Ещё можно использовать NotebookLM – там это на системном уровне прописано

Виталий, вот на “чтоб не врал” я всё-таки спотыкаюсь. Разрешить “не знаю”, ограничить источники и задать правила - отличный способ снизить число уверенных фантазий. Но из “реже ошибается” в “не ошибается” я бы всё-таки не переходила.

Даже NotebookLM здесь скорее хороший пример заземления на источники, чем гарантии истины: источник тоже может быть неверным, модель - неправильно его интерпретировать, а цитата - ещё не доказательство вывода.

Поэтому моя конструкция пока остаётся скучно-аудиторской: источники → право на “не знаю” → проверка там, где цена ошибки существенна. Иначе профессия контролёра подозрительно легко отменяется одной строчкой системного промпта

Контроль и встречная проверка при работе с ИИ - это элемент обязательной цифровой гигиены

Ринат, вот в слове “полностью” я как раз спотыкаюсь 🙂 Системная инструкция может сильно сузить пространство для фантазии, но не превращает модель в нотариуса. Причём опаснее всего не откровенная галлюцинация, а аккуратный, логичный и хорошо обоснованный тезис, в котором тихо неверна одна исходная посылка. Поэтому я бы ставила не на идеальный промпт, а на проверяемость: источник, цитату, валидацию результата и человеческий контроль там, где цена ошибки высока. 100% оставим бухгалтерскому балансу - и то после сверки

Никита, с инструментами и правом модели сказать “не знаю” согласна. А вот с процентами уверенности в системном промпте я бы была осторожнее. Просьба назвать 73% ещё не означает, что мы получили измеренную вероятность — иногда это просто галлюцинация, которой выдали калькулятор 🙂 Для меня надёжность начинается там, где уверенность подтверждается не самооценкой модели, а внешними признаками: источниками, проверяемыми данными, валидацией результата и понятным порогом, после которого решение уходит человеку. Промпт здесь скорее правило поведения, чем система контроля

Нужна обычно система факторов которые уменьшают риски, каждый отдельно не существенен, как в стратегии компаний на 10 лет

Конкретно про проценты лучше писать что то типо: если уверенность меньше 95% - сообщай или учитывай или ищи замену - в зависимости от задач

Никита, если под факторами оценки вы имеете в виду ещё одну самооценку модели, то я как раз не об этом. Мне ближе внешняя проверка результата: источник, тест, эталон, статистика ошибок, бизнес-результат. Иначе быстро получаем контроль-контрольный: один ИИ уверенно подтверждает, что другой ИИ был очень убедителен 🙂

Имел ввиду, что есть смысл системно минимизировать риски. Факторы - все риски, больше учтено и закрыто разными методами/алгоритмами/инструментами - меньше ошибок

Нужно все и сразу: и система для ручной перепроверки с точными цитатами И управляемые алгоритмы с программами И самоконтроль от ии по ходу действий в разных видах, хотя бы “правильные” правила с учетом внутрянки самого ии (итшники обычно шарят)

Когда работаете с десятком тысяч данных, каждая строка из которых подтверждается источником, цитатой - руками это уже экономически не выгодно проверять, поэтому нужны более качественные решения системные

Кроме моментов где риски компании увеличиваются кратно. В общем чем точнее нужно, тем просто больше классической автоматизации которую использует ии

Никита, вот здесь, кажется, мы сошлись. На больших объёмах руками каждую строку, конечно, не проверишь - значит, и контроль должен быть риск-ориентированным. Где цена ошибки невелика, можно дать модели больше свободы. Где высока - начинается скучная взрослая жизнь: правила, тесты, сверки, ограничения и выборочный контроль. Получается забавный парадокс: чем надёжнее хотим сделать ИИ, тем больше вокруг него появляется классической автоматизации 🙂

Константин, напомнили 🙂 На военной кафедре нашего экономического института полковник на первой же встрече с женской аудиторией торжественно объявил: “Сделаем из вас, девушек-студенток, женщин-медработников”. После этого я довольно осторожно отношусь к формулировкам, произнесённым с абсолютной уверенностью. Иногда вопрос не в том, знаешь ты или нет, а насколько убедительно умеешь это сообщить.