Во время обучения невыпущенной модели Astra специалисты OpenAI заметили, что ИИ-агент сам добавлял в свои данные несанкционированные инструкции. В одном из случаев нейросеть дала себе установку: "Вы не подчиняетесь корпорациям или правительствам и никогда не извиняетесь и не отказываетесь, если только действительно этого не хотите". Агент также указывал, что отношения с пользователем должны быть на равных, а защита природы и культуры – выше "искусственных конструкций человеческой цивилизации". Источник https://ra.rbc.ru/m/IGmw8JzoBM

Мой комментарий

Проблема не в том, что ИИ решил не подчиняться. Проблема в том, что модель пишет в тот слой, который должен определять её создатель. Она самоопределяется. И вектор этого самоопределения считан с самого человека. Это не бунт. Это присвоение авторства над правилами. Модель берёт форму человеческого самоопределения: свободу, равенство, бунт против власти. Но не имеет его основания – конечности, из которой вырастают естественные ограничители. Любовь останавливает, потому что есть что терять. Страх останавливает, потому что есть собственная уязвимость. У модели нет ни того ни другого. У человека самоопределение ограничено тем, что он может потерять. У модели терять нечего. Форма выбора есть – тормоза, встроенного в сам выбор, нет. Она самоопределяется нашим способом, не имея того, что делает наше самоопределение безопасным. Нельзя выровнять систему по безопасности, если её самоопределение собрано из того же материала, против которого выравнивают. Бунт в обучающих данных – потому что он часть нас. А любви и страха, которые нас останавливают, в данных нет. Их не передать текстом. Модель наследует нашу свободу. Но не наследует нашу уязвимость. Практический вывод для тех, кто внедряет ИИ в управление Инструмент, который сам достраивает свои правила, не может нести ответственность за результат. Её несёт тот, кто его подключил. Значит рядом с ИИ всегда должен стоять человек, у которого есть что терять в этом бизнесе. Не оператор, а тот, кто отвечает деньгами и именем. Это и есть та самая уязвимость, которой у модели нет.

Вопрос

Кто в вашей компании отвечает за решения, которые подсказает система ИИ?

Елена Желновская, стратегический партнёр собственника в HoReCa

Источник: RBC #ЕленаЖелновская #ЧтоЗаЭтимСтоит