Если бот наврал клиенту, кто виноват?

Наткнулась на прекрасную историю про Air Canada и их чат-бота. В 2022 году у Джейка Моффата умерла бабушка. Ему нужно было срочно лететь на похороны, поэтому на сайте Air Canada он спросил у чат-бота, как работает специальный тариф для таких случаев. Бот сказал, что можно купить обычный билет, а потом в течение 90 дней обратиться за возвратом разницы. Джейк купил билеты, слетал на похороны и после этого написал в Air Canada за обещанной компенсацией. А Air Canada ответила, что вообще-то так нельзя. Специальный тариф нужно было оформлять заранее, до поездки. Чат-бот дал неправильную информацию, поэтому деньги ему возвращать не будут. Джейк решил с этим поспорить, и дело дошло до суда. В суде Air Canada пыталась доказать, что не должна отвечать за то, что сказал её чат-бот и предлагает считать чат-бота отдельным юридическим лицом, которое само отвечает за свои действия. То есть буквально: это не мы вам неправильно сказали, это наш бот.. Air Canada в итоге признали ответственной за информацию на собственном сайте и обязали выплатить клиенту компенсацию. Отдельно меня зацепила логика компании: компания ожидала, что клиент должен был перепроверить слова бота в другом разделе сайта. Но если компания сама разместила этот инструмент на своём сайте и через него сообщает клиентам информацию, почему клиент вообще должен предполагать, что этой информации нельзя доверять?

Сейчас, когда мы говорим про автоматизацию саппорта, очень легко считать процент автоматизации, количество закрытых без оператора обращений и сэкономленные часы. А потом твой прекрасный бот уверенно рассказывает клиенту какую-нибудь ерунду, клиент действует исходя из этой информации. И это, кстати, одна из причин, почему я довольно скептически отношусь к идее «давайте просто отдадим первую линию AI». Логичнее использовать системы, в которых понятно, откуда модель берет информацию, что ей разрешено отвечать самостоятельно, где она обязана позвать человека и как мы вообще узнаем, что она начала галлюцинировать. Потому что сотрудник поддержки тоже может ошибиться. Но у сотрудника обычно есть обучение, QA, обратная связь и руководитель, который однажды спросит, почему он вообще такое написал клиенту. У AI всё это тоже должно быть. Только в сильно больших масштабах.

P.S. Не забываем, что задача ИИ помочь любым способом. Поэтому перепроверяйте иногда информацию, чтобы не улететь в несуществующую страну