Доверяй, но проверяй

Китайский фермер доверился ИИ и за сутки уничтожил 10 гектаров кунжута.

67-летний мужчина успешно пользовался агро-нейросетью целый год — алгоритм регулярно выдавал точные советы, поэтому фермер расслабился.

Когда на кунжутном поле появились сорняки и вредители, ИИ предложил смесь химикатов. Фермер не посоветовался с агрономом и не проверил раствор на небольшом участке — сразу обработал все десять гектаров.

За сутки вместе с сорняками погибли все всходы кунжута.

ИИ посоветовал мощный химикат фомесафен, но забыл уточнить, что кунжут биологически уязвим для этой смеси точно так же, как и сорняк, который нужно было вытравить.

Самое время напомнить, что в интерфейсе вашего любимого Claude, ChatGPT или Gemini всегда висит предупреждение, что ответ нейронки может быть ошибочным и его следует перепроверять.

Год полезных ответов отучил фермера проверять.

Один неправильный стоил десяти гектаров.