Для начала вопрос. Есть SQL-запрос (на картинке). Что в нём не так? В конце напишу ответ, “подписывайтесь, чтобы не потерять/дочитайте до конца/ссылка - в описании/поставьте колокольчик”.

Упоминания ИИ/AI и LLM (так - меньше всего, что само по себе показательно) сейчас везде. “Мы внедрили ИИ в наши процессы и начали экономить”, “Как я создал 5 агентов и теперь только задания раздаю”, “Я создал 5 агентов и к ним ещё 5 агентов, чтобы контролировать первые 5 и теперь даже к компьютеру не подхожу”.

Во-первых, не ИИ/AI, а, всё-таки, LLM - large language model - большая языковая модель. До ИИ в понимании “интеллект” ещё очень далеко и на эту тему можно написать столько же текста, сколько пишут о том, “как мне теперь чудно живётся с ИИ-помощником”. Но это - хайп и масс-маркет, с этим понятно.

И эта писанина - не “вопль неолуддита в соц.сети”, но “размышления на тему”.

“Я создал 5 агентов”. Они сами вникают в контекст, реализуют решение, пишут тест, который покажет зелёную галочку. Все счастливы. Проходит время - создатель замечает, что тратит время на проверку агентов. Но что мешает создать контролирующих агентов? Каждому - своего контролёра. Потрясающе.

Всё отлично, создатель счастлив, заказчик счастлив, агенты…никак. Потому что они не “интеллект” и эмоций испытывать не умеют, но это - несущественные детали. Проходит время - что-то падает на проде на редком условии, о котором не подозревал никто. Создателю надо разобраться. А как? Код писал не он. Обращается к агентам же. Те покладисто исправляют и даже рефакторят свой же код, тесты снова зелёные. Всё “налаживается”.

Как ИИ может усомниться - “а точно ли я всё предусмотрел? а может, в условии описано не всё?”. Никак. Потому что не ИИ, а модель. И у модели нет способа заглянуть в себя. Точно как мультиметр не осознаёт, меряет он сейчас аккумулятор ИБП или авто - и зачем это вообще сейчас делать.

Уверенность создателя может покачнуться после этого инцидента (“а точно ли контролирующие контролируют правильно?”). А может и не. Как ИИ может проверить себя и засомневаться “а точно ли я всё предусмотрел? А может быть, в условии описано не всё и даже автор задачи не подумал о чём-то?”? Никак, очевидно.

Потому что не ИИ, а модель. Хоть и большая (корпус данных может быть действительно большим), хоть и языковая (можно описать задачу на человеческом языке), но модель (слепок). И у модели нет способа заглянуть “в себя”.

Экстраполируем. Гражданская авиация. Вам говорят: ПО подачи топлива в двигатели писал ИИ, проверял корректность тоже ИИ, инженер рядом сидел и агентов запускал. Полетите?

Но хорошо, вы можете возразить “самолёты - это другое, туда никто ИИ не подпустит”. Пусть будет медицина. Самый простой и “нестрашный” случай - автоматические анализаторы крови. Это приборы, которые сами считают количество эритроцитов, скорость оседания эритроцитов (СОЭ) и прочее. Если вы за последние лет 10 сдавали хоть раз кровь на анализ, то в бланке результата могли увидеть наименование подобного аппарата. А так же вы сможете обратить внимание, что там есть подпись врача, который глазами перепроверил. Вам снова теперь говорят: “ПО этих приборов так же написано и протестирован исключительно ИИ, проверять человеку больше незачем”. Вы так же без оглядки будете доверять?

“Упростим”. Два конвейера: по одному едут таблетки от кашля, по соседнему - нейролептики. Форма и цвет у них одинаковые. Код конвейеров, манипуляторов, которые раскладывают по блистерам таблетки, и контроля - целиком ИИ. Доверитесь таблеткам этой фармкомпании?

Почему подпись врача стоит на бланке? Почему в авиации и медицине - жесточайшая сертификация на каждую запятую? Потому что это ответственность. Самолёт упал - видно сразу. Таблетки поменялись местами - аукнется не сразу, но обязательно: поднимут документы, проследят цепочку решений. Человек это осознаёт. А модель? Какое наказание для неё? Из розетки выключат?

И ответ на вопрос: когда вы произносите “Звёздные войны”, куда вы ставите ударение и нужно ли вам помечать это специально, чтобы другие не ошиблись? Запрос написан ИИ и не проверен человеком.