Ты хоть понял, что тебе ответили?
У меня есть подозрение, что в ближайшие годы нам придётся выработать какую-то "этику" использования LLM. Причём помимо конфиденциальности, авторских прав и повсеместных галлюнов, меня интересует ещё одна проблема: соответствие компетенций человека сложности результата, который он получает от нейросети.
Допустим, я пишу своему любимому пирожочку (у меня это ChatGPT): «Пирожок, хочу снести несущую стену в загородном доме и поставить вместо неё красивую балку. Рассчитай, какую именно, чтобы второй этаж не приехал к нам в гостиную».
Учитывая, что мой прошлый ремонт вместо восьми месяцев продолжался шестнадцать, желание привлечь к строительству кого-нибудь с признаками интеллекта вполне объяснимо.
Пирожок задаст уточняющие вопросы, выдаст расчёты нагрузок, предложит сечение балки и нарисует схему, красивую, как обложка GTA VI. А я, понимающий в сопромате примерно нихрена, получу убедительный на вид результат и вполне могу отправить его строителям. Хотя понятия не имею, насколько расчёт верен и какие допущения в нём заложены.
Теперь представим, что ту же задачу решает инженер-конструктор. Для него LLM - полезный ассистент, который помогает с вычислениями и предлагает варианты. Но главное, инженер способен понять, что вообще сказала шайтан-машина, проверить результат и оценить его применимость. Внешне два диалога почти одинаковые, а разница колоссальная.
Мне кажется, следующее поколение AI-ассистентов должно научиться учитывать компетенции пользователя. Например, задавать несколько вопросов, чтобы понять, насколько человек разбирается в предмете. С экспертом можно сразу решать задачу, новичку сначала объяснить важные принципы и ограничения, а потом ещё и проверить, что он действительно понял ответ.
Представьте, нейросеть спрашивает: «А теперь объясни, кожаный, почему эту балку нельзя устанавливать, пока мы не выяснили, на что она будет опираться». И если человек не может ответить, помогает ему разобраться. Заодно предупреждая, что без проверки инженером подобный расчёт нельзя использовать в строительстве.
Конечно, здесь возникает масса вопросов. Кто дал модели право оценивать нашу компетентность? Как отличить эксперта с корявым запросом от дилетанта, скопировавшего профессиональные термины? И насколько быстро нас начнёт бесить ассистент, который постоянно пытается устроить экзамен?
Я бы привязывал подобные проверки к цене ошибки. Если прошу придумать название школьного спектакля, экзаменовать меня по неймингу совершенно незачем. А вот если собираюсь снести несущую стену, дополнительные вопросы вполне уместны. Ведь с LLM можно годами получать профессионально выглядящие результаты, так и не научившись отличать хорошее решение от полной чепухи.
И хотелось бы, чтобы AI помогал замечать моменты, когда собственных мозгов для оценки результата категорически недостаточно.
А то пирожочек рассчитает мне прекрасную балку, прораб скажет "тут работы на два дня", а потом случится такое ОЙ, что предыдущий ремонт покажется сказкой
