Меня все больше цепляет одна вещь в работе с ИИ Все обычно смотрят на итоговый ответ модели. Но проблема часто вообще не в самом ответе, а в том, насколько он зависит от того, как именно задан вопрос.

Чуть меняешь формулировку - модель уже ведет себя иначе. Не просто другими словами отвечает, а реально меняет логику, в одном случае выбирает позицию, в другом начинает осторожничать, в третьем вообще уходит от прямого ответа. И вот здесь меня смущает популярная мысль, что надо просто “научиться правильно задавать вопросы”. Не всегда это так. Потому что правильный вопрос может не решать проблему, а просто давать один удобный вариант результата из нескольких возможных. То есть тогда мы проверяем не устойчивость ответа, а то, насколько сильно модель зависит от рамки вопроса. А это уже серьезнее, чем кажется. Особенно если такие системы хотят использовать там, где важна не красивая формулировка, а устойчивый вывод. По-хорошему тут надо смотреть не только на сам ответ, но и на то, как он меняется при небольших сдвигах вопроса. И мне кажется, это пока сильно недооцененная проблема