Похоже, у нас появилась новая народная забава в работе с ИИ.

Берём убогий промпт. В него запихиваем весь контекст, который нашли за последние пять лет. Нужное, ненужное, противоречащее друг другу — всё идёт в топку.

Ограничений нет. Критериев хорошего результата нет. Формата ответа нет. Что именно считается выполненной задачей — тоже никто не знает.

А потом: «Что-то модель какая-то тупая…» И тут начинается самое интересное. Вместо того чтобы научиться нормально формулировать задачу, мы начинаем ждать МЕГА-МОДЕЛЬ с окном контекста на 100500 миллиардов токенов. Чтобы она прочитала весь наш хаос, сама поняла, что из этого важно, догадалась, чего мы хотели, и желательно ещё мысли заодно прочитала. Причём чем больше контекстное окно — тем больше туда можно запихнуть мусора. Очень удобная технология. 😁

Но проблема вообще не в размере модели. Хороший результат начинается не с огромного контекста, а с нормально поставленной задачи.

Нужно понимать: — что мы хотим получить; — какие данные действительно нужны; — какие ограничения есть; — по каким критериям оценивать результат; — в каком формате его вернуть.

LLM — это инструмент. Очень мощный инструмент. Но если дать человеку профессиональный шуруповёрт, а он будет пытаться забивать им гвозди, виноват в результате всё-таки не шуруповёрт.

И да — платить за 500 тысяч токенов контекста, чтобы модель героически искала среди них три действительно нужных предложения, тоже не самая гениальная стратегия.

Какой бы крутой ни была модель или инструмент, если вы не умеете правильно ими пользоваться — результат будет соответствующий. Только к ужасному результату добавится ещё и довольно неприятный счёт. 😏