В прошлом уроке разобрались: нейросеть работает на числах, а не на мыслях. Сегодня смотрим, как из этих чисел рождается язык.

LLM: три буквы, одна идея LLM расшифровывается как Large Language Model, большая языковая модель. Это нейросеть, обученная специально на тексте. ChatGPT, Claude, GigaChat, Алиса: все они построены на этом принципе.

Слово «большая» здесь важное. Речь о сотнях миллиардов числовых параметров (тех самых ручек-регуляторов из прошлого урока). Именно размер позволил модели уловить тонкие закономерности языка.

Одна задача, повторённая триллионы раз Весь фокус в том, что обучение было устроено невероятно просто. Модели показывали куски текста из интернета: книги, форумы, статьи, код. И давали одно задание: угадай следующее слово.

«Кошка сидит на...» Модель угадывает «окне». Промахнулась: ручки чуть подкрутили. Угадала: ручки зафиксировали. Потом следующий отрывок. И снова. Сотни миллиардов итераций.

На каком-то этапе произошло кое-что неожиданное. Чтобы хорошо угадывать следующее слово, модель вынуждена была поймать структуру языка: что такое подлежащее, что такое причинно-следственная связь, как строится аргумент. Никто этому специально не учил. Это выкристаллизовалось само, из задачи угадывания.

Почему это работает так хорошо Когда ты пишешь запрос в ChatGPT, модель не «думает над ответом» в человеческом смысле. Она делает то же самое: угадывает, какое продолжение статистически правдоподобно для такого начала. Слово за словом.

Звучит механически. Но представь, что ты прочёл весь русскоязычный интернет плюс большую часть мировой литературы. Ты бы тоже умел очень точно угадывать, что идёт дальше. И выглядело бы это как понимание.

Где это помогает прямо сейчас Переписать письмо, разобрать договор своими словами, набросать структуру презентации: для всего этого LLM хватает «угадывания продолжения». Задача на следующее слово, повторённая триллионы раз, справляется с большинством текстовых задач лучше, чем ожидаешь.

Попробуй сейчас Открой любую нейронку (ChatGPT, GigaChat или другую) и отправь:

«Напиши фразу "Утром я открыл холодильник и увидел..." и дай 5 разных продолжений: от самого обычного к самому неожиданному».

Ты увидишь, как модель ранжирует варианты от привычного к редкому. Это и есть предсказание следующего слова в действии.

Завтра урок 3: токены и за что ты платишь.

Ставь 🔥, если стало понятнее. #курс #спросинейронку