Создаём GPT с нуля: фундаментальный туториал от Карпатого 🧠

Есть контент, который не стареет. Например, туториал от Андрея Карпатого (сооснователь OpenAI, экс-директор по AI в Tesla), где он с нуля на Python собирает и тренирует GPT от начала до конца: от определения nn.Module и оптимизации с помощью Flash Attention до настройки гиперпараметров и оценки результатов.

Да, в видео разбирают GPT-2, но его главный плюс, а не минус. Именно эту модель, в отличие от современных гигантов, можно реально натренировать на одной домашней GPU, пройдя своими руками весь путь от и до. При этом фундаментальные принципы, лежащие в основе современных LLM, там раскрыты полностью.

А код доступен на GitHub 🐍