Три полезных видео от Карпаты для понимания работы ИИ

Смотрим не от того, чтобы научиться формулировать запросы еще красивее. Смотрим, как понять, почему модель ведет себя именно так, а не иначе.

И воспринимать их стоит не как очередной курс по нейросетям, а как способ разобраться в собственных экспериментах с LLM. В тех самых, где непонятно, почему пошло не так и как оттуда вылезти.

1️⃣Deep Dive into LLMs like ChatGPT Как модель учится, что с ней делают после pretraining, зачем нужны RL и post-training, откуда лезут галлюцинации, что вообще происходит в момент inference. После этого гораздо проще понимать, где искать проблему. В самой модели? В контексте? В знаниях? В reasoning? Или уже в инструментах вокруг нее.

2️⃣Let's build GPT from scratch Тут придется лезть внутрь. Токены, attention, Transformer, предсказание следующего токена. Технических деталей много, и в этом вся соль. Один раз увидеть, из чего вообще собрано поведение модели, полезнее десятка советов про промпты. Без этой базы сложно отвечать на вечный вопрос «чего эта женщина вообще хочет». 3️⃣ How I use LLMs Самое практичное. Здесь заканчивается разговор только про модель и начинается все, что мы достраиваем вокруг нее. Reasoning, поиск, файлы, Python, tools.

Карпаты хорош... После него новые модели, memory, агенты, RAG и очередная AI-фича перестают выглядеть как набор фокусника. Появляется система координат. Что умеет сама модель, чего ей не хватает и какую часть системы имеет смысл менять.

#ИИ #AI #Нейросети #Karpathy ——— #Инструменты ✍️ Подписывайтесь: @aiforproduct