Чтобы понимать, почему настройки из первых двух частей вообще важны, полезно разобраться, откуда модели берут знания.
Основа — интернет. Но отфильтрованный 🌐 У GPT-3 в 2020 году состав датасета раскрывали довольно подробно: ▫️60% — очищенный веб-архив ▫️22% — страницы по ссылкам с Reddit ▫️16% — книги ▫️3% — Википедия.
У YandexGPT 5 Lite в 2025 году: ▫️60% — веб-страницы ▫️15% — код ▫️10% — математика
Со временем доля обычного веба снижается. У Llama 3 уже 25% приходится на математику и рассуждения, 17% на код. Параллельно растет доля синтетических данных, которые генерируют предыдущие модели.
Фильтры отсекают спам, дубли и откровенный мусор.
Яндекс, например, отбирает документы с помощью больших языковых моделей и классификатора.
Но тут есть важный нюанс⚠️ Фильтр оценивает качество текста, а не его истинность. Если один и тот же миф повторяется в тысячах аккуратно написанных статей, модель вполне может его усвоить. Это измеряли и отдельно: в тесте TruthfulQA модели воспроизводили популярные заблуждения.
Отсюда следует: «Память» модели — это не то, что доказано. Это то, что чаще и лучше представлено в данных.
Поэтому факты по-прежнему должны приходить из первичных источников: инструкций, клинических рекомендаций, публикаций.
Данные стали товаром 💷 Google платит Reddit около $60 млн в год за доступ к постам. Anthropic заплатит авторам $1,5 млрд по делу о книгах из пиратских библиотек — соглашение утвердили в июле 2026 года. При этом прозрачности становится не больше. Anthropic и Google раскрывают в основном категории данных, без точных объемов и долей.
Где в этом ваши данные 🔥 ➖ Чаты. У большинства сервисов могут идти в обучение по умолчанию — это как раз то, что мы отключали в первых двух частях. ➖ Соцсети. Llama 4 от Meta* по данным model card обучалась в том числе на публичных постах Instagram* и Facebook, а также на переписке с Meta AI. ➖ Документы. Содержимое Google Docs и Gmail, по словам Google, без разрешения пользователя в обучение не идет. ➖ Устройства. В очках Meta голосовые записи после Hey Meta по умолчанию хранятся до года. Отказаться от обучения на снимках с очков стало можно только 23 сентября 2026 года. На голос эта настройка не распространяется. А новый брелок-«тамагочи» Muse Charm от Meta* обещают к декабрю и в анонсе пока не объяснили, как именно будут обрабатываться данные.
И главный вывод ⚡️ Правила меняются. Настройки по умолчанию тоже. То, что сегодня отключено, завтра может переехать в другой раздел или получить новую формулировку. Поэтому чек-лист из первых двух частей стоит периодически повторять.
*Meta (Instagram, Facebook) признана экстремистской организацией и запрещена в России.
