Начал работу над собственной моделью принятия решений. С нуля, на Rust, на одной RTX 3060.
Это не ещё один чат-бот. Это модель, которая отвечает на один вопрос: что делать дальше. Choice, Noul или Score - выбор действия, отказ от действия, оценка. Внутри - идеи Лекуна про предсказание не токена, а представления мира.
Зачем вообще своё, когда есть готовые LLM. Потому что для решения не нужен весь интернет в весах. Нужна маленькая сеть, которая быстро и предсказуемо выбирает действие и не уезжает в облако с твоими данными.
Что уже зафиксировано в плане.
Стек: Burn + CUDA/CubeCL, собственный цикл обучения, токенизатор на Rust с обучением своего BPE, чтение данных сразу из Parquet/JSONL. В ML-процессе нет Python. Драйвер NVIDIA, CUDA и зависимости Cargo остаются, без них никуда.
Веса обучаются с нуля. Никаких готовых предобученных энкодеров, никакого заимствования чужих весов, никакой внешней модели-учителя. Даже EMA-ветка для JEPA стартует с копии собственной сети, а не с чужого чекпоинта.
Два этапа. Первый - текстовые представления на выбранных частях FineWeb2: энкодер видит текст со скрытыми фрагментами и через предиктор учится восстанавливать их внутренние представления. Второй - обучение собственно решений поверх готового представления, на размеченных наборах вроде BoolQ, BANKING77 и MNLI.
Стартовая конфигурация под 12 ГБ VRAM: двунаправленный трансформер, 8 слоёв, размерность 512, 8 голов, свой словарь на 16 384 токена, контекст 512. Оценка энкодера - около 34 млн параметров. Первый корректный запуск только в FP32, пониженная точность - отдельной проверкой.
Контроль честности встроен в процесс. Train для обучения, validation для подбора настроек, final test трогаем один раз в самом конце. Оценщик фиксируется заранее и не меняется по ходу. Контрольная точка - Jev, причём его ответы не считаются истиной: обе модели проверяются по одной эталонной разметке.
Дальше - автономный цикл экспериментов: supervisor на Rust запускает прогоны, читает метрики, отбрасывает неудачные варианты, сохраняет состояние на диск и продолжает после перезапуска. Лимиты прописаны заранее: 72 часа GPU-заданий, 12 обучающих прогонов, 16 GiB данных. Демо-данные в панели наблюдения помечены как демо, чтобы никто случайно не принял красивые графики за результат.
Чего пока нет: реальных чисел. Ни loss-кривых, ни сравнения с Jev, ни подтверждённого расхода VRAM. Есть архитектура, план и запускаемый каркас. Обещать, что догоню Jev, не буду - это исследовательская цель, а не результат.
Теперь про инвестиции и почему пишу об этом публично.
Одной 3060 хватает, чтобы проверить гипотезу. Не хватает, чтобы её доказать. 72 часа GPU - это бюджет на один заход, а не на кампанию с перебором архитектур, калибровкой и проверкой устойчивости. Каждый следующий порядок экспериментов упирается в железо, а не в идеи.
Что реально покупается за деньги: GPU-часы, а не офис. Аренда A100/H100 на недели автотюна, нормальный корпус для предобучения представлений, оплата контрольных прогонов внешней модели для сравнения. Всё остальное - код, архитектура, развязка зависимостей - делается руками и уже делается.
Почему это может быть интересно не только мне. Полностью своя модель принятия решений - это независимость на уровне артефакта: свои веса, свой токенизатор, свой инференс, отсутствие Python в пайплайне, отсутствие чужого API в критическом пути. Для продуктов, где агент принимает решения о деньгах, доступах и данных, это не идеология, а требование к аудиту.
И честная оговорка: независимость от чужих весов сама по себе качества не даёт. Своя модель может оказаться хуже Jev. Тогда я об этом и напишу, с цифрами.
Если вы инвестор, фонд или просто человек с свободными GPU-часами и интересом к инфраструктурному ИИ - пишите в личку. Если у вас есть опыт обучения моделей с нуля на маленьких бюджетах - расскажите в комментариях, сколько это стоило вам и на чём вы сэкономили. Мне сейчас полезнее всего чужие грабли, а не признание и похвалы.
