У моей модели появилось имя - Zerno.

Разрабатываю небольшую модель на Rust и обучаю её с нуля на RTX 3060 с 12 ГБ памяти. Начальная точка - случайные веса. В основе экспериментов - идеи JEPA: обучение через предсказание внутренних представлений текста.

Цель - научить Zerno понимать русский, английский и смешанный контекст и помогать принимать конкретные решения. Требует ли письмо внимания? Есть ли проблема с оплатой? Какой из предложенных вариантов подходит? На выходе - выбранный ответ и оценка уверенности.

Первые обучающие прогоны уже завершены, метрики есть. Качество пока скромное: сейчас основная работа - данные, двуязычное обучение и проверка того, действительно ли модель использует переданный контекст.

Буду показывать, как растёт Zerno: устройство модели, результаты и эксперименты - включая те, которые не сработали.