Пример того, как агент самостоятельно ищет новые обучающие сигналы 🧪 Предположим, мы хотим увеличить долгосрочную удовлетворённость пользователей YouTube. Но непосредственно оптимизировать такую метрику довольно сложно. Поэтому модель обучается на более простых сигналах пользовательского поведения. И вот здесь возникает задача: какие сигналы лучше всего отражают удовлетворённость пользователей? 🤔 Google предлагает переложить поиск ответа на агента. Он получает доступ к пользовательским логам и самостоятельно выполняет SQL-запросы. Затем ищет закономерности между различными действиями пользователей и целевыми показателями 📊. Например, в статье описана гипотеза, что видео, которыми делятся пользователи, смотрят дольше. Агент может проверить это предположение на данных. Если связь подтверждается, появляется идея учитывать распространение видео при обучении рекомендаций 💡.

И вот здесь начинается самое интересное 🤖 Агент не ограничивается анализом данных. Он предлагает изменить саму функцию вознаграждения модели.

Дальше система: Меняет функцию вознаграждения 🎯. Добавляет новый сигнал или меняет веса существующих. Обучает новую модель 🧠. Проверяет предложенное изменение на исторических данных. Оценивает результат 📊. Сравнивает модели по независимым показателям качества, например связи предсказаний с длительными просмотрами. Запускает A/B 🧪. Перспективные варианты проверяются на реальных пользователях. Причём сравнивать обычную ошибку обучения здесь недостаточно. После изменения функции вознаграждения модели решают немного разные задачи. Что получилось в реальности? 🥂 В одном из экспериментов агент самостоятельно предложил новый сигнал активности пользователей. Его точную природу Google не раскрывает. После добавления сигнала в функцию вознаграждения целевая метрика рекомендательной поверхности выросла на 0,17%. А метрика уровня всего YouTube — на 0,05% 📈. Кроме того, агенты нашли улучшения архитектуры и алгоритмов обучения. Например, замена оптимизатора дала +0,12% к метрике поверхности.

Фактически система автоматизировала цикл: анализ поведения → новая гипотеза → изменение обучения → проверка качества → A/B 🔄.