А что делают крупные компании в области симуляций? 🔬 1. Alibaba — UserArena (октябрь 2026) UserArena: Interactive User Simulation
Симулируют полноценный покупательский путь на маркетплейсе. Виртуальный пользователь листает рекомендации, открывает карточки, добавляет товары и покупает. 🛍
Что интересного:
- Используют реальные данные: 11 тысяч пользователей и 64 тысячи сессий. На их основе обучают симулятор пользовательского поведения.
- Симулируют не отдельные клики, а целые последовательности действий. Причём учитывают несколько визитов одного пользователя.
- Проверяют качество симулятора на пяти уровнях. От правильности отдельных действий до воспроизведения целых сессий и пользовательских предпочтений.
- Сравнили прогноз с реальным production A/B. Лучший симулятор воспроизвёл около 71% наблюдаемого CTR-эффекта. Но проверка проводилась только на одной паре алгоритмов.
2. Amazon — LLMEvalRec (2026) LLMEvalRec: Simulating Users to Evaluate Recommendations
Симулируют пользователей новостных рекомендаций через LLM-агентов. Виртуальные пользователи получают персональные интересы и историю чтения. Затем реагируют на рекомендации разных алгоритмов. 📰
Что интересного:
- Для создания виртуального пользователя достаточно небольшой истории чтения. LLM формирует профиль интересов и симулирует дальнейшие взаимодействия.
- Можно сравнивать рекомендательные алгоритмы без запуска реальных A/B. Симулятор генерирует реакции пользователей на выдачи разных моделей.
- Корреляция ранжирования алгоритмов с реальной оценкой достигла 0,97 по Спирмену. Предыдущие симуляторы показывали 0,4 и -0,05.
- Дополнительно сравнили прогнозы с production CTR. Направления изменений совпали с результатами реальных экспериментов. Но точность прогнозирования размера эффекта не доказана.
3. Kuaishou — LLM User Simulator (апрель 2025) LLM-Powered User Simulator for Recommender System
Симулируют предпочтения пользователей и реакции на рекомендованный контент. LLM анализирует характеристики контента и историю взаимодействий. Статистическая модель помогает прогнозировать дальнейшие реакции. 👲
Что интересного:
- LLM пытается понять причины пользовательских предпочтений. Например, какие характеристики контента нравятся человеку, а какие нет.
- Объединяют LLM и статистическую модель поведения. Это позволяет генерировать реакции пользователей с учётом их предпочтений.
- Используют виртуальные взаимодействия для обучения RL-рекомендаций. Алгоритм может экспериментировать с выдачей без постоянного обращения к реальным пользователям.
- Проверили качество симулятора на пяти датасетах. Получили улучшение точности моделирования поведения относительно ряда альтернатив. Но подтверждённого эффекта в production A/B пока нет.
Что в итоге будет к 2030 году?
На мой взгляд, классические offline-метрики никуда не исчезнут. Но к ним добавится новый слой валидации — симуляция пользовательского поведения. 🤖
Вместо простого сравнения NDCG двух моделей мы сможем виртуально прогонять тысячи покупательских сессий. И оценивать, как изменения повлияют на конверсию, средний чек и другие продуктовые метрики. 📊
При этом полностью заменить A/B-тесты вряд ли получится. Симулятор тоже может ошибаться, поэтому его прогнозы придётся регулярно проверять на реальных пользователях. 🧐
Автоматизация в 2030 году: высокая. Качество валидации в 2030 году: со среднего до очень высокого. За счёт симуляций мы сможем значительно точнее оценивать потенциальный эффект моделей до запуска A/B. 🚀
