5. Online-эксперимент — 2030 🧪- Часть 1

По сути, в онлайн-эксперименте есть две главные части. Первая — дизайн и запуск. Вторая — подведение результатов и интерпретация. 🤔

Поиск следующего экперимента, дизайн и запуск ⚙️ Уже сейчас расчёт параметров конкретного теста в зрелых компаниях автоматизирован. Сейчас зона роста это автоматическое управление планирование огромного количества экспериментов + инструментарий их быстрого запуска с минимальным простоем поверхностей. Тут супер далеко продвинулись ребята из Китая.

ByteDance — Libra / Volcano Engine DataTester О чём: ByteDance развивает платформу A/B-тестирования Libra. Цель — автоматизировать весь цикл экспериментов с помощью AI. 🏭

Что интересного: 🔎

  • Быстрее принимаются решения: AI анализирует результаты и готовит выводы и советует следующий эксперимент. Сокращается время между окончанием эксперимента и следующим действием. ⏱️

  • Автоматическая оптимизация: Bayesian Optimization подбирает параметры экспериментов. Multi-Armed Bandits динамически перераспределяют трафик. 🎛

  • Автоматическая аналитика: Causal Inference помогает находить сегменты с различающимися эффектами эксперимента. 🕵️

  • LLM-агенты: проектируют эксперименты через естественный язык, анализируют результаты и готовят отчёты. 🤖

  • Будущее платформы: AI генерирует гипотезы → проводит эксперименты → анализирует результаты → принимает решения → запускает изменения. ♻️

Alibaba / Taobao — PILOT Technical Report О чём: Alibaba разработала LLM-агента PILOT для автоматизации развития рекомендательной системы. Он самостоятельно предлагает стратегии, проводит A/B-тесты и анализирует результаты. Затем подсвечивает следующие изменения. 🛒

Что интересного нового: 🔎

  • Ребята работают со стратегиями рекомендаций. Стратегия — это логика формирования рекомендательной выдачи для определённого сегмента пользователей. Например, новичкам — алгоритм X, отточникам — алгоритм Y. 👥
  • Система самостоятельно предлагает стратегии персонализации внутри заданного пространства параметров. То есть старается прийти к оптимальной рекомендательной стратегии для каждого сегмента. 🎯
  • Три AI-агента: первый управляет экспериментами, второй ищет стратегии персонализации. Третий накапливает знания из прошлых тестов. 🧠
  • Что не умеет: самостоятельно выбирать бизнес-цели и ключевые метрики. Принимать сложные решения о компромиссах между бизнес-метриками. 🚧