1. Постановка задачи 2030 🎯 Мне кажется, здесь нужно разделить все задачи по улучшению рекомендаций на два больших класса. И к 2030 году автоматизация будет работать с ними совершенно по-разному.
Первый класс 🔧 — улучшение существующих алгоритмов на текущих рекомендательных полках.
Допустим, у нас есть 50 рекомендательных полок. Для каждой уже определено, какую задачу она решает, где показывается и по каким метрикам оценивается её эффективность. Нам остаётся постоянно улучшать качество алгоритмов, которые за ними стоят 🦸♀️.
И вот здесь я ожидаю очень высокой степени автоматизации. Агент сможет самостоятельно анализировать десятки тысяч сегментов, искать места, где качество рекомендаций ниже ожидаемого, сопоставлять их с историей прошлых экспериментов и формулировать конкретные ML-задачи 🤖.
Например, агент замечает, что рекомендации корзины плохо работают у новых пользователей. Он проверяет разные гипотезы и приходит к выводу, что текущий кандидато-генератор слишком сильно опирается на историю покупок. После этого предлагает попробовать кандидато-генератор, который больше учитывает текущую корзину и последние действия пользователя 🥂.
Причём таких задач система может находить сотни. Где-то просел Recall, где-то модель плохо работает в конкретной категории, где-то есть возможность улучшить latency, а где-то новая архитектура из соседней команды потенциально даст прирост качества, где-то вышла статья о более эффективной вариации работающего алгоритма 🧗♂️.
Фактически мы получаем постоянно работающий механизм поиска возможностей для улучшения существующих алгоритмов. Человеку уже не нужно самостоятельно искать каждую проблему — агенты могут находить их, оценивать потенциальный эффект и в рамках заранее заданных ограничений запускать следующие этапы исследования ⚙️.
В следующей статье напишу гораздо подробнее как это работает под капотом.
· 22.10
При поиске по десяткам тысяч сегментов агенту понадобится учитывать случайные просадки: иначе поток задач будет состоять из шума. Я бы включил в карточку гипотезы размер сегмента, устойчивость эффекта во времени и способ независимой проверки. Как планируете ранжировать найденные возможности с учётом стоимости эксперимента?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён