📈 Аналитик-разработчик претрейна Alice AI LLM
Наша команда занимается аналитикой претрейн-модели Alice AI LLM, которая лежит в основе Алисы, Поиска и многих других продуктов Яндекса. Наша цель — улучшать модель, решая множество прикладных задач, постоянно мониторить качество со всех сторон и не терять ничего важного. Для этого нам нужна система надёжных и разносторонних метрик — такими метриками (бенчмарками) и занимается наша команда. Ищем активных и заинтересованных аналитиков.
Какие задачи вас ждут:
• Создание метрик качества претрейна Наша главная задача — всесторонне оценивать качество претрейн-модели. Перед нами часто возникают новые интересные задачи: как оценить агентские способности модели на этапе претрейна; как замерить, хорошо ли модель будет работать на задачах от разных сервисов Яндекса; хорошо ли наша модель с высоким сodeforces-рейтингом будет писать код для пользователей; как правильно принимать эксперименты на моделях разных размеров.
• Интерпретация результатов экспериментов Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь разобраться, что произошло.
• Анализ точек роста Всё ещё остаются сложные задачи, с которыми наша модель пока не справляется на должном уровне, но мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения.
Мы ждём, что вы: • Работали над метриками в NLP • Уверенно владеете SQL и Python • Умеете анализировать данные, строили эффективные процессы их обработки
Будет плюсом, если вы: • Работали над LLM • Строили агентские системы • Делали крауд-разметки с системой контроля качества
Почему у нас классно: ДМС Яндекса действует с первого месяца работы. Причём получить плановую или неотложную помощь можно и за рубежом — так что можно не бояться путешествовать. Это не все бонусы — полный список тут.
📩 Откликайтесь на вакансию на нашем сайте
