Наша команда оценивает качество модели Alice AI VLM, ищет точки роста, улучшает данные для её обучения. Мы работаем над созданием агентной системы, которая повысит качество ответов Алисы: хотим научить её рассуждать, а также вызывать тулы.

Какие задачи вас ждут:

• Исследование опенсорсных и создание собственных бенчмарков Анализировать, применимы ли бенчмарки для агентных VLM (GTA, ToolVQA, TIR-BENCH) к нашим продуктовым сценариям, и выявлять пробелы в покрытии. Разрабатывать бенчмарки, отражающие реальные пользовательские запросы к Алисе, с фокусом на multi-image-сценариях, цепочках рассуждений и вызовах тулов.

• Декомпозиция проблем и поиск точек роста Детально разбирать ошибки модели на сложных запросах: строить таксономию типов ошибок и измерять вклад каждого класса в общее качество, чтобы приоритизировать направления улучшения.

• Создание пайплайнов генерации данных Разрабатывать масштабируемые пайплайны создания обучающих данных для reasoning- и tool-use-сценариев.

Мы ждём, что вы: • Занимались аналитикой больше года • Уверенно владеете Python и SQL для глубокого анализа данных • Активно применяете генеративные модели в работе и/или повседневной жизни

Почему у нас классно: Мы предоставляем полный набор, который поможет уберечься от тревожности и выгорания: ежегодные медицинские чекапы, йога и психотерапия. Это не все бонусы — полный список тут.

📩 Откликайтесь на вакансию на нашем сайте

#генеративные_технологии #аналитика #SQL #python