ИИ-тьютор без жёсткого PM — зря потраченные деньги

Тебе нужен не «стратег по цифровой трансформации». Тебе нужен мужик, который закроет дыру в бабле. Прямо сейчас ты тратишь кучу денег на генерацию контента, а студенты плюются на тупость твоего чат-бота. Этот PM должен: — снизить стоимость одного сгенерированного урока на 40% (считаем вместе с электричеством и зарплатой вычищателей); — поднять удержание — чтобы после подсказки ученик не бежал в Гугл, а щёлкал задачи дальше (NPS полезности с 45 до 65); — и главное — не допустить скандала, когда нейросеть посоветует десятикласснику забить на ЕГЭ. Это не этика, это риски потери лицензии.

Он должен мыслить не «фичами», а цифрами. Четыре KPI, которые он обязан знать как «Отче наш»:

1. Себестоимость юнита контента (доллар за задачу). 2. Прирост правильных ответов относительно голой модели — без этого ИИ не нужен. 3. Процент галлюцинаций, отсечённых до выдачи — меньше 2%, иначе суды. 4. Скорость выкатки новой фичи — от идеи до теста на 10% не дольше двух недель.

Теперь вопросы, на которых сыплются позёры.

Первый. «Расскажи случай, когда твоя модель несла чушь на проде. Как ты это поймал до релиза?» Нормальный ответ: назовёт конкретный триггер — долю повторов, дрейф фичей, ручную выборку перед выкатом. Лоховской ответ: «Мы смотрели на loss», «Юзеры почти не жалуются». Вычёркивай сразу.

Второй. «Дата-сайентист хочет воткнуть GPT-4 вместо BERT. Качество +2%, цена выросла втрое. Что делаешь?» Нормальный ответ: потребует LTV студента, частоту вызовов, предложит гибрид — тяжёлую модель только для сложных запросов. Лоховской ответ: «Качество превыше всего», «Потом сэкономим». Закрывай ноутбук.

Третий. «Как проверишь, что бот не оскорбит ребёнка и не даст опасный совет?» Нормальный ответ: red-teaming, датасеты токсичности, человек в цикле для спорных кейсов. Лоховской ответ: «Промпт напишем добрый», «Этика — фигня». Гони в шею.

Тестовое. Дай ему сырые логи диалогов и бюджет. Скажи: «Спроектируй эксперимент — какие метрики, как разделишь группы, как посчитаешь экономику и риски». Не спрашивай код — спрашивай логику. Если начинает с «давайте сделаем MVP» — это не PM, это мечтатель.

И красные флаги, которые бьют в глаз:

1. Говорит «мы» про любые успехи. Ни одного «я решил», «я отказался». Ты нанимаешь менеджера, а не статиста. 2. Считает ИИ волшебной таблеткой — «нейросеть сама разберётся». Это инфантил. 3. Не помнит цифр — ни стоимости вызова, ни точности, ни ROI. Если оперирует «много» — шли лесом.

Запомни: ты не ищешь гения. Ты ищешь циничного прагматика, который всучит тебе работающий пайплайн, а не презентацию на 50 слайдов.

ИИ-тьютор без жёсткого PM — зря потраченные деньги | Сетка — социальная сеть от hh.ru