Я не стала добавлять LLM в продукт

Я сделала AI-процесс разработки более управляемым

Первый вопрос, который я себе задала на старте LanaStudyBot🎓: добавлять LLM или нет?

Соблазн был. LLM сейчас везде. Но я посмотрела на задачу и поняла: в профориентации подростков важнее прозрачность, повторяемость и тестируемость, чем модность. Поэтому scoring остался детерминированным.

А вот в процесс разработки AI я добавила. И это оказалось самым интересным решением.

Что уже работает в продукте: · 16 вопросов внутри Telegram · детерминированный scoring без LLM в пользовательской логике · 4 визуальные карточки результата · переход к живому специалисту · продуктовая аналитика и first-touch attribution · 24/7 на Linux VPS

Но интересное началось, когда пришли реальные пользователи. Первое продуктовое решение. В первой версии расширенный результат требовал обязательной подписки на канал. После тестирования я изменила UX: сначала пользователь получает весь основной результат, только потом бонус за подписку. Небольшая техническая правка. Большое продуктовое решение.

Второе решение про процесс разработки. Я задала себе вопрос: как использовать coding agents так, чтобы они ускоряли delivery, но не превращали разработку в «AI что-то сделал, вроде работает, принимаем»?

Так появился первый controlled agentic delivery experiment. Я разделила процесс на роли:

Product Owner / PM → Analyst / Planner → Implementor → Verifier → Reviewer → Product Owner acceptance

Implementor создал characterization tests, не меняя сам scoring. Отдельный Verifier независимо проверил результаты. 16 tests passed. Дальше самое интересное. Reviewer посмотрел не на «зелёные ли тесты», а на качество покрытия. И нашёл реальный пробел: один tie-break сценарий формально проходил тесты, но тест не доказывал, что нужное правило действительно влияет на ranking.

Вот это для меня и есть суть agentic delivery. Не количество агентов. Не «давайте добавим LLM во всё». А разделение ответственности: кто формулирует задачу, кто реализует, кто независимо проверяет, кто ищет слабые места, кто принимает результат.

Именно этот проект показывает, что мне интересно профессионально: соединять product thinking, delivery, implementation, аналитику, AI-assisted development и человеческое принятие решений.

GitHub case study: https://github.com/ckroco/lanastudybot-case-study

Рабочий бот: https://t.me/LanaStudyMVP_bot?start=direct

Сейчас открыта к новым ролям: IT Project Management, Delivery, Implementation, Technical PM / Product-oriented PM. Особенно интересны команды, где AI уже стал частью реального delivery, а не только презентаций и пилотов.

Если вам нужен человек, который проходит путь от «что именно мы строим?» до работающего решения, проверки результата и следующей итерации, буду рада обсудить задачи вашей команды.

#ProjectManagement #DeliveryManagement #TechnicalPM #ProductOwner #ProductManagement #AI #AgenticAI

Я не стала добавлять LLM в продукт | Сетка — социальная сеть от hh.ru