Убиваю рутину AI-агентами | Growth & Automation (n8n, Python, LLM)
· 24.01 · ред.
Вопрос
Какие метрики вы используете, чтобы понять, что AI-автоматизация реально экономит время или деньги?
напишите коммент
15 комментов
· 30.01
Хронограф. Очень удобная система у них, для отслеживания показателей.
Смотришь на время, на саой тайм-план и…днлаешь выводы.
Но есть нюанс. ИИ увеличивают когнитивную нагрузку. Не всегда и не везде это нужно.
0
ответить
коммент удалён
· 25.01
Про метрики изучите DeepEval Ragas, для каждой автматизации будут свои метрики и свои пороги того что она реально работает.
Для классификации Precision Recall f1 + latency/cost
Для рага faithfulness Answer relevance и те что работаю с контекстом чанков
Для поддержки, будут предвзятость или токсичность, можно подключать метрики анализа на уровень удержания клиента или полезность
0
ответить
коммент удалён
· 25.01
хороший ответ, Рамиль
0
ответить
ответ удалён
· 24.01
Тут вопрос другой "какие метрики докажут, что AI-автоматизация реально экономит время и деньги"
0
ответить
коммент удалён
· 25.01
самый простой кейс: количество часов потраченных саппортом на стандартные вопросы * часовую ставку менеджера поддержки - расходы на AI-сервис
если ROI положительный, то экономия доказана
0
ответить
ответ удалён
· 24.01
Метрики у меня нет, но есть понимание что на исправление и объяснение кода который нагенерил AI я потратил больше времени чем написать самому.
Это не со всеми задачами так тут 50/50 у меня, с интерфейсом он худо бедно но справляется, как что-то экзатическое в работе с кучей ограничений разных версий системы и их несовместимостей, либо сторонняя библиотека. Либо баги плодит, либо реализует как уже даже в документации не написано(точнее написано, но в разделе миграции)
0
ответить
коммент удалён
· 25.01
опишите пожалуйста, как конкретно вы используете ИИ для написания кода?
0
ответить
ответ удалён
· 25.01
Промты, интеграция с IDE. Не пытаюсь написать всё приложение, хлотя пробовал.
Но в целом максимум шаблонный код или интерфейс.
0
ответить
ответ удалён
· 25.01
Если есть что посоветовать в их использовании будет интересно узнать.
0
ответить
ответ удалён
· 25.01
приятель написал очень хороший материал habr.com/ru/articles/987382/
0
ответить
ответ удалён
· 25.01
Спасибо, почитаю
0
ответить
ответ удалён
· 25.01
И все же опять все ИИ хорошо пишет код когда есть документация, хотя один фиг глучило.
А если дока только локальная или только через авторизацию, то пока не получилось нормально заставить что либо сделать.
Посмотрите документацию для AutoCAD. https://aps.autodesk.com/developer/overview/objectarx-autocad-sdk
ИИ просто её даже не поняли и творили такую дичь что страшно представить, хотя ручками не так сложно, если понять логику всего что там есть.
0
ответить
ответ удалён
· 25.01
есть mcp серверы для актуализации редких библиотек, например context7
конкретно про autocad хз, никогда с ним не работал. однако ИИ кратно лучше в 3Д-моделировании, когда имеет доступ к этим библиотекам через mcp context7, нежеле чем если будет работать на исходных знаниях
0
ответить
ответ удалён
· 25.01
Попробую, но тут не моделирование им, а согдание инструментов для инженеров, которые его будут использовать. Банально, чтобы было окошко(утрирую это pallete) с заданием параметров на основе которых создается какая-то деталь, например шестерня. Там просто долго ручками писать математику и всеравно ручками потом допиливать то что сгенерится.
0
ответить
ответ удалён
· 31.01
Сложный вопрос. Я вот не успел уточнить у руководства, я думаю это собственно и есть ускорерие процесса разработки, повышение частоты релизов, в общем уменьшение времени вывода на рынок и главное сокращение издержек. Скажу что ситуация даже в российской сфере IT которая не Гостех и не около гос. история - тяжелая. В моей компании сокращения. Меня как техписателя и аналитика хотят заменить ИИ, но когда опытного ПМ хотят заменить ИИ ботом, это уже караул.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён