Троечка теперь у всех. Разрыв будет на четвёрке 🤔

Всё чаще вижу, как с нейронками люди получают результат на троечку. Быстро, прикольно, в областях, куда раньше вообще не совались. А довести его хотя бы до четвёрки с плюсом оказывается огромной работой.

Расскажу на своём примере, над которым сижу прямо сейчас.

По большим проектам копится гора контекста, и с каждым пересказом смысл смещается. Один подумал, сказал чуть иначе. Второй услышал третий вариант и передал четвёртым. Третий сел за задачу уже с шестой версией. Отсюда знакомое «я же вам об этом говорил».

Я захотел, чтобы по каждому проекту был единый актуальный контекст.

Первая версия собралась за пару вечеров

Подключаем нейронку к почте, Планфиксу, Телеграму и записям созвонов, просим держать статус проекта и подводить итоги дня и недели. Готовых подходов полно, бери любой и будет тебе счастье.

Так я и сделал, запустил перед отпуском на четырёх пилотных проектах. Две недели она работала сама, а когда я вернулся, реально помогла. Про это я уже писал.

Потом нейронка нашла лазейку

Тогда же я рассказывал, как ограничил статус проекта четырьмя сотнями строк и одновременно попросил не терять важное. Она нашла выход из двух условий сразу: стала писать строки по две тысячи символов. Формально всё соблюдено, а статус пухнет.

Чем толще статус, тем дороже обходился каждый ночной проход. И контекстное окно росло само: пропущенный день следующей ночью разбирается вместе с новым. В какой-то момент пятичасового лимита модели не хватило, один день не обработался. Следующей ночью она взялась за оба разом и легла.

Причём легла молча. Когда разбор падает, статус не обновляется вообще: лучше не написать ничего, чем написать мусор. Наутро статусы стояли по трём проектам из четырёх. Ночной сбор пришлось выключить, с 21 августа они не обновляются.

Вот тут и началась настоящая работа

Дальше полезло то, чего на старте видно не было.

Первое — склейка. Одно и то же событие приходит письмом, потом в чат, потом оседает в задаче и превращается в три штуки вместо одной. У меня так задвоилось обещание, причём в дублях перепутались стороны, кто кому обещал. Какая запись верная, уже не разберёшь.

Второе — что считать важным. Сотрудник и клиент обменялись кодами для входа в кабинет. Для нейронки это настолько же важно, как и решение по преимуществам. Пришлось руками расписать разделы и объяснить по каждому, что туда попадает, а что нет. В раздел про деньги она, например, заносила внутренние цифры клиента вместо статуса расчётов с нами.

Третье — доверие тому, что она пишет. В её источниках не нашлось упоминаний аналитики, и она написала, что аналитики на проекте нет. Хотя аналитика есть. Пришлось требовать у каждой строки ссылку на оригинал, чтобы можно было проверить, откуда это взялось.

Четвёртое и самое неприятное. Я не вижу системных ошибок. Какие грабли повторяются из раза в раз и как их чинили в прошлый раз, из системы не вытащить. А я хотел копить типовые проблемы, чтобы потом брать готовое решение. Сейчас, чтобы такое найти, надо заново перелопачивать все данные.

Ошибки всё равно останутся, с ними надо уметь работать

Даже когда я всё это докручу, часть ошибок никуда не денется.

Нужно, чтобы с данными было легко работать. Чтобы человек быстро прочитал статус и споткнулся о неверную строку. Чтобы по любому факту можно было за секунду дойти до оригинала. Чтобы потом к этим данным легко возвращаться и что-то из них доставать. Это оказалось отдельной задачей на 2-3 часа.

Первую версию я собрал за пару вечеров. Докручиваю же уже несколько недель.

Мне кажется, именно здесь и будет проходить разрыв. Между теми, кто включает голову и доводит результат до четвёрки с плюсом, и теми, кто останавливается на троечке. Нейронки у обоих одни и те же, а результаты будут очень разные.