Сижу такой, значит, разгребаю датасет для обучения бота. И тут меня осеняет - это же точь-в-точь как разбирать кладовку после переезда прабабушки.

Вот смотрите. Открываешь здоровенную папку с диалогами операторов, а там... О, ебать! Прям как в той кладовке: тут тебе и старые чеки от покупок, и какие-то непонятные записки, и фотки товаров в полной хуете, и служебные переписки операторов типа "Вась, я на обед, прикрой".

И вот ты сидишь и охуеваешь - как из этого говна собрать нормальный датасет для обучения?

Показываю пример из жизни. Вчера работал с базой диалогов одного крупного интернет-магазина. Беру наугад диалог:

Клиент: Здравствуйте! Хочу уточнить по заказу! Оператор: Добрый день! Номер заказа подскажите? Клиент: 45674 Оператор: Секунду Оператор: БЛЯТЬ МАРИН ТУТ ОПЯТЬ ЭТОТ ХУИЛА С ВОЗВРАТОМ Клиент: ??? Оператор: Извините, это не вам. По вашему заказу доставка завтра с 10 до 18.

Нахуя нам такой диалог в обучающей выборке? Правильно - нахуй не нужон. Бот с таких примеров только научится материться в чатах и палить внутреннюю кухню.

Или вот еще перл:

Клиент: Когда доставка? Оператор: Здравствуйте! Уточните номер заказа Клиент: Я вам фото скинул Оператор: Простите, но я не вижу фото Клиент: Да вот же оно!!! Слепой что-ли??? Оператор: Извините, в нашей системе нет вашего фото Клиент: ИДИОТЫ!!! отправил фото в вотсап Оператор: Сэр, это чат на сайте, а не вотсап

Это, конечно, охуенно смешно, но для обучения бота - полная хуйня. Нам нужны нормальные, рабочие диалоги, где оператор грамотно и по делу отвечает на вопросы клиента.

И знаете что самое интересное? Из условной тысячи диалогов только процентов 10-15 реально годные для обучения. Остальное - мусор, шлак и непотребство.

Поэтому когда вам говорят "возьмите историю переписок и обучите на них бота" - знайте, что это как минимум месяц работы только на то, чтобы отфильтровать весь этот трэш и собрать нормальную базу знаний.

А потом еще придется все это размечать, структурировать, проверять... Но это уже совсем другая история, которую я расскажу в следующий раз.