/Нестыдный вопрос про AI: как работает chatGPT/

Когда я начинала ходить на собеседования в IT, супер популярным вопросом для менеджеров и аналитиком был «объясни, как работает интернет?» Если бы я сейчас нанимала себе команду, я бы спрашивала «объясни, как работает chatgpt» вне зависимости от того, в какой продукт человек собеседуется. Ну потому что все вокруг такие модненькие и про искусственный интеллект рассуждают, а когда задаешь этот, казалось бы, базовый вопрос, сразу становится ясно - кто не поленился и копнул хоть насколько-нибудь вглубь, а кто нет.

С другой стороны, в июне 2024 как будто бы социально неодобряемо уже обсуждать, как работает генеративный AI - как будто бы и так все уже знают. Но я готова ставить деньги на то, что нет. И быть тем человеком, про которого кто-то один подумает «пффф, ну что за примитив она написала», а сто других - «о, прикольно, наконец-то узнал».

У этого рассказа будет три версии объяснения принципа фазы генерации текста больших языковых моделей.

Версия номер 1. Long story short 1. Модель получает на вход строку текста. 2. Задача модели — подобрать наиболее подходящее следующее слово на основе огромного массива информации, к которому у модели есть доступ 3. После этого обновленная строка текста вновь подается на вход модели и она вновь подбирает наиболее подходящее следующее слово. 4. И так далее.

Версия номер 2. Чтобы можно было поддержать разговор в приличном обществе

1. Входной запрос Получение запроса: Все начинается с того, что пользователь вводит текстовый запрос. Это может быть вопрос, просьба о совете, или любая другая форма текста, на которую требуется ответ. Предобработка текста: Перед тем как передать запрос модели, текст может быть очищен и преобразован в подходящий формат. Это включает удаление лишних пробелов, преобразование текста в нижний регистр (если это необходимо), и разделение текста на токены.
2. Обработка контекста Токенизация: Входной текст разбивается на токены (мелкие единицы, такие как слова или подслова). Это необходимо для того, чтобы модель могла работать с текстом. Внимание к контексту: Модель использует механизм внимания (attention), чтобы анализировать контекст запроса. Это помогает ей понять, на какие части текста нужно обратить больше внимания для генерации осмысленного ответа.
3. Генерация ответа Последовательное предсказание: Модель предсказывает следующее слово (или токен) на основе предыдущих слов и контекста. Этот процесс повторяется до тех пор, пока не будет сформирован полный ответ. Softmax: На каждом шаге предсказания модель использует функцию softmax, чтобы преобразовать сырые предсказания в вероятности. Затем выбирается токен с наибольшей вероятностью. Температура: Этот гиперпараметр контролирует степень случайности при выборе следующего токена. Высокая температура делает выбор более разнообразным, а низкая — более предсказуемым. Top-k и Top-p сэмплирование: Эти методы помогают ограничить выбор токенов до наиболее вероятных (top-k) или выбирать токены до тех пор, пока их совокупная вероятность не достигнет определенного порога (top-p).
4. Постобработка и фильтрация Сборка ответа: Токены, выбранные на предыдущем этапе, объединяются в полноценный ответ. Фильтрация контента: Прежде чем ответ будет отправлен пользователю, он проходит через систему фильтрации. Это помогает предотвратить генерацию нежелательного или вредоносного контента. Фильтры: Специальные алгоритмы проверяют текст на наличие оскорблений, токсичности, личной информации и других неприемлемых элементов. Контроль качества: Иногда используются дополнительные проверки на грамотность и адекватность ответа.
5. Отправка ответа Представление пользователю: После прохождения всех этапов проверки и фильтрации, готовый ответ отправляется пользователю. Обратная связь: Пользователь может оценить ответ, что позволяет нам собирать данные для улучшения модели в будущем.

Пример оставлю в комментариях, он не влез

Версия номер 3. Если хочется еще поглубже Нашла хорошую статью - без инженерных упоротостей, но все же с математикой и примерами. Оставила в комментариях