⏺ AIRI: удаление знаков препинания в запросе снижает точность языковых моделей до 20%
Ученые Института AIRI обнаружили, что знаки препинания и артикли играют ключевую роль в обработке информации языковыми моделями.
В ходе эксперимента они проверили, как языковая модель восстанавливает текст, включая даже такие элементы, как стоп-слова и знаки препинания. Оказалось, что для ИИ они несут основную информацию о контексте. Также была проведена проверка на популярных тестах, где модели, включая ChatGPT, не смогли показать хороших результатов, если из текста убирались «незначительные» элементы.
Код для анализа работы языковых моделей доступен по ссылке.
💬 Подробности в релизе.
@divannyi_it подписаться
