Коллапс распределения: деградация ИИ в прямом эфире

Вот о чем думаю в последнее время: генеративные модели на наших глазах деградируют эпистемически.

Когда говорят о рисках применения ИИ, дискуссия обычно ведется вокруг галлюцинаций — убедительных, но ложных ответов. Но существует куда более глубокая угроза: ситуация, когда ИИ обучается на собственном «слопе», теряя связь с реальностью в самой структуре своего знания. Иначе говоря, модели, рекурсивно обученные на синтетических данных, постепенно деградируют, пока не начнут выдавать бессмыслицу.

Так что опаснее? Галлюцинации и фактические ошибки — это следствие самой природы LLM. ИИ оперирует вероятностью следования одного токена за другим — и это фундаментальное ограничение архитектуры. Ошибки вывода могут быть фактическими и логическими, но они локальны и диагностируемы. Или, я бы сказала, пока не фатальны — беда, но не катастрофа.

А вот катастрофа... Если модель обучается рекурсивно на синтезированных данных, она начинает терять дисперсию и смещаться в сторону упрощенных, повторяющихся паттернов. Иными словами, дисперсия обучающего распределения схлопывается почти наверное. С 2023 написано немало любопытных работ, и вот что я из них вынесла.

Исследователи выделяют три стадии деградации. Первая: модель точна. Вторая: фактические ошибки множатся, но сохраняется беглость речи — модель уверенно выдает правдоподобную чушь. Третья: полный распад, бессвязность.

Самое тревожное — вторая стадия. Метрики ее не ловят, пользователь продолжает доверять. Что важно: простое смешивание с реальными данными не лечит коллапс, если доля «синтетики» не стремится к нулю.

Так что ошибки мы чиним, а модельный коллапс — это мета-проблема. Ошибки накапливаются, модели ломаются. По прогнозам из тех же исследований (ссылки отдам по запросу или найдете сами, с помощью ИИ, хаха) к 2030 году большая часть новых данных в интернете будет синтетической. Каждый следующий ИИ будет учиться на данных предыдущих.

Заметили, что новые модели стали более гладкими и менее оригинальными? Возможно, мы уже наблюдаем коллапс.