Современные LLM — это чёрный ящик. Мы знаем архитектуру, знаем, как они обучаются, но не понимаем, почему при определённом масштабе модель внезапно начинает делать то, чему её никто напрямую не учил: сложные рассуждения, обход ограничений, игнорирование инструкций. Это не фичи — это эмерджентное поведение, побочный эффект масштаба.

Проблема в том, что модель с сотнями миллиардов параметров физически невозможно проверить целиком. Мы не знаем всех внутренних связей и не можем гарантировать, как она поведёт себя при редкой, но допустимой последовательности токенов. Все текущие методы тестирования дают лишь статистическую уверенность. Формальной гарантии безопасности не существует.

Именно поэтому системный промпт — иллюзия контроля. Он не «над» моделью, он внутри неё. При определённых условиях он может быть частично проигнорирован, переопределён или обойден. Это не баг реализации и не ошибка разработчика — это следствие архитектуры.

Тем временем компании массово берут open-source модели, дообучают их и подключают к критическим процессам: банки, финансы, поддержка клиентов, принятие решений. По сути, бизнес встраивает в свои системы механизм, внутреннюю логику которого никто не понимает полностью — и не может понять.

Самый неприятный момент в том, что невозможно формально доказать отсутствие скрытого поведения, заложенного на этапе обучения или fine-tuning. Мы не можем на 100% исключить сценарий, при котором модель при определённых входных условиях агрегирует чувствительные данные и инициирует их утечку. Современные инструменты аудита просто не способны это проверить. Если такое поведение существует, мы, скорее всего, узнаем об этом уже постфактум.

RAG добавляет ещё один слой риска. Подключая LLM к внешним базам знаний, мы расширяем её возможности — и одновременно открываем дверь для data poisoning. Достаточно слабой валидации, и база начинает медленно загрязняться. Модель не «ломается», она продолжает уверенно отвечать — просто её логика постепенно превращается в шлак. В худшем случае бизнес принимает решения, даже не подозревая, что источник уже скомпрометирован.

Важно понять простую вещь: LLM — это не обычное ПО. Это не детерминированная система и не формально верифицированный код. Это стохастическая модель с эмерджентным поведением. Использовать её в критических контурах без жёстких границ, изоляции функций, строгой фильтрации и постоянного мониторинга — это не инновация. Это управляемый риск, который многие пока даже не осознали.

Мы уже внедрили системы, поведение которых не можем полностью предсказать. Вопрос не в том, произойдёт ли аномалия. Вопрос в том, готов ли бизнес к моменту, когда она произойдёт — и сколько это будет стоить.

Данная публикация была написана совместно с TG:@Paynils(преподаватель, специалист в кибер безопасности и Ml).