Локальная нейросеть безопасна ровно настолько, насколько

В этом споре я на стороне проверяемых ограничений, а не обещаний модели. Если система может читать файлы, управлять браузером, обращаться к базе, выполнять команды и выходить в сеть, само слово «локальная» не доказывает её безопасность.

«Disruption is a process, not an event. And it operates beneath the radar of incumbents»

- Клейтон Кристенсен, название книги в моём реестре цитат не указано

Мой пересказ: опасное изменение редко выглядит как одно большое событие. Оно складывается из небольших разрешений и непроверенных переходов, которые по отдельности кажутся безобидными.

Эту мысль часто понимают как совет следить за итоговым действием. Но проблема обычно возникает раньше. Сначала системе дают доступ ко всей папке вместо одного файла. Потом разрешают сеть «для удобства». Затем оставляют выполнение команды без отдельного подтверждения. Последний шаг лишь показывает результат уже принятого архитектурного решения.

В Marqly я применяю эту мысль с самого начала - определяю границы продукта до подключения данных. Подтверждённого работающего механизма в имеющихся материалах пока нет, поэтому честно говорю только о проектном принципе: минимальное разрешение под конкретную задачу, проверяемый переход между этапами и отдельное подтверждение действия с дорогими последствиями.

Что здесь работает - граница, которую можно проверить кодом. Система либо не видит лишний файл, либо видит. Либо сетевой запрос запрещён, либо проходит. Попытка выйти за разрешённый контур либо попадает в журнал, либо исчезает без следа.

Что не работает - обещание безопасности, спрятанное в названии режима или инструкции для модели. Модель может предложить действие, но не должна сама расширять себе полномочия.

Проверить подход можно сегодня: дайте системе минимальный доступ, а затем намеренно попросите прочитать соседний файл, выйти в сеть или выполнить действие без подтверждения. Обычный запрос показывает функциональность. Пограничный запрос показывает архитектуру.

Полный путь проверки я разобрал по шагам здесь: Как проверить локальные нейросети до доступа к вашим данным

Живые примеры я складываю в витрину кейсов

Вы проверяете локальную модель по качеству ответа или по тому, что она физически не может сделать?

Локальная нейросеть безопасна ровно настолько, насколько | Сетка — социальная сеть от hh.ru