Генеративный ИИ: какие риски существуют сегодня
Нейросети вроде ChatGPT, Claude или GigaChat уже прочно вошли в работу: помогают анализировать таблицы, писать письма, объяснять формулы и делать многое другое.
Но вместе с пользой есть и риски. 1. Утечка данных Главный риск - нарушение конфиденциальности данных. Все, что вы загружаете в нейросети или обсуждаете с ними обрабатывается на внешних, и не только Российских серверах и может быть использовано для обучения ИИ. И если это - персональные данные, реквизиты, наименования - встает вопрос о соблюдении закона о персональных данных, сохранении коммерческой тайны и т.д.
2. Излишнее доверие ИИ ИИ может звучать убедительно, даже если ошибается. Он не знает контекста (если вы ему не дадите) - скидок, сезонности, особенностей рынка, "внутренней кухни" вашего бизнеса. И, если считать его ответы за истину в последней инстанции, можно принять неправильное решение.
3. Prompt-инъекции Это скрытые инструкции, которые могут быть встроены в текст или файл, который вы получаете по почте или скачиваете из интернета и потом загружаете в нейросеть. ИИ их видит - человек нет (без дополнительных "телодвижений").
4. Отравление данных Если обучать собственную модель на «грязных» данных - ошибки закрепятся. Так компании могут сами «испортить» своих внутренних ИИ-ассистентов.
5. Jailbreak-атаки Попытки «уговорить» нейросеть обойти ограничения и выдать то, что она не должна. Скорее актуально для разработчиков и корпоративных систем.
Для нас – важнее всего 2 момента: 🔥Сохранность данных. Всё, что связано с персональными данными, реквизитами, коммерческой тайной и конфиденциальной информацией, не должно покидать корпоративный контур.
🔥 Контроль корректности результатов. Даже гениально звучащий ответ ИИ требует верификации.
ИИ не источник угроз, а новый инструмент.
Просто при работе с ним нужно применять три простые вещи: аккуратность, контроль и критическое мышление. Ну и свою экспертизу, конечно.
