Компания OpenAI анонсировала новую опцию для своего ИИ-ассистента ChatGPT — изолированный режим (Lockdown Mode), который усиливает защиту от атак с использованием промпт-инъекций (Prompt Injection). В таких атаках на веб-страницах или в других источниках контента скрываются вредоносные команды, которые обманным путём вынуждают нейросеть совершать нежелательные действия.
Источник изображения: Mariia Shalabaieva/unsplash.com
Изолированный режим снижает вероятность утечки информации при атаках с промпт-инъекциями за счёт ограничения исходящих сетевых запросов — часть функций отключается или работает с ограничениями. В этом режиме, в частности, отключается просмотр веб-страниц в реальном времени (доступен только кешированный контент), загрузка и отображение изображений из интернета, углублённый поиск, а также режим агента.
OpenAI предупреждает: хотя изолированный режим значительно уменьшает риск утечки данных при атаках с промпт-инъекциями в ChatGPT и других продуктах компании, он не даёт стопроцентной гарантии безопасности. Угроза может сохраняться из-за подключённых приложений. Кроме того, промпт-инъекции могут присутствовать в кешированном веб-контенте или загруженных файлах, продолжая влиять на поведение модели и точность её ответов.
OpenAI также отметила, что изолированный режим подходит не всем пользователям: «Эта функция создана для людей и организаций, которые имеют дело с чувствительными данными и нуждаются в более надёжной защите от рисков, связанных с внедрением запросов».
На данный момент изолированный режим доступен для учётных записей ChatGPT Business с самостоятельным управлением, а также для соответствующих личных аккаунтов, включая Free, Go, Plus и Pro.
