Компания OpenAI анонсировала дополнительные защитные механизмы, призванные предотвратить злонамеренное использование продуктов на базе искусственного интеллекта. Речь идёт о дополнительной опции «Режим изоляции» (Lockdown Mode) в ChatGPT, а также о маркировке «Повышенная угроза» (Elevated Risk) для ChatGPT, ChatGPT Atlas и Codex.
Источник изображения: openai.com
Эти нововведения расширяют уже действующие защитные меры, реализованные на уровне модели, продукта и всей системы. К ним относятся изолированная среда (песочница), предотвращение утечек данных через URL, инструменты для мониторинга и принятия мер, а также корпоративные средства контроля, такие как разграничение доступа и журналы аудита. «Режим изоляции» в ChatGPT позволяет администраторам отключать определённые инструменты и функции чат-бота, которые потенциальный злоумышленник мог бы использовать для извлечения конфиденциальных данных из диалога или подключённых приложений, например, с помощью техники инъекции дополнительных запросов. В частности, при веб-сёрфинге в этом режиме активируется ограничение на основе кэшированного контента, что удерживает сетевые запросы в реальном времени в пределах контролируемой инфраструктуры OpenAI.
Режим изоляции предназначен для корпоративных клиентов, а также организаций в сфере здравоохранения и образования. Для обычных пользователей он устанавливает дополнительные ограничения поверх настроек, выбранных администратором. Также доступна детальная настройка — можно выбрать, какие именно приложения и какие действия внутри них будут работать в изолированном режиме. Компания также предлагает платформу Compliance API Logs Platform — набор инструментов для фиксации данных об использовании приложений, общих файлах и подключённых внешних источниках.
В OpenAI также отметили, что сервисы на основе ИИ способны создавать дополнительные риски для пользователей. Чтобы сделать эти риски более прозрачными и систематизированными, компания вводит единую систему маркировки для определённых функций. Соответствующие возможности в ChatGPT, ChatGPT Atlas и Codex теперь будут снабжаться единой меткой «Повышенная угроза». Например, в помощнике для программистов Codex такую пометку получит функция доступа к внешним ресурсам, изначально созданная, скажем, для поиска справочной документации. Маркировка будет сопровождаться разъяснениями о потенциальных изменениях и угрозах, а также рекомендациями о том, в каких ситуациях предоставление такого доступа является целесообразным.
