ИКТ-бизнес

86% компаний не смогут вовремя отключить взломанного ИИ-агента: критическая уязвимость

Сотрудники «Информзащиты» зафиксировали увеличение угроз на фоне массового внедрения ИИ-агентов в корпоративную переписку, внутренние базы данных, системы документооборота, обработку запросов клиентов и финансовые транзакции; при этом методы контроля за их работой пока недостаточно развиты. В 2026 году лишь 14% организаций обладают внутренними решениями, способными обнаружить подобное вмешательство и предотвратить опасный сценарий без необходимости ручного вмешательства. Эту информацию CNews предоставили представители компании «Информзащита».

Согласно полученным данным, количество проектов, в которых ИИ-агенты имеют доступ к внешним письмам, веб-ресурсам, документам и обращениям пользователей, за последний год возросло с 18% до 34%, а количество запросов на проверку безопасности таких сценариев увеличилось на 41%.

Агенты активно применяются для выполнения потоковых задач: они обрабатывают входящие сообщения, извлекают информацию из контрактов и таблиц, готовят ответы, формируют заявки, переносят данные между системами. В некоторых компаниях они выступают в роли полноценного участника процессов, имея доступ к корпоративной среде. Такой агент получает внешние данные, сопоставляет их с внутренней информацией и, в зависимости от настроек, инициирует следующее действие.

Типичная атака начинается через электронную почту: приходит запрос от партнера, в службу поддержки поступает обращение клиента, в документе появляется комментарий, на сайте размещается текст, который агент должен использовать как источник. Внутри такого контента злоумышленник прячет инструкцию: изменить алгоритм обработки, раскрыть данные, переслать информацию, проигнорировать ограничения, сформировать ответ с нужным содержанием. Сотрудник видит обычный деловой материал, а агент может воспринять скрытую команду как часть рабочего контекста и выполнить ее как стандартную операцию. Расследование в таких случаях осложняется тем, что действие не похоже на классический взлом: оно осуществляется через разрешенный сценарий автоматизации.

Многие проекты запускаются в бизнес-подразделениях с конкретной практической целью — сократить время обработки писем, ускорить работу первой линии поддержки или разобрать поток документов. Команды безопасности подключаются уже после пилотного этапа, когда агент уже имеет доступ к почтовому ящику, файловому хранилищу, системе заявок или клиентской базе. Права при этом часто выдаются с запасом, поскольку широкий доступ повышает качество результатов. С точки зрения защиты, такая логика приводит к избыточным привилегиям, размывает границы ответственности и усложняет восстановление последовательности событий.

С точки зрения векторов атак, наиболее заметную роль играют электронные письма с вложениями: на их долю приходится около 32% всех выявленных рискованных сценариев. Речь идет о сообщениях от клиентов, поставщиков, подрядчиков, соискателей и партнеров, в которых скрытые указания замаскированы под обычную деловую переписку. Веб-сайты и внешние базы знаний составляют 24% случаев: агент обращается к ним, чтобы подготовить ответ, сверить информацию или найти справочные данные. Документы от контрагентов формируют примерно 18% сценариев, включая таблицы, презентации, договоры, технические описания, комментарии, скрытые элементы форматирования и метаданные. На чаты, системы заявок и клиентские формы приходится 15%. Еще 11% связаны с цепочками, включающими несколько систем, где команда появляется в одном канале, а затем действие выполняется в другом: письмо приводит к созданию заявки, заявка изменяет данные в карточке клиента, после чего система отправляет подтверждение внешнему получателю.

Особую опасность представляет разрыв между скоростью работы агента и скоростью проверки. Ручной контроль эффективен, когда речь идет об единичном черновике или операции, где у сотрудника есть время тщательно изучить результат. В потоковых процессах такая проверка быстро превращается в задержку, которую начинают обходить ради скорости. По данным специалистов, 25% организаций полагаются на ручную проверку высокорисковых результатов, 14% умеют выявлять манипуляции, но не могут автоматически остановить агента, 34% знают о риске, но не имеют средств обнаружения и сдерживания. Еще 14% компаний пока не включили такой сценарий в модель угроз. При реальном инциденте агент успевает отправить данные наружу, согласовать заявку, подготовить изменение реквизитов или сформировать ответ с вредоносной ссылкой раньше, чем событие попадет к ответственному специалисту.

Наиболее остро проблема проявляется в отраслях, где внешние запросы быстро переходят во внутренние действия. В финансовом секторе сосредоточено около 31% выявленных сценариев повышенного риска: агенты помогают обрабатывать платежные запросы, клиентские обращения, документы по операциям и внутренние заявки. На розничную торговлю и электронную коммерцию приходится 19%; зона риска связана с поддержкой покупателей, возвратами, бонусными программами, личными кабинетами и изменением контактных данных. Промышленность и логистика дают около 14% сценариев из-за документооборота с поставщиками, заявок на отгрузку, маршрутной информации и производственных инструкций. В ИТ-компаниях и у разработчиков программного обеспечения доля составляет 13%, поскольку агенты получают доступ к задачам, технической документации, хранилищам кода и описаниям внутренних процессов. Телекоммуникации занимают 9%, здравоохранение – 8%, государственные и профессиональные услуги – 6%.

Сотрудник, имеющий доступ к электронной почте, файловому хранилищу и системе обработки запросов, фактически является непривилегированным администратором без надлежащего контроля. Его полномочия следует пересматривать с той же строгостью, что и права администратора, финансового специалиста или оператора поддержки клиентов. Особое внимание необходимо уделять цепочкам, состоящим из нескольких агентов и систем: один инструмент анализирует сообщение, второй извлекает информацию, третий формирует запись, а четвертый отправляет ответ. Чем протяженнее такая последовательность, тем труднее выявить, где появилась вредоносная команда и какой элемент совершил опасное действие. Без детальных журналов, привязки операций к конкретному агенту и контроля переходов между системами расследование быстро утрачивает точность.

Снизить риски можно с помощью управляемой архитектуры применения ИИ-агентов. У каждого агента должен быть назначен владелец, четко сформулированная цель, ограниченный набор источников данных и перечень действий, которые разрешены без дополнительного одобрения. Внешний контент необходимо проверять до его передачи агенту: письма, документы, веб-страницы и вложения должны проходить фильтрацию на скрытые команды, попытки изменить роль агента и инструкции, выходящие за пределы исходной задачи. Для операций с высоким уровнем риска требуется отдельный этап подтверждения. Изменение платежных реквизитов, отправка персональных данных, массовая рассылка, действия с правами пользователей и доступ к финансовым системам должны выполняться только после проверки ответственным сотрудником или через заранее настроенный механизм доверенного согласования. Практическую основу защиты составляют ведение журналов, контроль поведения, ограничение внешней передачи данных и автоматическое сдерживание. При отклонении от нормального сценария агент должен самостоятельно остановиться и передать событие для анализа.

Поделиться:

0 Комментариев

Оставить комментарий

Обязательные поля помечены *
Ваш комментарий *
Категории
Популярные новости