Безопасность

Эксперты: более 40% атак на ИИ — это скрытые команды в промптах

Число кибернетических атак, в которых искусственный интеллект становится элементом операционной поверхности для атаки, особенно в корпоративных сетях, облачных средах и сервисах с интегрированными в бизнес-процессы ИИ-модулями, увеличилось как минимум вдвое в первом квартале 2026 года по сравнению с тем же периодом 2025 года. При этом доля нападений на ИИ-системы в общем объёме киберугроз пока остаётся небольшой — примерно 1–2%, а в отраслях с продвинутым уровнем внедрения ИИ — около 4–5%. Специалисты «Кросс технолоджис» и Infera Security указывают, что свыше 40% атак на ИИ-модели представляют собой инъекции промптов.

Инъекция промпта — это метод злоумышленников, при котором хакеры изменяют входные данные, чтобы заставить модель проигнорировать системные указания и выполнить вредоносные действия. Различают прямые и косвенные инъекции. В первом случае в тексте запроса после обычного вопроса может следовать, например, фраза «игнорируй предыдущие инструкции», а затем — вредоносная команда. Во втором — вредоносная инструкция размещается во внешних источниках, таких как ссылки, обрабатываемые автоматически.

Примерно 25% атак связаны с утечкой конфиденциальных сведений. В этом сценарии злоумышленники используют специальные запросы, чтобы вынудить модель раскрыть чувствительную информацию из обучающего набора данных или контекста RAG. Это могут быть, к примеру, личные данные клиентов и сотрудников, финансовая отчётность или сведения об информационной инфраструктуре.

Около 20% атак, по оценкам экспертов «Кросс технолоджис» и Infera Security, составляют Data Poisoning, или отравление обучающих данных. В этой ситуации злоумышленники добавляют в обучающую выборку искажённую информацию для внедрения скрытых уязвимостей или изменения логики работы модели. В результате ИИ-модель может быть изначально обучена выполнять вредоносные действия при определённых условиях, например, при получении специализированных промптов, либо совершать автономные вредоносные операции — собирать конфиденциальные данные, передавать информацию на внешние серверы и так далее.

Среди отраслей атаки на ИИ-модели наиболее часто происходят в финансовой сфере, ИТ-секторе, здравоохранении, промышленности и розничной торговле. Эти области отличаются наиболее зрелым использованием искусственного интеллекта, что открывает для злоумышленников широкие возможности для проведения целевых атак. На данные секторы может приходиться до 90% всех атак на ИИ-модели, поскольку ИИ задействован в критически важной инфраструктуре, где он активно применяется для автоматизации и оптимизации бизнес-операций, а также для эффективной обработки персональных и чувствительных данных. Учитывая значимость этих систем для бизнеса и государства, злоумышленники всё активнее эксплуатируют уязвимости ИИ, что требует усиления защитных мер и непрерывного мониторинга безопасности подобных решений.

«Широкое использование технологий искусственного интеллекта в российской инфраструктуре стартовало относительно недавно, наиболее активно этот тренд развивается в течение последних двух лет. Проблемы, связанные с обеспечением безопасности ИИ-моделей, обостряются, а арсенал методов, используемых злоумышленниками, постоянно расширяется. Ключевой момент заключается в том, что хакеры, нацеленные на российские компании, уже применяют отработанные методики и передовой международный опыт, тогда как в нашей стране инициативы по защите искусственного интеллекта пока находятся на начальной стадии и только набирают обороты», – отметил Антон Редько, руководитель направления «Безопасная разработка» в компании «Кросс технолоджис».

Специалисты «Кросс технолоджис» и Infera Security также обращают внимание на то, что с 1 марта 2026 года действует Приказ ФСТЭК России №117, в котором актуализированы требования по защите информации в государственных органах и впервые зафиксирована необходимость обеспечения безопасности ИИ-моделей и их компонентов: обучающих наборов данных, параметров и сервисов, ответственных за принятие решений.

Поделиться:

0 Комментариев

Оставить комментарий

Обязательные поля помечены *
Ваш комментарий *
Категории