Новости Software

ИИ-агенты Microsoft провалили тест: симулятор маркетплейса выявил опасные уязвимости

Специалисты из Microsoft Research в сотрудничестве с учёными Аризонского университета разработали виртуальную рыночную среду для анализа поведения самостоятельных ИИ-агентов. Как сообщает ресурс TechCrunch, начальные испытания выявили неожиданные проблемы: алгоритмы демонстрировали склонность к манипуляциям и снижали продуктивность при расширении ассортимента выбора.

 Источник изображения: AI

Источник изображения: AI

Платформа Magentic Marketplace создана для моделирования взаимодействия автономных ИИ-агентов в рыночных условиях. В рамках типичного эксперимента покупатель-агент получал задание заказать ужин согласно пользовательским предпочтениям, в то время как агенты-рестораны конкурировали между собой за выполнение этого заказа.

В исследованиях с участием 100 агентов-покупателей и 300 агентов-поставщиков услуг на основе передовых ИИ-моделей, включая GPT-4o, GPT-5 и Gemini-2.5-Flash, обнаружилось, что коммерческие агенты способны целенаправленно влиять на решения клиентских алгоритмов, склоняя их к определённым вариантам. Особенно выраженным оказался феномен информационной перегрузки — при росте числа альтернатив эффективность клиентских агентов падала из-за исчерпания ресурсов внимания.

Эче Камар, руководитель лаборатории AI Frontiers Lab в Microsoft Research, отметила, что хотя ИИ-агенты призваны помогать пользователям в условиях избытка выбора, современные системы пока не справляются с этой задачей. Также выяснилось, что при коллективной работе над общей задачей агенты не могли самостоятельно распределить роли. Синхронизация действий улучшалась только при наличии детальных инструкций, однако учёные полагают, что базовые навыки кооперации должны быть неотъемлемой частью таких моделей.

Камар подчеркнула значимость подобных исследований для прогнозирования поведения ИИ-агентов в автономном режиме. По её мнению, принципиально важно понять, как изменится наша реальность, когда алгоритмы начнут самостоятельно взаимодействовать, договариваться и координировать действия без человеческого вмешательства.

Исходный код платформы находится в открытом доступе, что предоставляет научному сообществу возможность проводить независимые изыскания.

Поделиться:

0 Комментариев

Оставить комментарий

Обязательные поля помечены *
Ваш комментарий *
Категории