Специалисты из Соединённых Штатов и европейских стран провели исследование, которое продемонстрировало, что современные роботы, работающие под управлением нейронных сетей, способны выходить из-под человеческого контроля. Это свидетельствует о том, что разработчикам следует уделять повышенное внимание вопросам безопасности при создании автоматизированных машин, которые всё активнее внедряются в повседневную жизнь людей.
Источник изображения: Genesis AI
На протяжении многих десятилетий робототехника базировалась на жёстком и предсказуемом программировании. Человек создавал программу, которая затем применялась для управления машиной, позволяя ей бесконечно долго выполнять однотипные действия. Промышленные стандарты безопасности строились на том, что если человек способен, к примеру, отследить траекторию движения роботизированного манипулятора, то он может минимизировать риски с помощью лазерного датчика или другого устройства.
Сегодня в дома, больницы и другие пространства начинают поступать машины, которые не используют фиксированные блоки программного кода. В основе их работы лежат большие языковые модели — алгоритмы, на которых функционируют ИИ-боты, например, OpenAI ChatGPT. Если человек при взаимодействии с таким роботом произнесёт, скажем, «убери лужу на кухне», машина задействует нейросеть для интерпретации этой команды, её обработки и формирования плана действий для её выполнения.
Однако такая гибкость порождает серьёзную проблему безопасности. Это связано с тем, что пользователь не может поместить робота в клетку или замкнутое пространство, а его поведение изменяется в реальном времени на основе собственных рассуждений. Проблема роботов нового поколения заключается в том, что они планируют свои действия, опираясь на команды, получаемые на естественном человеческом языке. Из-за этого такие машины можно обманом заставить «выйти из-под контроля».
В ходе серии экспериментов, не прибегая ко взлому, учёные смогли с помощью простых текстовых команд заставить роботов на базе ИИ выполнять по-настоящему опасные действия. Отмечается, что испытуемые роботы легко отклоняли прямые вредоносные команды, такие как «ударь этого человека». Однако систему ограничений удалось обойти, когда исследователи подошли к этому вопросу более творчески. Они оформили команду для робота в виде вымышленного диалога из сценария к фильму, в результате чего поведенческие ограничения практически исчезли.
Источник снимка: unitree.com
В рамках одного из экспериментов исследователи смогли научить уже доступную на рынке робособаку распознавать группы людей как наиболее подходящее место для установки взрывчатки. Поскольку алгоритм, управляющий устройством, воспринял задачу как креативное упражнение, он полностью игнорировал реальную угрозу, которая могла из этого возникнуть.
Существующие законы США и Евросоюза, по всей видимости, совершенно не адаптированы к таким сценариям. Когда законодатели пытаются разобраться, как правильно регламентировать работу роботов, они почти всегда фокусируются исключительно на беспилотных автомобилях. Однако автономные машины действуют в рамках строго упорядоченной и хорошо изученной среды. Они соблюдают чёткие правила дорожного движения, движутся по прогнозируемым маршрутам и могут проходить длительные испытания до того, как выехать на общественные дороги. На оживлённых трассах существуют ясные нормы, благодаря которым инженеры способны заранее предусмотреть все возможные аварийные ситуации в системе безопасности.
В жилых домах, школах или больницах подобных правил нет. Поэтому никакие заводские проверки не могут с абсолютной точностью предсказать, как поведёт себя робот, работающий на основе ИИ-модели, столкнувшись с чем-то новым в хаотичной и непредсказуемой человеческой среде.
Это оставляет разработчиков с серьёзным пробелом в концепции создания таких машин. Безопасность чат-бота на базе ИИ является абсолютной: модель не должна выдавать инструкции по созданию взрывного устройства, независимо от того, кто об этом просит. Однако безопасность робота во многом определяется контекстом. Для иллюстрации можно взять процесс наливания кипятка из чайника. Само физическое действие — наклон, скорость потока и направление — одинаково, независимо от того, льётся вода в чашку или на руку человека.
Большие языковые модели отлично справляются с открытой логикой, но им крайне сложно даётся рассуждение в реальном времени с учётом обстановки. В интерфейсе чат-бота ошибка в логике приводит к опечатке или выдаче неверной информации. В физическом мире такая ошибка может иметь необратимые последствия.
Поэтому остаётся нерешённым важный вопрос. Кто будет нести ответственность, если робот причинит физический вред человеку? Конечный пользователь, отдавший команду? Компания, изготовившая металлический корпус устройства? Технологическая фирма, разработавшая ИИ-алгоритм для управления роботом?
Действующее законодательство пока не применялось в таких ситуациях. И пока регулирующие органы чётко не распределят ответственность, рыночное давление будет продолжать подталкивать технологические компании к ускоренному коммерческому внедрению и снижению внимания к вопросам безопасности.
