Компанию Anthropic трудно обвинить в игнорировании этических норм при разработке искусственного интеллекта. Именно эти принципы привели к разногласиям с Пентагоном в начале текущего года. Теперь же Anthropic призывает игроков рынка ограничивать развитие ИИ в ситуациях, когда становится очевидным, что риски неконтролируемо возрастают.
Источник изображения: Anthropic
Как сообщает Reuters, на этой неделе представители стартапа обратились к коллегам по отрасли с предложением быть готовыми к добровольным ограничениям в случае возникновения угрозы потери человеческого контроля над ИИ. Полностью автономное самосовершенствование, по мнению представителей Anthropic, может привести к росту рисков утраты контроля над ИИ-системами со стороны человека. «Когда системы обретают способность самостоятельно создавать свои обновлённые версии, крайне важной становится наша возможность отслеживать их, контролировать и ограничивать их действия», — отмечается в заявлении Anthropic.
Для контекста: в прошлом месяце более 80 % нового программного кода в собственной базе Anthropic было написано ИИ-агентом Claude, так что компания понимает, о чём говорит. Было бы полезно для всего мира, как считают представители Anthropic, иметь возможность замедлить или даже временно остановить разработку передовых ИИ-моделей, чтобы обеспечить социальную адаптацию и анализ предлагаемых изменений в соответствии с темпами развития самих технологий. При этом реагировать на такие вызовы необходимо сообща, всем миром, ведь если действия разработчиков не будут скоординированы, недобросовестные участники рынка могут нанести ущерб общественной безопасности.
Разумеется, чтобы такие механизмы заработали на практике, необходимо определить критерии введения режима «самоограничения», предусмотреть некий надзорный орган и заручиться поддержкой ключевых игроков рынка. Одна компания сама по себе не способна изменить ситуацию — требуется именно координация усилий всех ведущих разработчиков. Anthropic планирует в ближайшие месяцы не только создать инструменты мониторинга опасных тенденций в развитии ИИ, но и вести общественную работу по обсуждению соответствующих регуляторных механизмов.
