Глава Cloudflare Мэтью Принс (Matthew Prince) утверждает, что Google злоупотребляет своим лидирующим положением в поисковой сфере, чтобы получить неправомерное преимущество в обучении систем искусственного интеллекта. Технологический гигант имеет доступ к значительно большему объёму информации по сравнению с соперниками и, по сути, вынуждает владельцев веб-ресурсов предоставлять контент, угрожая полным исключением из поисковых результатов.
Источник изображения: Solen Feyissa/Unsplash
Компания Cloudflare, предоставляющая облачные решения для защиты сайтов, разместила в своём блоге статью, где указала на существенный перекос в сфере ИИ, вызванный монополией Google на поиск. Согласно оценкам Cloudflare, Google может обрабатывать в 3,2 раза больше веб-данных, чем OpenAI, в 4,8 раза больше, чем Microsoft, и более чем в шесть раз превышает объёмы, доступные другим участникам поискового рынка. Cloudflare направила обращение в британское Управление по конкуренции и рынкам (CMA) с предложением рассмотреть этот вопрос в рамках проводимых проверок.
Как сообщает Windows Central, проблема кроется в принципе работы веб-краулеров — автоматических программ, сканирующих содержимое сайтов. Microsoft, OpenAI и другие игроки разделяют своих роботов по функциям, позволяя администраторам сайтов отдельно блокировать ботов, собирающих данные исключительно для обучения ИИ, не затрагивая поисковых. В отличие от них, Google применяет единого краулера (Googlebot) как для индексации страниц в поиске, так и для сбора информации для своих нейросетевых моделей.
Владельцы ресурсов, которые попытаются заблокировать Googlebot для защиты своего контента от использования в ИИ, одновременно рискуют исчезнуть из поисковой выдачи Google и, как следствие, потерять значительную часть аудитории. Принс заявил, что о справедливой конкуренции в области искусственного интеллекта не может быть речи, пока Google использует свою поисковую монополию для получения колоссального преимущества в данных. При этом Google уже внедрила в верхнюю часть поисковой выдачи блок с ИИ-ответами (AI Overview), который обобщает информацию с сайтов, лишая их посетителей, поскольку пользователям часто нет необходимости переходить по ссылкам.
Тем временем Microsoft начала развивать альтернативный подход, запустив программу лицензирования, в рамках которой авторы контента будут получать прямое вознаграждение за использование их материалов.
