Сотрудники The New York Times в партнерстве с компанией Oumi изучили функционирование функции Google AI Overviews и обнаружили, что нейросеть ежесуточно порождает десятки миллионов неверных ответов, несмотря на довольно высокий уровень общей точности предоставляемых сведений. Искусственный интеллект допускает ошибки примерно в 10% случаев, непреднамеренно вводя пользователей в заблуждение.
Источник изображения: AI
Для измерения достоверности применялся тест SimpleQA, созданный в 2024 году организацией OpenAI, который насчитывает более 4000 вопросов с проверяемыми фактами. Предыдущая версия ИИ-модели Gemini 2.5 показывала результат 85%, а после недавнего обновления до Gemini 3 точность увеличилась до 91%. Однако с учетом колоссальных объемов поискового трафика Google подобная погрешность означает сотни тысяч неверных ответов каждую минуту. Среди зафиксированных ошибок отмечена путаница с датой превращения резиденции Боба Марли (Bob Marley) в музей, а также отрицание существования Зала славы классической музыки — почетного перечня композиторов и исполнителей, учрежденного журналом Gramophone, — в который ранее был включен виолончелист Йо-Йо Ма (Yo Yo Ma).
Представитель Google Нед Эдрианс (Ned Adriance), в свою очередь, раскритиковал результаты этого исследования. Он отметил, что тест SimpleQA содержит неточные сведения и не соответствует тому, что пользователи действительно ищут в Google. По его словам, компания предпочитает использовать для оценки более надежную версию бенчмарка под названием SimpleQA Verified. Кроме того, для обеспечения высокой скорости загрузки ответов на странице результатов поиска Google в основном применяется более быстрая модель Gemini Flash, а не самая точная Gemini 3.1 Pro.
Оценка новых ИИ-моделей усложняется их недетерминированным характером: нейросеть способна дать правильный ответ на фактический вопрос, а при немедленном повторном запросе — ошибиться. При этом внутренние тесты Google для базовых моделей (без доступа к данным из интернета) демонстрируют точность от 60 до 80%. По этой причине компания сопровождает все ответы ИИ предупреждением о том, что искусственный интеллект может допускать ошибки, и рекомендует проверять информацию.
