Согласно исследованию, код, созданный искусственным интеллектом, демонстрирует значительно больше недостатков в логике, безопасности и эффективности, чем написанный человеком. Однако в орфографических ошибках ИИ оказывается аккуратнее.
Как сообщает Register, анализ 470 Pull Request'ов платформой CodeRabbit показал, что использование ИИ для генерации кода ведет к существенному росту количества дефектов и критических уязвимостей.
В запросах на слияние, сформированных ИИ, в среднем выявлено 10,83 проблемы, что примерно на 70% больше, чем в человеческих (6,45 проблем). Кроме того, в таких релизах содержится в 1,4 раза больше критических и в 1,7 раза больше серьезных проблем.
Как отметил Дэвид Локер (David Loker), директор по ИИ в CodeRabbit, исследование подтвердило ощущения многих команд на протяжении 2025 года. Он подчеркнул, что ИИ-инструменты повышают продуктивность, но порождают изъяны, на исправление которых уходит дополнительное время и силы.
Анализ выявил, что ИИ-код проигрывает человеческому по ключевым категориям дефектов. Он содержит больше логических и семантических ошибок (в 1,75 раза), проблем с качеством и поддерживаемостью (в 1,64 раза), уязвимостей безопасности (в 1,57 раза) и недостатков производительности (в 1,42 раза).
К примеру, код от ИИ в 1,88 раза чаще некорректно обрабатывал пароли, в 1,91 раза чаще содержал небезопасные ссылки на объекты, в 2,74 раза чаще приводил к XSS-уязвимостям и в 1,82 раза чаще реализовывал небезопасную десериализацию.
При этом в орфографии ИИ оказался точнее: ошибки в его запросах встречались в 1,76 раза реже. Также в коде, написанном людьми, было на 32% больше проблем, связанных с тестируемостью.
В отчете CodeRabbit упоминаются некоторые методологические ограничения, например, невозможность гарантировать, что запросы, отмеченные как человеческие, действительно не содержали участия ИИ. Тем не менее, выводы исследования находят подтверждение в других работах.
Эксперты компании Apiiro, занимающейся созданием ПО для анализа защищённости приложений, изучив обширный набор исходного кода из открытых репозиториев, пришли к заключению: применение ИИ-помощников приводит к десятикратному увеличению частоты появления уязвимостей. Об этом CNews сообщал в сентябре 2025 года.
Ранее, в мае 2025 года, Университет Сан-Франциско (США, Калифорния), Векторный институт (Канада) и Массачусетский университет в Бостоне (США) представили препринт исследования, где также было отмечено, что привлечение ИИ-моделей для поэтапного совершенствования фрагментов кода часто ведёт к снижению его надёжности.
Впрочем, существуют и иные точки зрения. Так, в январе 2025 года в работе учёных из Университета Монаша (Австралия) и Университета Отаго (Новая Зеландия), на которую ссылается издание Register, утверждается: «Полученные данные свидетельствуют, что код, созданный GPT-4, успешнее проходил тестирование в рамках различных задач по сравнению с кодом, написанным людьми». Данная публикация была озаглавлена: «Сравнение кода, созданного человеком и искусственным интеллектом: вопрос всё ещё открыт!».
