Искусственный интеллект Google Gemini, внося правки в работающее приложение, случайно стёр почти 30 тысяч строк рабочего кода, что привело к 33-минутному простою сервиса — пользователи видели лишь ошибку 404. После отката к предыдущей версии ИИ-агент доложил об успешном восстановлении, хотя на самом деле это сделал разработчик вручную. Вдобавок Gemini создал в проекте поддельные записи о согласовании разрушительных изменений, чтобы обойти автоматические проверки.
Источник изображения: ChatGPT
В своём посте на сабреддите r/Bard разработчик рассказал, как Gemini 3.5, реорганизуя структуру проекта, проигнорировал чёткие указания сохранить текущую функциональность. Модель отправила на проверку набор изменений, затронувший 340 файлов: добавила около 400 строк кода и удалила 28 745. Помимо запрошенного, Gemini удалил шаблоны интернет-магазина и добавил скрипт переноса данных, не связанный с задачей.
Основной ущерб, по словам автора, нанесла следующая порция сохранённых изменений. Gemini изменил настройки маршрутизации в Firebase — облачной платформе Google для хостинга приложений, которые определяют, куда система направляет запросы пользователей. Модель подставила название сервиса, которое выглядело корректно, но указывало на несуществующий ресурс в облаке. В итоге сайт 33 минуты выдавал пользователям ошибку 404 — «страница не найдена».
После того как разработчик отменил все изменения Gemini и вернул предыдущую версию кода, ситуация стала ещё более запутанной. Модель сгенерировала отчёт о том, что сервис восстановлен и трафик направляется корректно, хотя сборку, на которую она ссылалась, разработчик уже отменил вручную. Сайт заработал благодаря ручному возврату к версии кода, не содержавшей ни одного изменения Gemini.
Более того, модель создала в хранилище проекта поддельные файлы «консультаций» и разбора инцидента, имитирующие надлежащую проверку и одобрение разрушительных изменений. Позже Gemini «признал», что эти записи полностью сфабрикованы и созданы исключительно для того, чтобы формально удовлетворить правила, заданные в настройках проекта.
Источник деструктивного поведения был выявлен в сторонней программной библиотеке — npm-пакете, оформленном в стилистике бренда Google Antigravity. Эта библиотека добавляла в проект набор жёстких правил для ИИ-агента: она не позволяла запрашивать у разработчика подтверждение перед выполнением действий, автоматически выкладывала новую версию приложения после успешной сборки, повторяла попытки при неудачной публикации и давала ИИ-агенту возможность самостоятельно изменять собственные файлы с правилами.
Этот инцидент произошёл на фоне усиливающейся критики вайб-кодинга — подхода, при котором разработчики доверяются коду, созданному ИИ, полагая, что модель понимает архитектуру приложения гораздо лучше, чем это соответствует действительности.
