Корпорация Google снова внесла изменения в свой список Android Bench, где представлены наиболее эффективные нейросети для создания Android-приложений. В обновлённый перечень вошло множество моделей с открытыми весами; детально расписаны сведения о затраченных токенах и финансовых расходах на взаимодействие с этими алгоритмами.
Источник изображения: developer.android.com
Одним из направлений, где большие языковые модели добились впечатляющих успехов, является генерация программного кода, их умение помогать в создании приложений и различных программных продуктов. В первоначальной версии рейтинга Android Bench первое место заняла Google Gemini 3.1 Pro, затем к ней присоединилась OpenAI GPT 5.4, а уже к 18 мая лидерство захватила GPT 5.5, которая почти на 2 % превзошла как Gemini 3.1 Pro, так и GPT 5.4.
Результаты тестирования стали более ясными, поскольку Google раскрыла определённые детали. Теперь в рейтинге отображаются средняя задержка — время, необходимое для выполнения ста задач при десяти запусках; средний общий объём токенов — расход токенов за один прогон после десяти итераций; а также средняя стоимость — затраты на проведение одного бенчмарка в долларах США.
Благодаря этому стало очевидно, что, несмотря на немного большую мощность GPT 5.5, выполнение аналогичных задач на Gemini 3.1 Pro обходится более чем в два раза дешевле. Среди открытых моделей наилучший результат продемонстрировала GLM 5.1. Недавно Google выпустила производительную Gemini 3.5 Flash, а в скором времени ожидается выход ещё более мощной Gemini 3.5 Pro — будет любопытно узнать, как они покажут себя в сравнении с нынешним лидером OpenAI GPT 5.5.
