Gemini
ChatGPT
ClaudeGoogle обновила Android Bench 2.0 – рейтинг ИИ-моделей и агентов для разработки Android-приложений. Первое место заняла Claude Sonnet 5.5, полностью решившая 40% тестовых задач. Gemini 4 Argon получила 21,3% и оказалась шестой, уступив трём моделям Anthropic и двум моделям OpenAI. GPT-6.1 Sol заняла третье место с результатом 29,3%, при этом расходы на полный прогон оказались существенно ниже, чем у лидеров.
Что изменилось в Android Bench
Google запустила Android Bench в марте 2026 года, чтобы оценивать ИИ с учётом особенностей Android-разработки. В обновлении от 26 октября появились результаты Claude Sonnet 5.5, GPT-6.1 Sol и Gemini 4 Argon, а также указание уровня рассуждения для каждой модели. Результаты Claude Sonnet 5 и GPT-6 Sol перенесены в архив. Claude Opus 5.5 присутствует в рейтинге с 6 октября.
По методике Android Bench 2.0, участники выполняют 30 продолжительных инженерных задач, каждую запускают пять раз. Набор охватывает создание приложений, миграции библиотек и архитектуры, добавление функций и перенос проектов Flutter и React Native на нативный Android. Проверяются работа приложения, сохранение данных, соблюдение требований и интерфейс; визуальную оценку выполняет Gemini 3.5 Flash.
Pass rate и completion rate – разные показатели результата. Первый отражает долю запусков с полностью решённой задачей и пройденными проверками. Второй оценивает степень выполнения требований, включая частичный результат в неудачных запусках. Поэтому completion rate выше 80% не означает, что агент самостоятельно завершает четыре задачи из пяти.
Результаты: Sonnet 5.5 впереди, Argon на шестом месте
Ниже приведена полная актуальная таблица Android Bench 2.0 на момент проверки 27 октября. В названии модели сохранён уровень рассуждения: max, high или default. Отдельный столбец показывает агента, с которым получен результат.
| Модель и рассуждение | Агент | Полностью решено, % | Доверительный интервал, % | Степень выполнения, % | Время прогона, ч | Стоимость прогона, USD |
|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 (max) | claude-code | 40,0 | 24,0–56,0 | 80,9 | 70,7 | 1 574,90 |
| Claude Opus 5.5 (max) | claude-code | 37,3 | 22,0–52,0 | 85,6 | 56,6 | 1 150,30 |
| GPT-6.1 Sol (max) | codex | 29,3 | 15,3–42,7 | 82,8 | 26,6 | 99,50 |
| GPT-6 Astra (high) | codex | 28,0 | 13,3–42,0 | 82,2 | 7,9 | 375,70 |
| Claude Fable 5.1 (high) | claude-code | 22,7 | 10,7–36,0 | 82,4 | 22,2 | 492,60 |
| Gemini 4 Argon (high) | antigravity-sdk | 21,3 | 10,0–33,3 | 81,8 | 52,8 | 267,60 |
| Qwen3.8 Max (default) | qwen-coder | 12,5 | 4,2–21,7 | 75,0 | 45,4 | 258,40 |
| Kimi K3 (max) | kimi-code | 12,0 | 3,3–22,0 | 72,8 | 66,2 | 418,30 |
| GPT-6 Luna (default) | codex | 10,7 | 4,0–17,3 | 53,2 | 6,2 | 5,30 |
| Gemini 3.8 Flash (default) | antigravity-sdk | 8,0 | 3,3–13,3 | 47,4 | 12,1 | 34,50 |
| Gemini 3.7 Flash (default) | antigravity-sdk | 7,3 | 1,3–14,7 | 50,1 | 9,9 | 26,00 |
Время и стоимость усреднены для полного набора из 30 задач. Расходы рассчитаны по тарифам API, действовавшим при выполнении тестов; это не стоимость подписки или отдельного запроса. Ранние неудачи могут уменьшать расходы, а время включает сетевые задержки.
По доле полностью решённых задач Sonnet 5.5 опережает Argon на 18,7 процентного пункта, GPT-6.1 Sol – на 8 пунктов. При этом по степени выполнения лидирует Opus 5.5 с 85,6%. У Sonnet 5.5 этот показатель ниже – 80,9%, несмотря на первое место по полным решениям.
Доверительные интервалы участников заметно пересекаются. Поэтому порядок по средним результатам сам по себе не доказывает статистически значимого преимущества каждой соседней модели.
GPT-6.1 Sol заметно дешевле лидеров
Полный прогон GPT-6.1 Sol обошёлся в 99,50 USD против 1574,90 USD у Claude Sonnet 5.5 – примерно в 15,8 раза дешевле. При этом Sol уступила лидеру на 10,7 процентного пункта по полностью решённым задачам, но получила немного более высокую оценку частичного выполнения: 82,8% против 80,9%.
По сравнению с Gemini 4 Argon новая Sol показала более высокий pass rate при расходах примерно в 2,7 раза ниже. Самый дешёвый прогон среди всех участников оказался у GPT-6 Luna – 5,30 USD, однако она полностью решила лишь 10,7% задач.
Что ранее сообщали о трудностях Gemini 4 Argon
Ещё 1 октября 9to5Google со ссылкой на Bloomberg сообщило, что некоторые сотрудники Google видели расхождение между высокими результатами Gemini 4 в бенчмарках и её работой над практическими заданиями. По их словам, модель испытывала трудности с отдельными задачами программирования; часть сотрудников опасалась сохранения отставания от Anthropic и OpenAI. Единого мнения внутри компании, по описанию публикации, не было: другие сотрудники считали Gemini 4 одной из ведущих моделей. Google отвергла обобщённую оценку о недостаточно высокой производительности в программировании. Эти сообщения основаны на неназванных источниках, а результаты Android Bench характеризуют конкретный набор Android-задач и не устанавливают общую пригодность Argon для любого кода.
Вывод
Для разработчика Android обновлённая таблица показывает разницу между максимальной долей готовых решений и расходами на их получение. Claude Sonnet 5.5 чаще завершает задачи полностью, тогда как GPT-6.1 Sol предлагает более низкую стоимость прогона при третьем месте в рейтинге. Выбирать инструмент следует с учётом типа проекта: результаты получены для конкретных сочетаний моделей, агентов и уровней рассуждения.
