Компания опубликовала первую версию Android Bench - официального рейтинга языковых моделей для разработки Android-приложений. Цель проекта - дать разработчикам и создателям моделей надежный ориентир: какие ИИ-инструменты реально справляются со спецификой Android-платформы, а не просто хорошо выглядят на универсальных тестах.
Бенчмарк проверяет модели по нескольким направлениям: работа с Jetpack Compose для построения UI, Coroutines и Flows для асинхронного программирования, Room для хранения данных, Hilt для внедрения зависимостей. Дополнительно тестируются навигационные миграции, конфигурация Gradle и обработка критических изменений между версиями SDK. Отдельный блок охватывает специфические компоненты платформы - камеру, системный UI, медиа и адаптацию под складные смартфоны.
Позицию Google по поводу необходимости такого инструмента лаконично передает официальный блог для разработчиков:
«ИИ-ассистированная разработка программного обеспечения породила целый ряд бенчмарков для оценки возможностей языковых моделей. Однако Android-разработчики сталкиваются со специфическими задачами, которые существующие тесты не охватывают, - именно поэтому мы создали бенчмарк, сфокусированный на разработке под Android.»
Результаты первого выпуска
Лучший результат среди всех участников показал Gemini 3.1 Pro Preview - 72,4%. Второе место занял Claude Opus 4.6 от Anthropic с 66,6%, третье - GPT-5.2 Codex от OpenAI с 62,5%. Замыкает список Gemini 2.5 Flash с 16,1%.
Полный рейтинг Android Bench:
- Gemini 3.1 Pro Preview: 72,4%
- Claude Opus 4.6: 66,6%
- GPT-5.2 Codex: 62,5%
- Claude Opus 4.5: 61,9%
- Gemini 3 Pro Preview: 60,4%
- Claude Sonnet 4.6: 58,4%
- Claude Sonnet 4.5: 54,2%
- Gemini 3 Flash Preview: 42%
- Gemini 2.5 Flash: 16,1%
Что дальше
Публикуя рейтинг, Google рассчитывает стимулировать улучшение языковых моделей конкретно для Android-разработки, повысить продуктивность разработчиков и в конечном счете поднять качество приложений в Android-экосистеме в целом.
Обновления программ, что нового
• Android 17 QPR2 Beta 3: Что нового
• Обновление Intel Arc Game On Driver 32.0.101.8974 WHQL. Прирост производительности в Assassin’s Creed Valhalla, Farming Simulator 22 и Kingdom Come: Deliverance II
• Обновление AMD Ryzen Chipset Driver 8.08.12.551 для Windows 11 и Windows 10
• ChatGPT, Work и Codex для Mac теперь может запоминать действия в приложениях и на сайтах
• iPhone X признан вышедшим из эксплуатации: первый iPhone с Face ID
• В One UI 9.5 заработала блокировка приложений