Gemini
ChatGPT
ClaudeПользователи Arena сообщают о предполагаемой новой сборке Gemini 4 Carbon – ИИ-модели Google, представленной . В публикациях от 31 октября и 1 ноября тестировщики отмечают улучшения в программной 3D-графике и более быструю работу по сравнению с ранними вариантами. По их версии, сборку Carbon-H испытывают под обозначением Gemini 4 Argon. Подтверждения именно такой замены в изученных официальных материалах нет; объявленный Google начальный этап доступа к Carbon рассчитан на выбранных специалистов по киберзащите.
Что сообщают о новой сборке Carbon на Arena
Автор аккаунта Just a dragon утверждает, что Carbon-H на Arena работает под названием Argon 4. По его впечатлениям, модель стала лучше справляться с кодом, дизайном и трёхмерными сценами, а ожидание сократилось. Это оценки участников тестирования, без опубликованных сопоставимых замеров производительности.
Аккаунт Synopsis сообщил об изменении идентификатора версии, обозначенной как gemini-4-argon, на 01a161e8-cebc-7960-a363-fc6a0e8ab276. Автор датирует наблюдение 30 октября, 18:29 по тихоокеанскому времени. Само сообщение об идентификаторе не устанавливает, какая модель обслуживала запросы и менялись ли её веса.
Контрольная точка модели (checkpoint) – сохранённое состояние модели на определённом этапе обучения, включающее её веса и другие параметры.
При этом появление Carbon на Arena уже подтверждено отдельно: журнал изменений платформы сообщает, что 28 октября Gemini 4 Carbon (High) добавили в рейтинги Agent Arena, Text Arena и Code Arena: WebDev. Эта запись подтверждает участие модели в оценках, но не отождествляет её с предполагаемой новой сборкой под обозначением Argon.
Трёхмерные сцены стали сложнее, претензии к интерфейсам остались
В одном из новых сравнений пользователь Leo предложил Carbon и Argon создать трёхмерную корову. В показанном результате Argon использовала преимущественно прямоугольные блоки, тогда как вариант Carbon включал округлые, заострённые и ромбовидные элементы. Пример показывает различие двух выбранных сцен, но не измеряет качество моделей во всех задачах 3D.
Пользователь Chetaslua положительно оценил работу Carbon с Three.js и полноту выполнения заданий. По его наблюдениям, в отдельных случаях модель рассуждала перед ответом 8–10 минут. При этом качество веб-интерфейсов он по-прежнему считает слабым местом. Впечатления о более быстрой работе не означают, что все запросы теперь выполняются быстро: одинаковые условия и замеры для сравнения не приведены.
В ранних демонстрациях Carbon тестировщики тоже выделяли трёхмерные сцены и игры, но жаловались на интерфейсы и длительное ожидание. Для одного игрового задания сообщалось примерно о 30 минутах генерации. Сравнивать это время напрямую с новыми примерами нельзя: задания и условия различались.
Ещё один участник, OltAi, сравнил анимацию пиксельного тираннозавра в пустыне, созданную четырьмя моделями. Задание включало движение, тени и окружающую сцену. Ниже приведены его личные оценки по десятибалльной шкале.
| Модель | Оценка автора, из 10 |
|---|---|
| Gemini 4 Carbon | 9,5 |
| GPT-6 Astra | 8,8 |
| Claude Opus 5.5 | 9,3 |
| GPT-6.1 Terra | 4,9 |
В опубликованной подборке вариант Carbon отличался наиболее активной анимацией. Эти баллы отражают мнение одного автора об одном задании; переносить их на программирование в целом или использовать как общий рейтинг моделей нельзя. Выбранные примеры также не показывают частоту неудачных ответов и повторяемость результата.
Официальное сравнение Gemini 4 Carbon с Argon, GPT и Claude
При анонсе Gemini 4 Carbon Google опубликовала сравнительную таблицу по 17 тестам. Эти результаты относятся к представленным в октябре версиям и условиям оценки. Они не являются измерением прироста предполагаемой новой сборки на Arena.
| Направление | Тест и метрика | Gemini 4 Carbon | Gemini 4 Argon | GPT-6 Astra | Claude Opus 5.5 | Claude Fable 5.1 |
|---|---|---|---|---|---|---|
| Общие возможности | AA Index v5.0, баллы | 59 | 50 | 57 | 58 | 49 |
| Общие возможности | Vals Index v2.2 | 70,4% | 69,2% | 65,0% | 70,2% | – |
| Программирование с ИИ-агентами | SWE-sweep | 9,6% | 4,3% | 9,5% | 3,6% | 2,9% |
| Программирование с ИИ-агентами | FrontierSWE 2 | 61,2% | 55,0% | 65,5% | 62,3% | 56,3% |
| Программирование с ИИ-агентами | Terminal-Bench 4.0 (AA) | 65,2% | 57,1% | 59,1% | 59,6% | 52,0% |
| Управление компьютером | Agents’ Last Exam v1.1, Score | 77,4% | 69,0% | 73,1% | 71,6% | – |
| Управление компьютером | OSWorld-2.1, офлайн-поднабор | 81,5% | 74,7% | 80,9% | 87,2% | 76,8% |
| Рабочие задачи | AutomationBench, Zapier | 53,9% | 51,3% | 41,4% | 42,5% | 31,4% |
| Рабочие задачи | Vending-Bench 2, баланс счёта, USD | 16 484 | 13 718 | 15 515 | 9 235 | 5 422 |
| Мультимодальные задачи | Chartography | 72,5% | 71,6% | 71,0% | 66,3% | 46,2% |
| Мультимодальные задачи | Blueprint-Bench 2, оценка сходства | 58,6% | 54,4% | 49,7% | 51,2% | 41,9% |
| Длинный контекст | GraphWalks, 256 тыс. – 1 млн токенов, BFS (F1) | 96,2% | 84,2% | 71,8% | 66,8% | 65,0% |
| Наука и математика | RiemannBench | 80,0% | 76,0% | 72,0% | 69,6% | 65,6% |
| Наука и математика | Terminal-Bench-Science 0.1 (AA) | 64,8% | 52,9% | 63,3% | 59,0% | 43,3% |
| Кибербезопасность | CWE-bench | 71,0% | 68,0% | 68,0% | 67,0% | 58,0% |
| Кибербезопасность | ExploitGym | 54,8% | 42,0% | 42,4% | 34,5% | – |
| Кибербезопасность | SEC-bench Pro | 88,2% | 83,4% | 85,4% | – | – |
Прочерк означает, что результат не опубликован. Баланс в Vending-Bench 2 выражен в долларах США; это результат симуляции, а не стоимость модели. Диапазон в строке GraphWalks обозначает длину контекста в тестовых заданиях и сам по себе не устанавливает доступный пользователю лимит API.
Согласно методике Google DeepMind, результаты Gemini обычно получены через Gemini API при максимальном уровне рассуждений и одной попытке на задание, если не оговорено иное. Таблица объединяет собственные измерения Google, данные независимых рейтингов и опубликованные разработчиками результаты конкурентов; это не единый независимый прогон всех моделей.
Среди важных исключений: OSWorld-2.1 использует 82 задания без доступа к интернету и лучший результат Gemini из трёх запусков; Agents’ Last Exam – версию набора от 17 октября с 122 заданиями и окном в пять часов. Для GraphWalks Google самостоятельно оценила все модели на 200 заданиях с контекстом от 256 тыс. до 1 млн токенов. В официальном анонсе отдельно указано, что внешние тесты кибербезопасности выполнялись без защитных ограничений.
Carbon улучшила показатели Argon во всех строках таблицы, но уступила отдельным конкурентам. В FrontierSWE 2 выше результаты GPT-6 Astra и Claude Opus 5.5, а в OSWorld-2.1 лидирует Opus 5.5. Поэтому первое место Carbon в сводном AA Index v5.0 не означает лидерства в каждой задаче.
Субъективные претензии к интерфейсам также следует отделять от рейтинга: на открытой странице WebDev Arena Carbon (High) находится на четвёртом месте с предварительной оценкой 1768 баллов Elo. Это на 89 баллов выше указанного результата Argon – 1679.
Кому откроют Carbon и сколько будет стоить API
В официальном анонсе Google предусмотрела поэтапное предоставление доступа. На неделе объявления модель начинают открывать выбранным специалистам по киберзащите, затем круг доверенных партнёров будут расширять через Fairwind Program. Доступ разработчиков, компаний и обычных пользователей запланирован позднее, после сбора отзывов и доработки защитных механизмов; календарного срока в этом анонсе нет.
Отдельный отзыв об использовании Carbon в поиске уязвимостей опубликовал Gal Nagli, известный под именем Nagli. Он положительно оценил способность модели находить сложные цепочки эксплуатации. Это личный опыт исследователя: сообщение не содержит сопоставимого теста и не позволяет вычислить процент улучшения.
Для API объявлена вводная цена 2 USD за миллион входных и 10 USD за миллион выходных токенов. Кэшированные входные токены будут стоить на 95% дешевле обычных. После вводного периода Google указывает тарифы 4 и 20 USD соответственно; дату окончания этого периода для Carbon в анонсе не уточняют.
Вывод
Новые демонстрации интересны прежде всего для тех, кто создаёт программные 3D-сцены и анимацию: авторы показывают более сложную геометрию и отмечают более полное выполнение заданий. Для выбора модели под рабочий проект полезнее учитывать результаты нужного направления: даже в официальном сравнении Carbon не лидирует повсеместно. Оценить именно прирост новой сборки позволят повторяемые проверки с известной версией модели и одинаковыми условиями.
