Сбер объявил о выпуске новой флагманской языковой модели GigaChat 3.5 Ultra. Обновленная модель получила собственную гибридную архитектуру с линейным вниманием, стала на 40% компактнее предшественника (432 млрд параметров против 700 млрд у GigaChat 3.1 Ultra), вчетверо снизила расход памяти на длинном контексте и улучшила качество решения задач по программированию, математике и автономной работе ИИ-агентов.
Новая версия уже доступна всем пользователям через сервис ГигаЧат, а также опубликована в открытом доступе под лицензией MIT, что позволяет разработчикам использовать модель в собственных проектах и создавать на ее основе ИИ-агентов.
Что нового в GigaChat 3.5 Ultra
По данным Сбера, основное внимание при разработке новой версии было уделено производительности и практическому применению модели в рабочих сценариях. Релиз стал результатом более чем 1500 экспериментов с данными, архитектурой и рецептом обучения.
- улучшено качество генерации и анализа программного кода;
- повышена точность математических вычислений и финансовых расчетов;
- ускорена работа с объемными документами;
- расширены возможности для создания автономных ИИ-агентов;
- снижены требования к памяти благодаря более компактной архитектуре.
Улучшенные возможности программирования и анализа данных
GigaChat 3.5 Ultra лучше справляется с написанием, анализом и проверкой кода. Также модель точнее решает математические задачи, работает с числовыми данными и формирует более структурированные ответы.
Заметный прогресс в коде разработчики связывают с переработкой обучающего набора данных: число поддерживаемых языков программирования выросло с 16 до более чем 600.
По словам разработчиков, это позволяет использовать модель не только для общения, но и как инструмент в работе программистов, инженеров, аналитиков и специалистов по обработке данных.
Работа с длинными документами стала значительно быстрее
Одним из главных нововведений стала собственная гибридная архитектура. Часть слоев осталась классическими MLA, а часть заменена на линейные слои на основе GatedDeltaNet.
В отличие от классического внимания, которое при обработке каждого нового фрагмента текста заново анализирует весь предыдущий контекст, линейное внимание сворачивает историю в состояние фиксированного размера и постепенно накапливает информацию о документе.
Такой подход снижает стоимость длинного контекста. По данным Сбера, в 432-миллиардной модели расход KV-кеша на токен примерно вчетверо меньше, а в тот же объем памяти помещается в 2,14 раза больше контекста. Под нагрузкой пропускная способность вырастает примерно на 20% без потери качества.
Это особенно важно при работе с договорами, технической документацией, нормативными документами, отчетами и другой объемной деловой документацией.
Ускорение генерации через MTP
Для ускорения вывода модель использует технологию Multi-Token Prediction (MTP) — за один проход предлагается черновик из нескольких токенов вперед, а основная часть модели проверяет и принимает корректный фрагмент.
По данным разработчиков, это ускоряет генерацию при жадном декодировании до 2,2 раза. Отдельная черновая модель при этом не требуется.
Поддержка агентных сценариев
Еще одним направлением развития стала работа с автономными ИИ-агентами.
Модель способна самостоятельно выполнять цепочки действий: искать информацию, писать и запускать программный код, обращаться к внешним сервисам и возвращать пользователю готовый результат.
Подобные возможности позволяют автоматизировать повторяющиеся процессы, включая мониторинг данных, подготовку отчетов и выполнение задач по расписанию.
Более компактная архитектура при сохранении производительности
GigaChat 3.5 Ultra построена на архитектуре Mixture of Experts (MoE). Новая модель насчитывает 432 млрд параметров против примерно 700 млрд у предыдущего флагмана GigaChat 3.1 Ultra — то есть стала компактнее на 40%.
Это снижает требования к аппаратным ресурсам и упрощает развертывание, благодаря чему использовать модель смогут больше компаний и разработчиков.
Во время обучения фундамент был построен на органических, созданных человеком текстах, прошедших многоступенчатую фильтрацию и классификацию, что также способствовало улучшению качества модели.
Результаты тестирования
Сбер сообщает, что GigaChat 3.5 Ultra превосходит предыдущую флагманскую модель компании в тестах по нескольким направлениям:
- программирование;
- математические задачи;
- выполнение сложных многошаговых инструкций;
- качество русскоязычного диалога.
По итоговым метрикам после всех этапов дообучения модель сравнима с DeepSeek V3.2, оставаясь при этом примерно в полтора раза меньше по числу параметров.
Доступность
GigaChat 3.5 Ultra уже доступна всем пользователям в веб-версии ГигаЧат, а также разработчикам в открытом доступе под лицензией MIT для интеграции в собственные приложения и создания ИИ-агентов.
Открытые веса опубликованы на HuggingFace и GitVerse.
В Сбере рассчитывают, что новая архитектура и сниженные требования к оборудованию позволят ускорить внедрение генеративного искусственного интеллекта в коммерческие продукты и исследовательские проекты.