Яндекс27 октября 2026 года Яндекс рассказал о MTGBench – наборе тестов, который оценивает, как нейросети рассуждают при выполнении сложных многоэтапных задач. Бенчмарк разработали инженеры Яндекса и студенты Школы анализа данных (ШАД) и выложили его в открытый доступ. По замыслу авторов, он поможет компаниям и разработчикам точнее подбирать рассуждающие модели под свои задачи. Статью о бенчмарке приняли на научную конференцию EMNLP 2026.
Семь игр вместо одиночных вопросов
Пользователи часто уточняют запрос к нейросети по ходу разговора: при планировании поездки добавляют даты и бюджет, а в обращении в службу поддержки рассказывают, что уже пробовали сделать. Модель должна учитывать в рассуждениях и новые сведения, и свои предыдущие шаги. Такую способность удобно проверять в играх, где каждый следующий ход зависит от предыдущего, – на них и построен MTGBench. Оценивается не только итоговый ответ, но и то, за сколько ходов модель к нему пришла.
В бенчмарк вошли семь текстовых игр по несколько десятков ходов в каждой. В Wordle модель угадывает слово из пяти букв по подсказкам, в «Поле чудес» открывает буквы скрытого слова, в «Городах» называет города на последнюю букву предыдущего и не повторяется, а в «20 вопросах» сама отвечает на вопросы о загаданном слове и не должна противоречить его свойствам. В «Данетках» нужно вопросами выяснить, что произошло в загадочной ситуации, в «20 признаках» – узнать предмет по признакам, которые открываются по одному, а в «Элиасе» – угадать известного человека по вопросам о его биографии.
Игры показывают, умеет ли модель логически рассуждать, пользоваться новыми данными, продумывать следующие шаги и не противоречить своим прежним ответам. В «Городах», Wordle, «20 вопросах» и «Поле чудес» правильность решений проверяют алгоритмы, а в «Данетках», «20 признаках» и «Элиасе» – ИИ-судья, качество работы которого дополнительно проверили люди. Все задания есть на русском и английском языках.
Схема MTGBench: карточки семи игр, пример партии в «Данетки» между моделью-игроком и ИИ-судьёй и порядок тестирования. Изображение: авторы MTGBench
Что показала проверка 16 моделей
На MTGBench проверили 16 нейросетей – от компактной версии Qwen до более крупных моделей Gemini и GPT, а также модели DeepSeek. Каждая модель сыграла по 100 партий в каждую игру на обоих языках в трёх режимах: с ответом сразу, с подсказкой рассуждать пошагово (chain-of-thought) и со встроенным режимом рассуждений. Моделей Яндекса в этом списке нет.
Эксперимент показал, что польза от режима рассуждений зависит от типа задачи. Сильнее всего она заметна там, где нужно работать с буквами и символами, анализировать подсказки и отсеивать неверные варианты. В задачах на извлечение знаний и понимание смысла прирост меньше и различается от модели к модели. Высокий балл в одном типе заданий не гарантирует успеха в другом, а задания на русском языке даются моделям в целом хуже, чем на английском.
Для сравнения русскоязычные задания MTGBench предложили людям. Участники хорошо справились с буквенными играми, но сильнейшие модели с включённым режимом рассуждений набрали более высокие средние баллы во всех семи играх. В таблице результатов на русском языке первое место занимает Gemini 3.1 Pro Preview в режиме рассуждений – 82,9 балла из 100, у людей – 59,4.
Результаты на русском языке в интерактивной таблице MTGBench: средний балл и баллы по каждой из семи игр, строка «Человек» – результат участников-людей. Изображение: авторы MTGBench
Где взять MTGBench
Код бенчмарка опубликован на GitHub под лицензией MIT, а собственные наборы данных, разметка и промпты – под лицензией CC BY 4.0. Для запуска нужен Python 3.11 или новее и доступ к модели через API, совместимый с OpenAI. В репозитории также лежат партии протестированных моделей и результаты людей, поэтому опубликованные таблицы и графики можно воспроизвести без обращений к API. Сравнить модели по отдельным играм, режимам и языкам можно в интерактивной таблице, у которой есть русскоязычный интерфейс.
В сентябре Яндекс уже выкладывал в опенсорс языковую модель Alice AI Foundation LLM, обученную с нуля.
