Игровые смартфоны REDMAGIC 11 Pro и Pro+ исключены из рейтингов бенчмарка 3DMark. Компания UL Solutions установила, что при запуске бенчмарка устройства снимают штатные ограничения по температуре и мощности, чтобы выжать максимальные баллы. При этом REDMAGIC 11 Pro оснащён встроенным вентилятором и жидкостной системой охлаждения — но даже они не спасают от перегрева, когда процессор работает без оглядки на температуру.
Что произошло
UL Solutions убрала REDMAGIC 11 Pro и Pro+ сразу из нескольких рейтингов 3DMark: Solar Bay, Solar Bay Extreme, Steel Nomad Light и Slingshot Extreme (OpenGL ES 3.1). На странице результатов серии появился баннер:
«Устройства исключаются из рейтинга, если производитель не соблюдает правила бенчмарка».
REDMAGIC — один из немногих брендов, по-прежнему выпускающих именно игровые смартфоны: с ёмкостными триггерами на торцах корпуса, активным охлаждением и специализированными режимами производительности. Дисквалификация флагманской линейки выглядит тем более неожиданно.
Как обнаружили накрутку
Ещё в прошлом месяце японский YouTube-канал опубликовал видео, в котором сравнил результаты стандартной и замаскированной версий 3DMark. Замаскированная версия — та же самая программа, но с изменённым именем пакета, чтобы система устройства не могла её распознать. Результаты отличались кардинально: стандартная версия бенчмарка не смогла завершить стресс-тест — приложение аварийно закрылось из-за перегрева. Замаскированная прошла тест до конца.
Температурные показатели подтвердили масштаб проблемы. С замаскированной версией пиковый нагрев составил около 40 °C. Стандартная версия 3DMark разогрела смартфон до 55 °C — при том что в устройстве работают вентилятор и жидкостный контур охлаждения.
Замаскированная версия бенчмарка — стандартное приложение для тестирования производительности с изменённым именем пакета. Система устройства не может распознать его как бенчмарк и не активирует форсированный режим. Метод используется для выявления случаев, когда смартфон автоматически завышает производительность при обнаружении конкретного теста.
Механизм манипуляции
Схема типична для накруток бенчмарков: смартфон опознаёт приложение по имени пакета и переключается на максимальный профиль производительности, отключая штатный контроль температуры. Процессор работает на полной мощности до тех пор, пока нагрев не достигнет критической отметки и система аварийно не завершит приложение. Замаскированную версию того же бенчмарка устройство не опознаёт — и работает в обычном режиме, с умеренной нагрузкой и без перегрева.
Правила UL Solutions формулируют требование прямо:
«Платформа должна запускать бенчмарк без модификаций, как любое другое приложение».
Белый список приложений — допустимая практика, но не для бенчмарков
Оптимизация производительности под конкретные приложения сама по себе не запрещена. Смартфоны постоянно подстраивают нагрузку: для мессенджера максимальная мощность не нужна, для требовательной игры — нужна. Проблема возникает, когда тот же подход применяется к бенчмаркам. Полученные баллы не отражают реальную производительность в играх и приложениях, но именно эти цифры попадают в рекламные материалы и обзоры, по которым покупатели выбирают смартфон.
Отдельные мобильные геймеры научились использовать этот механизм в обратную сторону: они запускают эмуляторы, замаскированные под бенчмарки, чтобы получить доступ к форсированному профилю производительности. Расплата — сильный нагрев корпуса и быстрый разряд батареи.
Не первый случай в индустрии
Накрутки бенчмарков — хроническая проблема рынка смартфонов. Ранее в аналогичном поведении уличили realme GT7 Pro: стандартная версия 3DMark не могла завершить стресс-тест из-за перегрева, тогда как замаскированная проходила его без проблем. Компания realme тогда признала «адресные оптимизации» результатов процессора. Ещё раньше, в 2020 году, UL Benchmarks массово удалила из рейтингов смартфоны на чипах MediaTek — после того как выяснилось, что процессоры игнорируют температурные ограничения при обнаружении бенчмарка.
Заключение
Исключение REDMAGIC 11 Pro из 3DMark — очередное напоминание о том, что синтетические баллы бенчмарков стоит оценивать критически. Для покупателя эти результаты бесполезны, если смартфон достигает их только ценой перегрева до 55 °C и аварийного завершения приложений — при наличии вентилятора и жидкостного охлаждения, которые с нагрузкой в форсированном режиме не справляются.