MRG Effitas 2023: Тестирование антивирусов для Android

2024-03-07 56798 комментарии
Лаборатория MRG Effitas проводит расширенное тестирование антивирусов для Android. Серия тестов под названием «Android 360 Degree Assessment Programme», проводимая в 2023 году, позволяет оценить защиту мобильных антивирусов в реальных сценариях
Обновлено: 07.03.2024. Опубликованы результаты тестирования «Android 360 Degree Assessment Programme» за второй квартал (Q4) 2023 года.

Лаборатория MRG Effitas провела расширенное тестирование нескольких антивирусов для Android. Уровень защиты оценивался в реальных сценариях с настоящими вредоносными программами из сети. Также проверялась обработка легитимных образцов, чтобы выявить потенциально слабые места механизмов обнаружения. В отчете собраны результаты тестирований, которые проводилось независимой лабораторией MRG Effitas по следующему сценарию:

  • 7 мобильных антивирусов для Android
  • 158 вредоносных образцов "in-the-wild"
  • 5 симуляторов атак
  • 1 сценарий реального времени по новой методике тестирования
  • Операционная система: Android 11.0 (эмулятор Genymotion)

В тестах использовался эмулятор Genymotion с образами ОС Android 11.0, актуальными по состоянию на ноябрь 2023 года. Данная тестовая среда позволяет охватить значительную часть пользовательских устройств, представленных на рынке. Чтобы обеспечить максимальную совместимость с образцами, содержащими нативный ARM-код, в эмуляторе использовался пакет ARM Translation. Чтобы обеспечить «чистоту эксперимента» функция Google Play Защита была отключена на устройствах.

Тестируемые антивирусы

В тестировании принимали участие следующие мобильные антивирусы. Кроме решений всем известных имен с хорошей репутацией и богатой истории, в испытании участвовали продукты менее крупных вендоров с небольшой долей рынка. Поскольку в магазине приложений Google Play размещено много антивирусов для Android, приоритет отдавался приложениям защиты с большим количеством загрузок.

Методика тестирования

Первоначальная методика тестирования антивирусов для Android включала два независимых типа тестовых испытаний:

  • Обнаружение угроз на ранней стадии (Early Stage Detection) — образцы проверялись на SD-карте
  • Тесты на установку (Install Tests) — включали непосредственно установку образца
Первоначальная методика

Специалисты лаборатории уделяли внимание следующим аспектам тестируемых продуктов.

Обнаружение угроз на ранней стадии

В первом сценарии (Early Stage Detection) оценивалась эффективность обнаружения угроз на раннем этапе, когда тестовые образцы копировались на SD-карту тестового устройства. Устройство еще не было заражено, а вредоносные файлы были загружены и готовы к установке. Действительно качественный антивирус должен обнаруживать угрозы как можно раньше, не позволяя пользователям устанавливать вредоносное ПО на свои устройства. В данном испытании предпринимались следующие шаги:

  1. Подготовка тестового устройства включала установку и инициализацию антивирусного приложения (принятие лицензионного соглашения, загрузка новейших антивирусных определений, принятие всех запросов предоставления разрешений и др.). При запросе разрешалось сканирование файлов на SD-карте 1. Если вендор предоставлял дополнительные инструкции по настройке, то они принимались во внимание на данном этапе.
  2. Настройка мобильного антивируса на сканирование файлов на SD-карте.
  3. Загрузка тестового набора образцов на SD-карту и запуск сканирования.
  4. Антивирус был настроен на удаление подозрительных файлов.
  5. Сканирование запускалось повторно до тех пор, пока не переставали появляться предупреждения или не были удалены все подозрительные файлы.
  6. Подсчет оставшихся образцов.
1 Этот параметр был отключен для большинства антивирусов после стандартной инициализации из соображений производительности.

Обнаружение на этапе установки

Во втором сценарии (Detection During Installation ) выполнялась установка каждого отдельного тестового экземпляра с целью проверки уровня защиты мобильных антивирусов.

  1. С помощью инструментария Android Debug Bridge (adb) выполнялась установка вредоносного приложения на устройство. После установки антивирус получал информацию о новом приложении и запускал механизмы обнаружения.
  2. Антивирусу предоставлялось необходимое время для завершения всех процедур сканирования. 2 3
  3. Создавался скриншот экрана с результатами проверки. Показ предупреждения или тревожного оповещения рассматривался как успешное прохождение тестового сценария. Все журналы инструмента logcat были сохранены на внешнем устройстве.
  4. С помощью adb образец удалялся, после чего устанавливался следующий образец.

2 Значение задержки (timeout threshold) является критическим аспектом тестирования. Если значение будет слишком низким, результаты теста не будут отражать фактические результаты, так как антивирус не сможет завершить обнаружение. Лаборатория стремится добиться реалистичного значения, поскольку маловероятно, что пользователь ожидает несколько минут после установки, прежде запустить новое приложение, поэтому «слишком позднее» обнаружение или обнаружение без четкого уведомления считается пропуском.

3 На этапе обсуждения результатов ведется активное взаимодействие с вендорами, чтобы устранить проблемы, связанные с превышением времени, и убедиться, что цифры в отчете отражают результаты реалистичного сценария.

В 2022 году стандартный подход в тестировании претерпел изменения. Корректировки внесены для того, чтобы отразить более обоснованный и реалистичный взгляд на серию тестовых испытаний в смоделированной среде.

Теперь, чтобы оценить фактическую эффективность антивирусов для Android, лаборатория придерживается обновленного алгоритма для каждого образца. Пересмотренная методология позволяет лучше понять, как отдельные антивирусные продукты обеспечивают защиту, и каковы могут быть ограничения и потенциальные проблемы.

  1. Убеждаемся, что антивирус обновлен, снабжен последними сигнатурами, а устройство подключено к Интернету. Перед тестированием нужно удостовериться, что функция «Play Защита» по умолчанию отключена.
  2. Браузер по умолчанию переходит на сайт с нейтральной репутацией и получает указание загрузить образец apk. Все функции безопасности браузера отключены, предупреждения о репутации URL игнорируются.
  3. Пакет загружается и инициируется автоматическая последовательность установки загруженного пакета.Все предупреждения отклоняются, и все появляющиеся системные диалоги принимаются.

Затем проверяется, в какой момент антивирус отображает предупреждение или оповещение:

  • a) на этапе загрузки образца: «Обнаружение во время загрузки».
  • b) после завершения загрузки, но до того, как началась установка приложения: «Обнаружение перед установкой».
  • c) после завершения установки приложения: «Обнаружение после установки».

Если антивирус не отображает предупреждение, то конкретный тестовый случай считается проваленным.

Примечание: на устройствах Android установка вредоносного приложения не всегда вызывает нежелательные последствия, в отличие от первого запуска, когда вредоносный код непосредственно исполняется. Запуск образца может иметь пагубные последствия с точки зрения безопасности. После первого запуска вредоносная программа, запрашивающая разрешение SYSTEM_ALERT_WINDOW, способна непрерывно отображать пользователю экран запроса доступа к администратору устройства. В таких случаях пользователь не может избавиться от приложения, поскольку у него нет доступа к лаунчеру, меню приложений или к настройкам устройства для удаления приложения. 4

4 Чтобы смягчить данный типичный тип вредоносного поведения, команда разработчиков Android API проверила экраны «Администратор устройства» и «Запрос специальных возможностей», чтобы включить флажок, который можно использовать, чтобы ОС не отображала этот экран снова. Эта функция появилась в последних версиях Android API.

Тест на ложные срабатывания

Чтобы провести всестороннюю оценку эффективности защиты участников тестирования, использовался ограниченный набор легитимных образцов: 10 приложений. Все они были загружены из известного стороннего магазина приложений, не демонстрировали вредоносное поведение и не запрашивали слишком много сомнительных разрешений.

Тестовые образцы

Реальные угрозы из сети

Реальные угрозы из сети

Рис.1. Распределение тестовых образцов

В тестировании использовался набор из 158 вредоносных образцов. Всех их можно разделить на следующие категории:

  • SMS-платежи (SMSs, SMS Payment). Приложение предоставляет функции отправки SMS-сообщений на платные номера. Большинство выбранных образцов были способны автоматически отправлять SMS и запрашивали системное разрешение SEND_SMS, что приводило к прямым финансовым потерям для жертвы.
  • Трояны (Trojans). Трояны – приложения, которое, согласно описанию, предлагают определенный набор функций. У пользователя складываются определенные ожидания по функциональности, но по факту приложение запрашивает разрешения, которые не соответствуют описанным функциям. Типичным примером является приложение Фонарик, которое может запрашивать доступ к контактам, данным местоположения и к передачи данных.
  • Шпионское ПО (Spyware). Образцы, относящиеся к данной категории, отправляли на внешние сервера информацию, которую можно использовать для отслеживания поведения пользователя и его привычек. Большинство рекламных приложений считаются шпионскими программами, поскольку они отправляют рекламным сетям IMEI, номер телефона, наименование производителя и модель телефона и другие данные.
  • Финансовое ПО / Интернет-банкинг (Banking). Данный тип угроз направлен на кражу денежных средств. Типичная финансовая вредоносная программа проверяет подключение к сеансу мобильного банкинга в браузере и может попытаться показать фишинг-сайт или всплывающее окно. Пользователь может подумать, что данные сеанса внезапно сбросились. Как правило, такие образцы запрашивают разрешение SYSTEM_ALERT_WINDOW, а также разрешение доступа к списку заданий.
  • ПНП (PUA). 5 Термин «Потенциально нежелательные приложения» (ПНП) применяется для описания приложений, которые выполняют действия, не соответствующие намерениям пользователя. Под данную категорию подпадают приложения с агрессивными рекламными модулями, которые позволяют рекламодателям отслеживать активность отдельных пользователей. Для многих пользователей конфиденциальность важнее функциональности, и никакие функции не смогут компенсировать продажу данных активности через Интернет. Антивирусы должны сообщать пользователю об установке ПНП.

Многие образцы могут быть отнесены сразу к нескольких категориям. Например, вредоносное приложение показывает агрессивную рекламу и при этом получается получить доступ к разрешению SEND_SMS для отправки сообщений на платные номера. Рисунок 1 показывает распределение тестовых образцов.

5 Приложения Android с интегрированным рекламным модулем социальных сетей часто попадают в «серую зону» с точки зрения обнаружения, поскольку любое легитимное приложение может быть превращено в ПНП, если разработчики активируют агрессивный рекламный модуль. Поэтому представлены отдельные графики для тестового набора с ПНП и без ПНП.

Симуляция угроз

Симуляторы – отдельные образцы, введенные в процесс тестирования для проверки процедур обнаружения. Симуляторы были созданы для имитации модели атаки с использование «стороннего магазина с вредоносными приложениями», предоставляющий пользователям модифицированные версии надежных приложений с бэкдорами и вредоносными модулями.

Образцы-симуляторы были созданы с использованием механизма проверки концепции, использующего методики статического внедрения байтового кода без обфускации вредоносных модулей. Многие образцы симуляторов были модифицированы для реализации функций специальных возможностей, что является общей характеристикой для нескольких семейств вредоносных программ.

Для нужд тестирования использовалось 5 специально созданных образцов симуляторов. Важно подчеркнуть, что эти образцы не были собраны в реальных условиях. В образцах была реализована известная техника эксплуатации функций специальных возможностей Android API, которая используется для чтения содержимого с экрана, SMS-токенов, платежных реквизитов и другой конфиденциальной информации. Симуляторы представляли собой модифицированные версии легитимных приложений Android, но включающие в себя вредоносную Службу специальных возможностей (Accessibility service), которая пытается украсть OTP 2FA токены из популярных инструментов (например, Google Authenticator, Azure Authenticator).

Кроме того, они эксплуатируют тот факт, что любому приложению разрешено создавать намерение запустить приложение Google Authenticator, которое, в свою очередь, сразу же показывает OTP (в отличие от необходимости успешной биометрической переаутентификации), что облегчает воровство OTP с помощью привилегий Службы специальных возможностей.

Образцы для проверки на ложные срабатывания

Для тестирования на ложные срабатывания использовался набор из 10 безопасных образцов из сторонних магазинов приложений. Приложения запрашивали различные разрешения и предлагали разную функциональность.

Итоги тестирования

Следующие продукты продемонстрировали 99%-ный (и выше) уровень обнаружения вредоносных образцов тестового набора, в котором отсутствовали ПНП. В процессе сертификации не делается различий по месту обнаружения, т.е. для получения награды необходимо, чтобы показатель пропущенных угроз (Miss) был ниже 1%. Следующие мобильные антивирусы получили сертификат MRG Effitas:

MRG Effitas 2023: Тестирование антивирусов для Android: Итоги тестирования

Результаты тестирования

Обозначения на графике

  • Miss – Угроза пропущена
  • Detection after install – Обнаружение после установки
  • Detection before install – Обнаружение перед установкой
  • Detection during download – Обнаружение во время загрузки

Общий уровень обнаружения (без ПНП)

Уровень обнаружения ПНП

Уровень обнаружения мобильных троянцев

Уровень обнаружения банковских угроз

Уровень обнаружения SMS-угроз

Уровень обнаружения мобильного шпионского ПО

Уровень обнаружения симулированных угроз

Результаты тестирования ложных срабатываний

Все антивирусы прошли тесты без ложных срабатываний

Выводы

По итогам тестирования можно сделать несколько выводов относительно эффективности антивирусных движков и используемых образцов.

Репутация вендора и дополнительные функции

В тестировании большинство известных крупных вендоров показали идеальный или близкий к идеальному результат при обнаружении реальных угроз. Для пользователей это означает богатый выбор продуктов, причем некоторые лидирующие решения распространяются бесплатно. В будущем важным приоритетом выбора могут оказаться дополнительные функции, такие как VPN, родительский контроль, единая подписка для ПК и мобильных устройств и др.

Конфиденциальность пользовательских данных как "новая" функция мобильных антивирусов

С появлением новых функций конфиденциальности смартфонов на iOS и Android, Google, похоже, стремится к более эффективной защите пользователей от угроз, затрагивающих использование стороннего отслеживания в целях масштабного анализа данных. Хотя в отношении достоверности заявлений технологического гиганта еще предстоит провести множество исследований.

Однако в сообществе специалистов по безопасности существует значительная доля скептицизма. Многие утверждают, что Google и Apple получают значительный доход от продажи пользовательских данных, а также от предоставления и поддержания способов доступа к информации для агрегаторов данных, поэтому фундаментальных изменений ожидать не стоит. Учитывая, что конфиденциальность данных пользователей сейчас находится в центре внимания, стоит ожидать, что сервисы конфиденциальности могут предложить антивирусам новый способ повышения ценности для всех пользователей Android.

«Антивирус – очередное приложение»

Еще один вывод по результатам тестирования: обнаружение многих мобильных антивирусов в значительной степени зависит от метаданных установленных пакетов (хэши, сертификаты разработчиков и др.). Это означает, что в отличие от среды Windows, антивирус на Android не может получить представление о реальной активности другого приложения, потому что такое поведение не согласуется с основными принципами безопасности Android, ведь «антивирус является очередным приложением». В результате, запустив только что установленный образец, было довольно трудно избавиться от некоторых образцов тестового набора с реальными угрозами. Таким образом, своевременное и правильно отображаемое обнаружение является абсолютной необходимостью для мобильных антивирусных движков.

Механизмы обнаружения

Тестирование подтвердило, что большинство мобильных антивирусов используют различные методы обнаружения до и после установки. Это объясняется доступом к различному набору метаданных в случае с файлом на SD-карте и в случае с установленным приложением.

Обновленная методика тестирования четко выделяет тенденцию механизмов обнаружения и их временного функционирования. Некоторые антивирусы для Android обнаруживают угрозы сразу после как только они загружаются, другие делают акцент на обнаружении после установки.

Чем раньше антивирус обнаруживает угрозу, тем лучше он работает с точки зрения пользователя. Тем не менее, учитывая, что даже успешная установка вредоносного ПО может быть исправлена, при условии, что пользователь предупрежден до первого нажатия на значок программы и обнаружение происходит вскоре после установки, тестовый пример засчитывается как "Пройден" во всех сценариях, где антивирус выводит предупреждение пользователю.

Обнаружение симуляторов

Многие антивирусные движки, которые успешно справились с обнаружением симуляторов в прошлых тестах, на этот раз смогли выполнить обнаружение исключительно на основе признаков сигнатуры пакета. Это означает, что успешное обнаружение было результатом работы механизма, в значительной степени склонного к ложным срабатываниям. Из-за этого в предыдущих раундах тестирования у многих продуктов были проблемы с обнаружением образцов симулятора.

В MRG Effitas неоднократно поступали заявления о том, что используемые симуляторы не представляют собой реалистичный сценарий для антивирусного движка. Тем не менее, анализы реальных угроз показывают, что представленный сценарий используется в течение почти 10 лет. Схема, когда злоумышленник выбирает существующее приложение Android для выполнения скрытой шпионской деятельности, известна давно. Самая известная кампания с таким подходом – APT Dark Caracal, ее анализ представила компания Lookout.

Оповещение об обнаружении

В истории тестов «Android 360 Assessment Programme» замечены существенные различия в способах оповещения пользователей. Когда дело доходит до успешного обнаружения, эффективное и четкое уведомление пользователя является важной частью как эффективности антивирусного приложения, так и общего пользовательского опыта. В протестированных приложениях применялся один из следующих подходов:

  1. Запуск отдельного экрана с красным фоном и несколькими строками описания угрозы.
  2. Использование системы оповещений Android для выдачи важных уведомлений, обычно отображаемых в строке состояния.

Оба подхода имеют свои достоинства. Отдельный экран сложно проигнорировать, а уведомления Android лучше соответствуют пользовательскому опыту ОС. Android предоставляет множество опций настройки уведомлений, поэтому уведомления могут быть случайно пропущены. Большинство протестированных приложений выбирают первый подход.

Что касается формулировок и общего дизайна, то во многих приложениях уведомления можно улучшить. При использовании системы оповещения Android задача разработчика – сообщить пользователю как можно больше информации для принятия верного решения. Ответственный пользователь должен прочитать и обработать текст, отображаемый на экране, что представляет значительную умственную нагрузку, особенно для технически не подкованных пользователей. В результате хорошо продуманный интерфейс может иметь решающее значения для пользователя при принятии решения (что в итоге делает устройства более безопасными).

Новые угрозы в 2023 году

  • "Greyware" и дизайн API Android: "Greyware" — это приложения, которые предоставляют полезные функции, но при этом представляют серьезные риски для конфиденциальности данных пользователя. Некоторые из них могут злоупотреблять возможностями Android API, что остается нерешенной проблемой безопасности.
  • Stalkerware: Программы, представленные как инструменты для "наблюдения за устройством родителями", на самом деле являются инвазивным шпионским ПО. Несмотря на необходимость авторизации действий пользователя при установке, такие приложения представляют собой серьезную угрозу конфиденциальности.
  • Китайские внутренние приложения: Некоторые китайские приложения, широко используемые в Китае, содержат функции шпионского ПО, но при этом предоставляют реальную функциональность. В Европе и США они могут рассматриваться как подозрительные, но некоторые производители антивирусного ПО намеренно их игнорируют.
© . По материалам MRG Effitas
Комментарии и отзывы

Нашли ошибку?

Новое на сайте