MRG Effitas 2020: Тестирование корпоративных антивирусов для Windows 10

2020-12-23 3071 комментарии
Лаборатория MRG Effitas провела динамическое тестирование 360 Assessment в третьем квартале (Q3) 2020 года. Испытанию подверглись корпоративные антивирусы на платформе Windows 10 в условиях приближенных к реальным с полным спектром угроз

Лаборатория MRG Effitas уделяет основное внимание оценке эффективности программ безопасности при противодействии финансовым угрозам, а также в традиционных динамических тестах.

Методология, используемая в данном тесте, максимально приближена к условиям реального использования. Данная программа тестов называется «360 Assessments», поскольку она затрагивает полный спектр вредоносных программ, а не только финансовые угрозы.

В тестах «360 Assessments» используются трояны, бэкдоры, программы-вымогатели, финансовые угрозы и другие виды угроз. Кроме динамических испытаний, лаборатория проводит тесты для проверки защиты против ПНП (потенциально нежелательных программ), рекламного ПО, эксплойтов, бесфайловых угроз, измеряет уровень ложных срабатываний и влияние программ безопасности на производительность системы.

Динамическое тестирование антивирусов

Комплексное тестирование антивирусов

Большинство вредоносных URL-адресов, используемых в данном тесте соответствуют взломанным, некогда надежным сайтам, которые распространяют вредоносные программы. Данные URL представляет большую опасность для пользователей, потому что они меньше всего ожидают атак в таких ситуациях. URL-адреса собираются с помощью специальных приманок, а в случае с программами-вымогателями и финансовым ПО, используются URL недавно обнаруженных ресурсов по распространению угроз.

Вредоносные программы, применяемые в данном тесте, можно рассматривать как угрозы нулевого дня в истинном значении данного термина. Они представляют серьезный вызов для участников тестирования.

Программы безопасности, которые не защищают систему от шифрования файлов программами-вымогателями, не могут получить сертификацию, потому что они не могут устранить вредоносные последствия и восстановить доступ к файлам.

Примерно 10% угроз, используемых в данном тесте, были введены систему через внутреннюю веб-почту. Эксперты лаборатории стали свидетелями того, как многие организации малого бизнеса страдали от заражений, распространяющихся с помощью корпоративной веб-почты из-за отсутствия надежной системы фильтрации спама. Загрузка вредоносных вложений из корпоративной почты не вызывает срабатывание веб-защиты продуктов, и это часто происходит в реальном мире.

Защита от ПНП / Рекламного ПО

Образцы ПНП (потенциально нежелательных программ), используемые в тесте являются поддельными приложениями или потенциально нежелательными программами (ПНП), которые не являются вредоносными, но считаются неуместными в большинстве домашних и корпоративных сетей. Они содержат агрессивную рекламу, устанавливают тулбары или преследуют другие неочевидные цели. Они могут способствовать повышенному потреблению ресурсов компьютера. ПНП могут вводить в заблуждение пользователя, наносить реальный ущерб, выполнять фальшивые действия, показывать агрессивные всплывающие окна или пугать пользователя. Они могут предоставлять нетрадиционные способы удаления, оставляя некоторые компоненты в системе без согласия пользователя. Лаборатория используют информационный поток организации AppEsteem с дополнительной фильтрацией. AppEsteem сформулировала четкие стандарты ПНП по индустрии, которые применяются ведущими мировыми компаниями в области компьютерной безопасности, а также создала минимальный набор требований, которые должны удовлетворять приложения и сервисы, чтобы не подходить под термин ПНП.

AppEsteem является членом AMTSO и ставить своей миссией содействие компаниям безопасности в защите потребителей от преследований и нежелательных материалов. MRG Effitas, как член AMTSO, также следует данным целям.

Защита от эксплойтов и бесфайловых угроз

Основная цель данного теста – ознакомиться с тем, как программы безопасности защищают от конкретных техник эксплуатации. Чтобы это оценить, лаборатория разработала тестовые сценарии, которые симулируют соответствующий экслойт и пост-эксплуатационные техники. Благодаря данной методике, можно узнать, какие продукты предоставляют защиту от отдельных методов эксплуатации.

Эксплойты со скрытой загрузкой являются одними из самых больших угроз и проблем в корпоративной среде, поскольку для запуска вредоносного ПО на компьютере пользователя не требуется взаимодействие с пользователем. Устаревшие браузеры и среды Office сохраняют высокую популярность в корпоративной среде из-за проблем совместимости, отсутствия правильного контроля над развертыванием патчей и др.

В данном испытании лаборатория не заинтересована в проверке способности продуктов избегать непосредственной встречи с противником, обнаруживать опасность или прерывать доставку угрозы перед внедрением в систему. Вместо этого MRG Effitas концентрируется непосредственно на анализе способности продуктов принимать меры снижения рисков против каждой техники атаки. Результаты не предназначены для оценки полной эффективности продуктов, а скорее для оценки эффективности исключительно защиты от экслойтов и функциям защиты от последствий эксплуатации в изолированной среде.

Тестирование защиты от ботнета – TinyNuke

TinyNuke (он же Nuclear Bot, NukeBot) – модульный банковский троян в стиле Zeus. Он был выпущен на GitHub в 2016 году. Бот-сеть имеет некоторые встроенные функции, включая инъекцию HTML-кода, но обычно TinyNuke используется для кражи учетных данных веб-сервисов. У него есть три главных компонента: C&C сервер, PE-файл (бот) и DLL, загружаемый в память.

Симуляция финансовой атаки – Обфусцированный ZombieBrowserPack

Обфусцированная версия ZombieBrowserPack была разработана для исследовательских и тестовых целей. Это полнофункциональный расширение для браузеров Firefox, Chrome и Safari, которое можно использовать для кражи учетных записей.

Тест на ложные срабатывания

Блокировка вредоносных программ не всегда достигается 100%-ным уровнем обнаружения. Во многих случаях блокировка угрозы является следствием агрессивно настроенного фильтра, который может блокировать неопасные программы, а также нарушать повседневную работу, блокируя надежные или недавно разработанные собственные приложения.

Чтобы протестировать данную функцию, MRG Effitas проверяет, как тестируемые программы безопасности справляются с обработкой абсолютно чистых, недавно созданных приложений.

Тестирование производительности

Полезность продукта безопасности не зависит только лишь от степени защиты. Большое значение также имеет воздействие на операционную систему и быстродействие машины.

Чтобы оценить влияние продуктов на работу операционной систему, MRG Effitas провела оценку нескольких факторов производительности на физической машине и сопоставила результаты с помощью системы начисления баллов.

В каждом тестовом случае (за исключением теста производительности) тестовая среда лаборатории поддерживала использование совместимых с виртуальными машинами угроз, поэтому специалисты MRG Effitas могли применять более сложные угрозы, которые не запускаются на виртуальных машинах.

Сертификация MRG Effitas

Программа сертификации предназначена для отражения эффективности продукта на основе «имеющих значение метрик».

Во многих предыдущих тестах, особенно тех, которые проверяли защиту против финансового ПО, за точку отсчета бралась гипотеза, что конечная точка уже была скомпрометирована. MRG Effitas, как одним из лидирующих поставщиков списков вредоносных URL и новейших бинарных исполняемых файлов угроз, прекрасно знает, что любая конечная точка может быть заражена независимо от используемого решения безопасности.

Способность продукта блокировать начальное заражение не является единственным показателем, который имеет значение (хотя в некоторых случаях является критически важным). Также необходимо измерять время, которое занимает обнаружение конкретной угрозы и время на восстановление вредоносных последствий.

При проведении данных тестов специалисты лаборатории пытаются моделировать обычное поведение пользователей. Лаборатория понимает, что динамическое тестирование не может проводиться командной профессионалов внутри лаборатории, потому что эксперты знают как работают те или иные виды вредоносных программ, как проводятся вредоносные атаки и как их можно предотвратить. Моделирование стандартного поведения пользователя означает, что лаборатория уделяет особое внимание всем предупреждениям со стороны программ безопасности. Зеленый свет дается только, если предупреждения являются простыми и понятными, и они доступно объясняют, что вредоносное действие должно быть заблокировано.

При этом очень важно отметить, что лучший выбор для обычного пользователя представляет потенциальный продукт, который не показывают слишком много всплывающих оповещений и не задает слишком много вопросов.

Результаты тестирования

Q3 2020

Динамическое тестирование антивирусов проводилось независимой лабораторией MRG Effitas в первом квартале (Q1) 2019 года по следующему сценарию:

  • 8 решений безопасности, корпоративные антивирусы
  • 536 образцов распространенных угроз "In-the-Wild"
  • Тестирование защиты от активного ботнета TinyNuke
  • Симуляция финансовой атаки с помощью обфусцированной версия ZombieBrowserPack
  • Сценарий реального использования без инициированной пользователем нейтрализации угроз
  • Проверки защиты против ПНП, рекламного ПО, эксплойтов, бесфайловых угроз
  • Проверка уровня ложных срабатываний и влияния антивирусов на производительность системы
  • Операционная система: Windows 10 x64
  • Браузеры: Google Chrome и Firefox

Тестируемые антивирусы

Использовались следующие антивирусные программы с последними версиями на момент тестирования:

Антивирус Версия
Avast Business Antivirus 20.7.2608
Avira Antivirus Pro 1.0.23.8081
Bitdefender Endpoint Security 6.6.21.302
ESET Endpoint Security 7.3.2036.0
F-Secure Computer Protection Premium 20.4
Microsoft Defender 4.18.1911.3
Symantec Endpoint Protection 14.3.558
Trend Micro Security 6.7.1185/14.2.1108

Пропущенные и заблокированные образцы

Во время тестирования «In the Wild 360» использовалось 536 "живых" ITW образцов зловредов. Тестовая полезная нагрузка включала трояны (45), бэкдоры (79), финансовые угрозы (66), программы-вымогатели (73), шпионское ПО (72), зараженные документы (78), зараженные email-сообщения (69), вредоносные скрипты (54).

Пропущенные и заблокированные образцы

Auto blocks – автоматическая блокировка угроз, Behaviour block – поведенческая блокировка с помощью проактивной защиты, Block in 24h – блокировка в течение 24 часов, Miss – пропущенные угрозы

Блокировка программ-вымогателей (ransomware)

Блокировка троянов вымогателей (ransomware)

Блокировка финансовых угроз

Блокировка финансовых угроз

Блокировка ПНП и рекламного ПО

В тестировании против ПНП / рекламного ПО проводится проверка на защиту от ПНП-угроз (18 образов), полученных из потока AppEsteem.

Блокировка потенциально нежелательных программ (ПНП)

Блокировка эксплойтов и бесфайловых угроз

Во время тестирования использовалось 10 различных техник эксплуатации.

Блокировка эксплойтов и бесфайловых угроз

Пропущенный образец #008 (ложноположительный случай), обозначенный знаком *, оспаривается Avast, потому что с их точки зрения, выполнение любого двоичного файла через макросы Office следует рассматривать как вредоносное действие.

Защита от ботнета TinyNuke

Защита от ботнета TinyNuke

Блокировка симулированной атаки

Блокировка симулированной атаки

Ложные срабатывания

В испытании на выявление ложных срабатываний использовалась коллекция из безопасных и надежных образцов (1108). Среди тестовых объектов – образцы, которые можно найти в корпоративных средах: драйверы, редакторы мультимедийных файлов, инструменты разработчика и др.

Ложные срабатывания

Влияние антивирусов на производительность

Диаграмма отсортирована от наивысшего к низшему баллу, где наивысший балл означает наименьшее влияние на систему.

Влияние антивирусов на производительность

Влияние антивирусов на производительность

Сертификат MRG Effitas: 360 Assessment

Из 8 протестированных продуктов, 5 антивирусов смогли выполнить необходимые условия для получения сертификации MRG Effitas: 360 Assessment Q3 2020.

MRG Effitas: 360 Assessment – динамическое тестирование антивирусов – 1 квартал (Q1) 2019 года

Уровень 1

Для получения ежеквартальной сертификации MRG Effitas 360 Degree (Уровень 1), приложение безопасности должно полностью защитить систему от первоначального заражения: либо путем автоматической блокировки каждого ITW образца, или блокировкой угроз на основе их поведения, предотвращая любые вредоносные действия. Также антивирус должен пройти тест на активный ботнет (Live Botnet Test). Тесты на защиту от ПНП, ложные срабатывания, защиту от эксплойтов и бесфайловых угроз, симулятор финансового вредоносного ПО и тесты производительности не являются частью сертификации.

Уровень 2

Сертификация MRG Effitas 360 Degree (Уровень 2) дается, если антивирус блокирует или обнаруживает любое изначально пропущенное вредоносное ПО, по крайней мере, в 98% случаев при повторном тестировании чрез 24 часа, в то время как изначально пропущенные тестовые случаи составляют менее 10%. В случае успешного запуска трояна-вымогателя, если файлы больше недоступны, сертификация 2-го уровня теряется.

Без сертификата

Следующие антивирусы не смогли обнаружить более 98% угроз и исправить заражение во время процедуры тестирования.

© .

Комментарии и отзывы

Добавляя комментарий, ознакомьтесь с Правилами сообщества

Нашли ошибку?