MRG Effitas 2019: Тестирование корпоративных антивирусов для Windows 10 и 7

2019-08-21 7347 комментарии
Лаборатория MRG Effitas проводит динамическое тестирование 360 Assessment в течение 2019 года. Испытанию подвергаются корпоративные антивирусы на платформе Windows 10 и Windows 7 в условиях приближенных к реальным с полным спектром угроз

MRG Effitas 2019: Тестирование корпоративных антивирусов для Windows 10 и 7

Обновлено (21.08.2019). Опубликованы результаты за второй квартал 2019 года, в котором было протестировано 12 корпоративных антивирусов.

Лаборатория MRG Effitas уделяет основное внимание оценке эффективности программ безопасности при противодействии финансовым угрозам, а также в традиционных динамических тестах.

Методология, используемая в данном тесте, максимально приближена к условиям реального использования. Данная программа тестов называется «360 Assessments», поскольку она затрагивает полный спектр вредоносных программ, а не только финансовые угрозы.

В тестах «360 Assessments» используются трояны, бэкдоры, шифровальщики, финансовые угрозы и другие виды угроз. Кроме динамических испытаний, лаборатория проводит тесты для проверки защиты против ПНП (потенциально нежелательных программ), рекламного ПО, эксплойтов, бесфайловых угроз, измеряет уровень ложных срабатываний и влияние программ безопасности на производительность системы.

Динамическое тестирование антивирусов

Комплексное тестирование антивирусов

Большинство вредоносных URL-адресов, используемых в данном тесте соответствуют взломанным, некогда надежным сайтам, которые распространяют вредоносные программы. Данные URL представляет большую опасность для пользователей, потому что они меньше всего ожидают атак в таких ситуациях. URL-адреса собираются с помощью специальных приманок, а в случае с шифровальщиками и финансовым ПО, используются URL недавно обнаруженных ресурсов по распространению угроз.

Вредоносные программы, применяемые в данном тесте, можно рассматривать как угрозы нулевого дня в истинном значении данного термина. Они представляют серьезный вызов для участников тестирования.

Программы безопасности, которые не защищают систему от шифрования файлов программами-вымогателями, не могут получить сертификацию, потому что они не могут устранить вредоносные последствия и восстановить доступ к файлам.

Примерно 10% угроз, используемых в данном тесте, были введены систему через внутреннюю веб-почту. Эксперты лаборатории стали свидетелями того, как многие организации малого бизнеса страдали от заражений, распространяющихся с помощью корпоративной веб-почты из-за отсутствия надежной системы фильтрации спама. Загрузка вредоносных вложений из корпоративной почты не вызывает срабатывание веб-защиты продуктов, и это часто происходит в реальном мире.

Защита от ПНП / Рекламного ПО

Образцы ПНП (потенциально нежелательных программ), используемые в тесте являются поддельными приложениями или потенциально нежелательными программами (ПНП), которые не являются вредоносными, но считаются неуместными в большинстве домашних и корпоративных сетей. Они содержат агрессивную рекламу, устанавливают тулбары или преследуют другие неочевидные цели. Они могут способствовать повышенному потреблению ресурсов компьютера. ПНП могут вводить в заблуждение пользователя, наносить реальный ущерб, выполнять фальшивые действия, показывать агрессивные всплывающие окна или пугать пользователя. Они могут предоставлять нетрадиционные способы удаления, оставляя некоторые компоненты в системе без согласия пользователя. Лаборатория используют информационный поток организации AppEsteem с дополнительной фильтрацией. AppEsteem сформулировала четкие стандарты ПНП по индустрии, которые применяются ведущими мировыми компаниями в области компьютерной безопасности, а также создала минимальный набор требований, которые должны удовлетворять приложения и сервисы, чтобы не подходить под термин ПНП.

AppEsteem является членом AMTSO и ставить своей миссией содействие компаниям безопасности в защите потребителей от преследований и нежелательных материалов. MRG Effitas, как член AMTSO, также следует данным целям.

Защита от эксплойтов и бесфайловых угроз

Основная цель данного теста – ознакомиться с тем, как программы безопасности защищают от конкретных техник эксплуатации. Чтобы это оценить, лаборатория разработала тестовые сценарии, которые симулируют соответствующий экслойт и пост-эксплуатационные техники. Благодаря данной методике, можно узнать, какие продукты предоставляют защиту от отдельных методов эксплуатации.

Эксплойты со скрытой загрузкой являются одними из самых больших угроз и проблем в корпоративной среде, поскольку для запуска вредоносного ПО на компьютере пользователя не требуется взаимодействие с пользователем. Устаревшие браузеры и среды Office сохраняют высокую популярность в корпоративной среде из-за проблем совместимости, отсутствия правильного контроля над развертыванием патчей и др.

В данном испытании лаборатория не заинтересована в проверке способности продуктов избегать непосредственной встречи с противником, обнаруживать опасность или прерывать доставку угрозы перед внедрением в систему. Вместо этого MRG Effitas концентрируется непосредственно на анализе способности продуктов принимать меры снижения рисков против каждой техники атаки. Результаты не предназначены для оценки полной эффективности продуктов, а скорее для оценки эффективности исключительно защиты от экслойтов и функциям защиты от последствий эксплуатации в изолированной среде.

Тест на ложные срабатывания

Блокировка вредоносных программ не всегда достигается 100%-ным уровнем обнаружения. Во многих случаях блокировка угрозы является следствием агрессивно настроенного фильтра, который может блокировать неопасные программы, а также нарушать повседневную работу, блокируя надежные или недавно разработанные собственные приложения.

Чтобы протестировать данную функцию, MRG Effitas проверяет, как тестируемые программы безопасности справляются с обработкой абсолютно чистых, недавно созданных приложений.

Тестирование производительности

Полезность продукта безопасности не зависит только лишь от степени защиты. Большое значение также имеет воздействие на операционную систему и быстродействие машины.

Чтобы оценить влияние продуктов на работу операционной систему, MRG Effitas провела оценку нескольких факторов производительности на физической машине и сопоставила результаты с помощью системы начисления баллов.

В каждом тестовом случае (за исключением теста производительности) тестовая среда лаборатории поддерживала использование совместимых с виртуальными машинами угроз, поэтому специалисты MRG Effitas могли применять более сложные угрозы, которые не запускаются на виртуальных машинах.

Сертификация MRG Effitas

Программа сертификации предназначена для отражения эффективности продукта на основе «имеющих значение метрик».

Во многих предыдущих тестах, особенно тех, которые проверяли защиту против финансового ПО, за точку отсчета бралась гипотеза, что конечная точка уже была скомпрометирована. MRG Effitas, как одним из лидирующих поставщиков списков вредоносных URL и новейших бинарных исполняемых файлов угроз, прекрасно знает, что любая конечная точка может быть заражена независимо от используемого решения безопасности.

Способность продукта блокировать начальное заражение не является единственным показателем, который имеет значение (хотя в некоторых случаях является критически важным). Также необходимо измерять время, которое занимает обнаружение конкретной угрозы и время на восстановление вредоносных последствий.

При проведении данных тестов специалисты лаборатории пытаются моделировать обычное поведение пользователей. Лаборатория понимает, что динамическое тестирование не может проводиться командной профессионалов внутри лаборатории, потому что эксперты знают как работают те или иные виды вредоносных программ, как проводятся вредоносные атаки и как их можно предотвратить. Моделирование стандартного поведения пользователя означает, что лаборатория уделяет особое внимание всем предупреждениям со стороны программ безопасности. Зеленый свет дается только, если предупреждения являются простыми и понятными, и они доступно объясняют, что вредоносное действие должно быть заблокировано.

При этом очень важно отметить, что лучший выбор для обычного пользователя представляет потенциальный продукт, который не показывают слишком много всплывающих оповещений и не задает слишком много вопросов.

Результаты тестирования

Q1 2019

Q1 2019

Динамическое тестирование антивирусов проводилось независимой лабораторией MRG Effitas в первом квартале (Q1) 2019 года по следующему сценарию:

  • 11 решений безопасности, корпоративные антивирусы
  • 339 образцов распространенных угроз "In-the-Wild"
  • Операционная система: Windows 10 x64, Windows 7 x64
  • Браузер: Google Chrome
  • Сценарий реального использования без инициированной пользователем нейтрализации угроз
  • Проверки защиты против ПНП, рекламного ПО, эксплойтов, бесфайловых угроз
  • Проверка уровня ложных срабатываний и влияния антивирусов на производительность системы

Тестируемые антивирусы

Использовались следующие антивирусные программы с последними версиями на момент тестирования:

Антивирус Версия
Avast Business Antivirus 19.3.2554
Avira Antivirus Pro – Business edition 15.0.45.1184
Bitdefender Endpoint Security – Elite 6.6.10.146
CrowdStrike Falcon Protect 4.26.8904.0
ESET Endpoint Security 7.0.2091.0
F-Secure Computer Protection Premium 19.2
Kaspersky Small Office Security 19.0.0.1088 (d)
McAfee Endpoint Security 10.6.0.542
Microsoft "Защитник Windows" + SmartScreen 4.18.904.1
Symantec Endpoint Protection Cloud 22.16.2.22
Trend Micro Worry-Free Business Security 20.0.1049

Пропущенные и заблокированные образцы

Во время тестирования «In the Wild 360» использовалось 339 "живых" образцов зловредов. Тестовая полезная нагрузка включала трояны (71), бэкдоры (52), финансовые угрозы (119), шифровальщики (31), шпионское ПО (47) и другие угрозы (19).

Пропущенные и заблокированные образцы

Auto blocks – автоматическая блокировка угроз, Behaviour block – поведенческая блокировка с помощью проактивной защиты, Block in 24h – блокировка в течение 24 часов, Miss – пропущенные угрозы

Блокировка шифровальщиков (ransomware)

Блокировка троянов вымогателей (ransomware)

Блокировка финансовых угроз

Блокировка финансовых угроз

Блокировка ПНП и рекламного ПО

В тестировании против ПНП / рекламного ПО проводится проверка на защиту от ПНП-угроз (21 образец), полученных из потока AppEsteem.

Блокировка потенциально нежелательных программ (ПНП)

Блокировка эксплойтов и бесфайловых угроз

Во время тестирования использовалось 6 различных техник эксплуатации.

Блокировка эксплойтов и бесфайловых угроз

Ложные срабатывания

В испытании на выявление ложных срабатываний использовалась коллекция из безопасных и надежных образцов (954). Среди тестовых объектов – образцы, которые можно найти в корпоративных средах: драйверы, редакторы мультимедийных файлов, инструменты разработчика и др.

Ложные срабатывания

Влияние антивирусов на производительность

Диаграмма отсортирована от наивысшего к низшему баллу, где наивысший балл означает наименьшее влияние на систему.

Влияние антивирусов на производительность

Влияние антивирусов на производительность

Сертификат MRG Effitas: 360 Assessment

Из 11 протестированных продуктов, 10 антивирусов смогли выполнять необходимые условия для получения сертификации MRG Effitas: 360 Assessment Q1 2019.

MRG Effitas: 360 Assessment – динамическое тестирование антивирусов – 1 квартал (Q1) 2019 года

Тест пройден

Только эти антивирусные программы / инструменты получают сертификат "MRG Effitas 360 Assessment" за первый квартал 2019 года:

Уровень 1. Все угрозы обнаружены при первом выполнении или с помощью проактивной защиты.

Уровень 2. Не менее 98% угроз обнаружено и обезврежено / система восстановлена до или во время первого сканирования.

Тест провален

Q2 2019

Q2 2019

Динамическое тестирование антивирусов проводилось независимой лабораторией MRG Effitas во втором квартале (Q2) 2019 года по следующему сценарию:

  • 12 решений безопасности, корпоративные антивирусы
  • 398 образцов распространенных угроз "In-the-Wild"
  • Операционная система: Windows 10 x64, Windows 7 x64
  • Браузер: Google Chrome
  • Сценарий реального использования без инициированной пользователем нейтрализации угроз
  • Проверки защиты против ПНП, рекламного ПО, эксплойтов, бесфайловых угроз
  • Проверка уровня ложных срабатываний и влияния антивирусов на производительность системы

Тестируемые антивирусы

Использовались следующие антивирусные программы с последними версиями на момент тестирования:

Антивирус Версия
Avast Business Antivirus 19.5.2563
Avira Antivirus Pro – Business edition 15.0.1906.1432
Bitdefender Endpoint Security – Elite 6.6.11.162
CrowdStrike Falcon Sensor 5.12.9302.0
ESET Endpoint Security 7.0.2091.0
F-Secure Computer Protection Premium 19.5
Kaspersky Small Office Security 19.0.0.1088(f)
McAfee Endpoint Security 10.6.0.542
Microsoft "Защитник Windows" + SmartScreen 1.1.16100.4
Sophos Intercept X 2.0.14
Symantec Endpoint Protection Cloud 22.17.2.47
Trend Micro Worry-Free Business Security 6.6.2457/14.1.1516

Пропущенные и заблокированные образцы

Во время тестирования «In the Wild 360» использовалось 398 "живых" образцов зловредов. Тестовая полезная нагрузка включала трояны (148), бэкдоры (72), финансовые угрозы (94), шифровальщики (5), шпионское ПО (56), вредоносные скрипты (8), спам (1) и другие угрозы (14).

Пропущенные и заблокированные образцы

Auto blocks – автоматическая блокировка угроз, Behaviour block – поведенческая блокировка с помощью проактивной защиты, Block in 24h – блокировка в течение 24 часов, Miss – пропущенные угрозы

Блокировка шифровальщиков (ransomware)

Блокировка троянов вымогателей (ransomware)

Блокировка финансовых угроз

Блокировка финансовых угроз

Блокировка ПНП и рекламного ПО

В тестировании против ПНП / рекламного ПО проводится проверка на защиту от ПНП-угроз (11), полученных из потока AppEsteem.

Блокировка потенциально нежелательных программ (ПНП)

Блокировка эксплойтов и бесфайловых угроз

Во время тестирования использовалось 10 различных техник эксплуатации.

Блокировка эксплойтов и бесфайловых угроз

Ложные срабатывания

В испытании на выявление ложных срабатываний использовалась коллекция из безопасных и надежных образцов (1032). Среди тестовых объектов – образцы, которые можно найти в корпоративных средах: драйверы, редакторы мультимедийных файлов, инструменты разработчика и др.

Ложные срабатывания

Влияние антивирусов на производительность

Диаграмма отсортирована от наивысшего к низшему баллу, где наивысший балл означает наименьшее влияние на систему.

Влияние антивирусов на производительность

Влияние антивирусов на производительность

Сертификат MRG Effitas: 360 Assessment

Из 12 протестированных продуктов, 9 антивирусов смогли выполнять необходимые условия для получения сертификации MRG Effitas: 360 Assessment Q2 2019.

MRG Effitas: 360 Assessment – динамическое тестирование антивирусов – второй квартал (Q2) 2019 года

Тест пройден

Только эти антивирусные программы / инструменты получают сертификат "MRG Effitas 360 Assessment" за второй квартал 2019 года:

Уровень 1. Все угрозы обнаружены при первом выполнении или с помощью проактивной защиты.

Уровень 2. Не менее 98% угроз обнаружено и обезврежено / система восстановлена до или во время первого сканирования.

-

Тест провален

© .

Комментарии и отзывы

Добавляя комментарий, ознакомьтесь с Правилами сообщества