MRG Effitas: Тестирование корпоративных антивирусов для Windows 10

2019-02-01 | Автор | комментарии
Лаборатория MRG Effitas опубликовала итоги динамического тестирования 360 Assessment за четвертый квартал (Q4) 2018 года. Тестирование корпоративных антивирусов проводилось на ОС Windows 10 64-bit в условиях приближенных к реальным с полным спектром угроз

MRG Effitas: Динамическое тестирование антивирусов для Windows 10. Q4 2018

Лаборатория MRG Effitas уделяет основное внимание оценке эффективности программ безопасности при противодействии финансовым угрозам, а также в традиционных динамических тестах.

Методология, используемая в данном тесте, максимально приближена к условиям реального использования. Данная программа тестов называется «360 Assessments», поскольку она затрагивает полный спектр вредоносных программ, а не только финансовые угрозы.

В тестах «360 Assessments» используются трояны, бэкдоры, шифровальщики, финансовые угрозы и другие виды угроз. Кроме динамических испытаний, лаборатория проводит тесты для проверки защиты против ПНП (потенциально нежелательных программ), рекламного ПО, эксплойтов, бесфайловых угроз, измеряет уровень ложных срабатываний и влияние программ безопасности на производительность системы.

Динамическое тестирование антивирусов. Q4 2018

Динамическое тестирование антивирусов проводилось независимой лабораторией MRG Effitas в четвертом квартале (Q4) 2018 года по следующему сценарию:

  • 9 решений безопасности, корпоративные антивирусы
  • 297 образцов распространенных угроз "In-the-Wild"
  • Операционная система: Windows 10 x64
  • Браузер: Microsoft Edge
  • Сценарий реального использования без инициированной пользователем нейтрализации угроз
  • Проверки защиты против ПНП, рекламного ПО, эксплойтов, бесфайловых угроз
  • Проверка уровня ложных срабатываний и влияния антивирусов на производительность системы

Тестируемые антивирусы

Использовались следующие антивирусные программы с последними версиями на момент тестирования:

Антивирус Версия
Avast Business Antivirus 18.8.2546
Avira Antivirus Pro – Business edition 15.0.43.24
Bitdefender Endpoint Security 6.6.6.84
ESET Endpoint Security 7.0.2091.0
F-Secure Computer Protection Premium 18.18
Kaspersky Small Office Security 19.0.0.1088 (d)
McAfee Endpoint Security 10.6.0.542
Microsoft "Защитник Windows" + SmartScreen 4.18.1812.3
Symantec Endpoint Protection Cloud 22.16.2.22

Комплексное тестирование антивирусов

Большинство вредоносных URL-адресов, используемых в данном тесте соответствуют взломанным, некогда надежным сайтам, которые распространяют вредоносные программы. Данные URL представляет большую опасность для пользователей, потому что они меньше всего ожидают атак в таких ситуациях. URL-адреса собираются с помощью специальных приманок, а в случае с шифровальщиками и финансовым ПО, используются URL недавно обнаруженных ресурсов по распространению угроз.

Вредоносные программы, применяемые в данном тесте, можно рассматривать как угрозы нулевого дня в истинном значении данного термина. Они представляют серьезный вызов для участников тестирования.

Программы безопасности, которые не защищают систему от шифрования файлов программами-вымогателями, не могут получить сертификацию, потому что они не могут устранить вредоносные последствия и восстановить доступ к файлам.

Примерно 10% угроз, используемых в данном тесте, были введены систему через внутреннюю веб-почту. Эксперты лаборатории стали свидетелями того, как многие организации малого бизнеса страдали от заражений, распространяющихся с помощью корпоративной веб-почты из-за отсутствия надежной системы фильтрации спама. Загрузка вредоносных вложений из корпоративной почты не вызывает срабатывание веб-защиты продуктов, и это часто происходит в реальном мире.

Во время тестирования «In the Wild 360» использовалось 297 "живых" образцов зловредов. Тестовая полезная нагрузка включала трояны (129), бэкдоры (30), финансовые угрозы (61), шифровальщики (20), шпионское ПО (34), вредоносные скрипты (13) и другие угрозы (10).

Пропущенные и заблокированные образцы

Пропущенные и заблокированные образцы

Auto blocks – автоматическая блокировка угроз, Behaviour block – поведенческая блокировка с помощью проактивной защиты, Block in 24h – блокировка в течение 24 часов, Miss – пропущенные угрозы

Блокировка шифровальщиков (ransomware)

Блокировка троянов вымогателей (ransomware)

Блокировка финансовых угроз

Блокировка финансовых угроз

Защита от ПНП / Рекламного ПО

Образцы ПНП (потенциально нежелательных программ), используемые в тесте являются поддельными приложениями или потенциально нежелательными программами (ПНП), которые не являются вредоносными, но считаются неуместными в большинстве домашних и корпоративных сетей. Они содержат агрессивную рекламу, устанавливают тулбары или преследуют другие неочевидные цели. Они могут способствовать повышенному потреблению ресурсов компьютера. ПНП могут вводить в заблуждение пользователя, наносить реальный ущерб, выполнять фальшивые действия, показывать агрессивные всплывающие окна или пугать пользователя. Они могут предоставлять нетрадиционные способы удаления, оставляя некоторые компоненты в системе без согласия пользователя. Лаборатория используют информационный поток организации AppEsteem с дополнительной фильтрацией. AppEsteem сформулировала четкие стандарты ПНП по индустрии, которые применяются ведущими мировыми компаниями в области компьютерной безопасности, а также создала минимальный набор требований, которые должны удовлетворять приложения и сервисы, чтобы не подходить под термин ПНП.

AppEsteem является членом AMTSO и ставить своей миссией содействие компаниям безопасности в защите потребителей от преследований и нежелательных материалов. MRG Effitas, как член AMTSO, также следует данным целям.

В тестировании против ПНП / рекламного ПО проводится проверка на защиту от ПНП-угроз (21 образец), полученных из потока AppEsteem.

Блокировка ПНП и рекламного ПО

Блокировка потенциально нежелательных программ (ПНП)

Защита от эксплойтов и бесфайловых угроз

Основная цель данного теста – ознакомиться с тем, как программы безопасности защищают от конкретных техник эксплуатации. Чтобы это оценить, лаборатория разработала тестовые сценарии, которые симулируют соответствующий экслойт и пост-эксплуатационные техники. Благодаря данной методике, можно узнать, какие продукты предоставляют защиту от отдельных методов эксплуатации.

Эксплойты со скрытой загрузкой являются одними из самых больших угроз и проблем в корпоративной среде, поскольку для запуска вредоносного ПО на компьютере пользователя не требуется взаимодействие с пользователем. Устаревшие браузеры и среды Office сохраняют высокую популярность в корпоративной среде из-за проблем совместимости, отсутствия правильного контроля над развертыванием патчей и др.

В данном испытании лаборатория не заинтересована в проверке способности продуктов избегать непосредственной встречи с противником, обнаруживать опасность или прерывать доставку угрозы перед внедрением в систему. Вместо этого MRG Effitas концентрируется непосредственно на анализе способности продуктов принимать меры снижения рисков против каждой техники атаки. Результаты не предназначены для оценки полной эффективности продуктов, а скорее для оценки эффективности исключительно защиты от экслойтов и функциям защиты от последствий эксплуатации в изолированной среде.

Во время тестирования использовалось 6 различных техник эксплуатации.

Блокировка эксплойтов и бесфайловых угроз

Блокировка эксплойтов и бесфайловых угроз

Тест на ложные срабатывания

Блокировка вредоносных программ не всегда достигается 100%-ным уровнем обнаружения. Во многих случаях блокировка угрозы является следствием агрессивно настроенного фильтра, который может блокировать неопасные программы, а также нарушать повседневную работу, блокируя надежные или недавно разработанные собственные приложения.

Чтобы протестировать данную функцию, MRG Effitas проверяет, как тестируемые программы безопасности справляются с обработкой абсолютно чистых, недавно созданных приложений.

В испытании на выявление ложных срабатываний использовалась коллекция из безопасных и надежных образцов (954). Среди тестовых объектов – образцы, которые можно найти в корпоративных средах: драйверы, редакторы мультимедийных файлов, инструменты разработчика и др.

Ложные срабатывания

Ложные срабатывания

Тестирование производительности

Полезность продукта безопасности не зависит только лишь от степени защиты. Большое значение также имеет воздействие на операционную систему и быстродействие машины.

Чтобы оценить влияние продуктов на работу операционной систему, MRG Effitas провела оценку нескольких факторов производительности на физической машине и сопоставила результаты с помощью системы начисления баллов.

В каждом тестовом случае (за исключением теста производительности) тестовая среда лаборатории поддерживала использование совместимых с виртуальными машинами угроз, поэтому специалисты MRG Effitas могли применять более сложные угрозы, которые не запускаются на виртуальных машинах.

Влияние антивирусов на производительность

Влияние антивирусов на производительность

Влияние антивирусов на производительность

Сертификация MRG Effitas

Программа сертификации предназначена для отражения эффективности продукта на основе «имеющих значение метрик».

Во многих предыдущих тестах, особенно тех, которые проверяли защиту против финансового ПО, за точку отсчета бралась гипотеза, что конечная точка уже была скомпрометирована. MRG Effitas, как одним из лидирующих поставщиков списков вредоносных URL и новейших бинарных исполняемых файлов угроз, прекрасно знает, что любая конечная точка может быть заражена независимо от используемого решения безопасности.

Способность продукта блокировать начальное заражение не является единственным показателем, который имеет значение (хотя в некоторых случаях является критически важным). Также необходимо измерять время, которое занимает обнаружение конкретной угрозы и время на восстановление вредоносных последствий.

При проведении данных тестов специалисты лаборатории пытаются моделировать обычное поведение пользователей. Лаборатория понимает, что динамическое тестирование не может проводиться командной профессионалов внутри лаборатории, потому что эксперты знают как работают те или иные виду вредоносных программ, как проводятся вредоносные атаки и как их можно предотвратить. Моделирование стандартного поведения пользователя означает, что лаборатория уделяет особое внимание всем предупреждениям со стороны программ безопасности. Зеленый свет дается только, если предупреждения являются простыми и понятными, и они доступно объясняют, что вредоносное действие должно быть заблокировано.

При этом очень важно отметить, что лучший выбор для обычного пользователя представляет потенциальный продукт, который не показывают слишком много всплывающих оповещений и не задает слишком много вопросов.

MRG Effitas: 360 Assessment – динамическое тестирование антивирусов – 4 квартал (Q4) 2018 года

Из 9 протестированных продуктов, все 9 смогли выполнять необходимые условия для получения сертификации MRG Effitas: 360 Assessment Q4 2018.

Тест пройден

Только эти антивирусные программы / инструменты получают сертификат "MRG Effitas 360 Assessment" за четвертый квартал 2018 года:

Уровень 1. Все угрозы обнаружены при первом выполнении или с помощью проактивной защиты.

Уровень 2. Не менее 98% угроз обнаружено и обезврежено / система восстановлена до или во время первого сканирования.

Тест провален

В данном квартале ни одно из протестированных решений безопасности не провалило тест. Таким образом, не было зарегистрировано случаев, когда продукт не обнаружил вредоносную программу и/или не смог восстановить исходное состояние системы по истечению 24 часов.

Нашли опечатку? Нажмите Ctrl+Enter

Комментарии и отзывы

Добавляя комментарий, ознакомьтесь с Правилами сообщества