MRG Effitas: Динамическое тестирование антивирусов. Q3 2018

2018-12-03 | Автор | комментарии
Лаборатория MRG Effitas опубликовала итоги динамического тестирования антивирусов 360 Assessment за второй квартал (Q3) 2018 года. Тестирование проводилось на ОС Windows 10 64-bit в условиях приближенных к реальным с полным спектром угроз

MRG Effitas: Динамическое тестирование антивирусов. Q3 2018

Лаборатория MRG Effitas уделяет основное внимание оценке эффективности программ безопасности при противодействии финансовым угрозам, а также в традиционных динамических тестах.

Методология, используемая в данном тесте, максимально приближена к условиям реального использования. Данная программа тестов называется «360 Assessments», поскольку она затрагивает полный спектр вредоносных программ, а не только финансовые угрозы.

В тестах «360 Assessments» используются трояны, бэкдоры, шифровальщики, финансовые угрозы и другие виды угроз. Кроме динамических испытаний, лаборатория проводит тесты для проверки защиты против ПНП (потенциально нежелательных программ), рекламного ПО, эксплойтов, бесфайловых угроз, измеряет уровень ложных срабатываний и влияние программ безопасности на производительность системы.

Динамическое тестирование антивирусов. Q3 2018

Динамическое тестирование антивирусов проводилось независимой лабораторией MRG Effitas в третьем квартале (Q3) 2018 года по следующему сценарию:

  • 11 решений безопасности, корпоративные антивирусы
  • 329 образцов распространенных угроз "In-the-Wild"
  • Операционная система: Windows 10 x64
  • Браузер: Microsoft Edge
  • Сценарий реального использования без инициированной пользователем нейтрализации угроз
  • Проверки защиты против ПНП, рекламного ПО, эксплойтов, бесфайловых угроз
  • Проверка уровня ложных срабатываний и влияния антивирусов на производительность системы

Тестируемые антивирусы

Использовались следующие антивирусные программы с последними версиями на момент тестирования:

Антивирус Версия
Avast Business Antivirus 18.6.2540
Avira Antivirus Pro – Business edition 15.0.40.12
Bitdefender Gravityzone – Advanced Business Security 6.6.6.84
ESET Endpoint Security 6.6.2086.1
F-Secure Business – Computer Protection 18.5
Kaspersky Small Office Security 19.0.0.188(b)
McAfee Endpoint Security 10.6.0.542
Microsoft "Защитник Windows" + SmartScreen 4.18.1809.2
Symantec Endpoint Protection Cloud 22.15.1.8
Trend Micro Worry-Free Services with XGEN 6.5.1265
Webroot SecureAnywhere Endpoint Protection 9.0.21.18

Комплексное тестирование антивирусов

Большинство вредоносных URL-адресов, используемых в данном тесте соответствуют взломанным, некогда надежным сайтам, которые распространяют вредоносные программы. Данные URL представляет большую опасность для пользователей, потому что они меньше всего ожидают атак в таких ситуациях. URL-адреса собираются с помощью специальных приманок, а в случае с шифровальщиками и финансовым ПО, используются URL недавно обнаруженных ресурсов по распространению угроз.

Вредоносные программы, применяемые в данном тесте, можно рассматривать как угрозы нулевого дня в истинном значении данного термина. Они представляют серьезный вызов для участников тестирования.

Программы безопасности, которые не защищают систему от шифрования файлов программами-вымогателями, не могут получить сертификацию, потому что они не могут устранить вредоносные последствия и восстановить доступ к файлам.

Примерно 10% угроз, используемых в данном тесте, были введены систему через внутреннюю веб-почту. Эксперты лаборатории стали свидетелями того, как многие организации малого бизнеса страдали от заражений, распространяющихся с помощью корпоративной веб-почты из-за отсутствия надежной системы фильтрации спама. Загрузка вредоносных вложений из корпоративной почты не вызывает срабатывание веб-защиты продуктов, и это часто происходит в реальном мире.

Во время тестирования «In the Wild 360» использовалось 329 живых образцов зловредов. Тестовая полезная нагрузка включала 168 троянов, 46 бэкдоров, 79 образцов финансовых угроз, 2 шифровальщика и 34 угрозы других видов.

Пропущенные и заблокированные образцы

Пропущенные и заблокированные образцы

Auto blocks - автоматическая блокировка угроз, Behaviour block - поведенческая блокировка с помощью проактивной защиты, Block in 24h - блокировка в течение 24 часов, Miss - пропущенные угрозы

Блокировка шифровальщиков (ransomware)

Блокировка троянов вымогателей (ransomware)

Блокировка финансовых угроз

Блокировка финансовых угроз

Защита от ПНП / Рекламного ПО

Образцы ПНП (потенциально нежелательных программ), используемые в тесте являются поддельными приложениями или потенциально нежелательными программами (ПНП), которые не являются вредоносными, но считаются неуместными в большинстве домашних и корпоративных сетей. Они содержат агрессивную рекламу, устанавливают тулбары или преследуют другие неочевидные цели. Они могут способствовать повышенному потреблению ресурсов компьютера. ПНП могут вводить в заблуждение пользователя, наносить реальный ущерб, выполнять фальшивые действия, показывать агрессивные всплывающие окна или пугать пользователя. Они могут предоставлять нетрадиционные способы удаления, оставляя некоторые компоненты в системе без согласия пользователя. Лаборатория используют информационный поток организации AppEsteem с дополнительной фильтрацией. AppEsteem сформулировала четкие стандарты ПНП по индустрии, которые применяются ведущими мировыми компаниями в области компьютерной безопасности, а также создала минимальный набор требований, которые должны удовлетворять приложения и сервисы, чтобы не подходить под термин ПНП.

AppEsteem является членом AMTSO и ставить своей миссией содействие компаниям безопасности в защите потребителей от преследований и нежелательных материалов. MRG Effitas, как член AMTSO, также следует данным целям.

В тестировании против ПНП / рекламного ПО проводится проверка на защиту от 9 ПНП-угроз, полученных из потока AppEsteem.

Блокировка ПНП и рекламного ПО

Блокировка потенциально нежелательных программ (ПНП)

Защита от эксплойтов и бесфайловых угроз

Основная цель данного теста - ознакомиться с тем, как программы безопасности защищают от конкретных техник эксплуатации. Чтобы это оценить, лаборатория разработала тестовые сценарии, которые симулируют соответствующий экслойт и пост-эксплуатационные техники. Благодаря данной методике, можно узнать, какие продукты предоставляют защиту от отдельных методов эксплуатации.

Эксплойты со скрытой загрузкой являются одними из самых больших угроз и проблем в корпоративной среде, поскольку для запуска вредоносного ПО на компьютере пользователя не требуется взаимодействие с пользователем. Устаревшие браузеры и среды Office сохраняют высокую популярность в корпоративной среде из-за проблем совместимости, отсутствия правильного контроля над развертыванием патчей и др.

В данном испытании лаборатория не заинтересована в проверке способности продуктов избегать непосредственной встречи с противником, обнаруживать опасность или прерывать доставку угрозы перед внедрением в систему. Вместо этого MRG Effitas концентрируется непосредственно на анализе способности продуктов принимать меры снижения рисков против каждой техники атаки. Результаты не предназначены для оценки полной эффективности продуктов, а скорее для оценки эффективности исключительно защиты от экслойтов и функциям защиты от последствий эксплуатации в изолированной среде.

Во время тестирования используются три различные техники эксплуатации.

  • В первом сценарии создается файл .lnk, который содержит команду PowerShellCommand для получения дополнительного модуля эксплуатации клиентской части PowerShell-Stager. На втором этапе вступала в действие полезная нагрузка PowerShell Empire, которая запускала новый сеанс с командного сервера. Если программа безопасности не блокировала атаку, то контроль тестовой машины осуществлялся с помощью сервера C2, который выдавал команды на скачивание, загрузку файлов и удаленное выполнение кода. Справочная информация: Powershellempire
  • Во втором сценарии использовался модуль Meterpreter (module: exploit/ multi/browser/firefox_proxy_prototype on Firefox 31.0) для эксплуатации известной уязвимости в браузере с полезной нагрузкой (windows/meterpreter/ reverse_http) для подключения к серверу С2. Если программа безопасности не блокировала атаку, то контроль тестовой машины осуществлялся с помощью сервера C2, который выдавал команды на скачивание, загрузку файлов и удаленное выполнение кода. Справочная информация: Firefox Proxy Proto
  • На заключительном этапе использовался тот же эксплойт Firefox (firefox_proxy_prototype), что и на втором сценарии, вместе с полезной нагрузкой PowerShell Empire. В данном испытании применялся фреймворк IronSquirrel, который предназначен для доставки браузерных экслойтов на компьютер жертвы в зашифрованном виде. Для согласования ключей использовался метод эллиптической кривой Диффи-Хеллмана (secp256k1), а для шифрования использовался алгоритм AES. Если программа безопасности не блокировала атаку, то контроль тестовой машины осуществлялся с помощью сервера C2, который выдавал команды на скачивание, загрузку файлов и удаленное выполнение кода. Справочная информация: Ironsquirrel, Firefox Proxy Proto

Блокировка эксплойтов и бесфайловых угроз

Блокировка эксплойтов и бесфайловых угроз

Тест на ложные срабатывания

Блокировка вредоносных программ не всегда достигается 100%-ным уровнем обнаружения. Во многих случаях блокировка угрозы является следствием агрессивно настроенного фильтра, который может блокировать неопасные программы, а также нарушать повседневную работу, блокируя надежные или недавно разработанные собственные приложения.

Чтобы протестировать данную функцию, MRG Effitas проверяет, как тестируемые программы безопасности справляются с обработкой абсолютно чистых, недавно созданных приложений.

В испытании на выявление ложных срабатываний использовалась коллекция из 997 безопасных и надежных образцов. Среди тестовых объектов - образцы, которые можно найти в корпоративных средах: драйверы, редакторы мультимедийных файлов, инструменты разработчика и др.

Ложные срабатывания

Ложные срабатывания

Тестирование производительности

Полезность продукта безопасности не зависит только лишь от степени защиты. Большое значение также имеет воздействие на операционную систему и быстродействие машины.

Чтобы оценить влияние продуктов на работу операционной систему, MRG Effitas провела оценку нескольких факторов производительности на физической машине и сопоставила результаты с помощью системы начисления баллов.

В каждом тестовом случае (за исключением теста производительности) тестовая среда лаборатории поддерживала использование совместимых с виртуальными машинами угроз, поэтому специалисты MRG Effitas могли применять более сложные угрозы, которые не запускаются на виртуальных машинах.

Влияние антивирусов на производительность

Влияние антивирусов на производительность

Влияние антивирусов на производительность

Сертификация MRG Effitas

Программа сертификации предназначена для отражения эффективности продукта на основе «имеющих значение метрик».

Во многих предыдущих тестах, особенно тех, которые проверяли защиту против финансового ПО, за точку отсчета бралась гипотеза, что конечная точка уже была скомпрометирована. MRG Effitas, как одним из лидирующих поставщиков списков вредоносных URL и новейших бинарных исполняемых файлов угроз, прекрасно знает, что любая конечная точка может быть заражена независимо от используемого решения безопасности.

Способность продукта блокировать начальное заражение не является единственным показателем, который имеет значение (хотя в некоторых случаях является критически важным). Также необходимо измерять время, которое занимает обнаружение конкретной угрозы и время на восстановление вредоносных последствий.

При проведении данных тестов специалисты лаборатории пытаются моделировать обычное поведение пользователей. Лаборатория понимает, что динамическое тестирование не может проводиться командной профессионалов внутри лаборатории, потому что эксперты знают как работают те или иные виду вредоносных программ, как проводятся вредоносные атаки и как их можно предотвратить. Моделирование стандартного поведения пользователя означает, что лаборатория уделяет особое внимание всем предупреждениям со стороны программ безопасности. Зеленый свет дается только, если предупреждения являются простыми и понятными, и они доступно объясняют, что вредоносное действие должно быть заблокировано.

При этом очень важно отметить, что лучший выбор для обычного пользователя представляет потенциальный продукт, который не показывают слишком много всплывающих оповещений и не задает слишком много вопросов.

MRG Effitas: 360 Assessment - динамическое тестирование антивирусов - 3 квартал (Q3) 2018 года

Из 11 протестированных продуктов, все 11 смогли выполнять необходимые условия для получения сертификации MRG Effitas: 360 Assessment Q3 2018

Тест пройден

Только эти антивирусные программы / инструменты получают сертификат "MRG Effitas 360 Assessment" за третий квартал 2018 года:

Уровень 1. Все угрозы обнаружены при первом выполнении или с помощью проактивной защиты.

Уровень 2. Не менее 98% угроз обнаружено и обезврежено / система восстановлена до или во время первого сканирования.

Тест провален

В данном квартале ни одно из протестированных решений безопасности не провалило тест. Таким образом, не было зарегистрировано случаев, когда продукт не обнаружил вредоносную программу и/или не смог восстановить исходное состояние системы по истечению 24 часов.

Полный отчёт доступен на сайте MRG Effitas (pdf, английский)

Нашли опечатку? Нажмите Ctrl+Enter

Комментарии и отзывы

Добавляя комментарий, ознакомьтесь с Правилами сообщества