MRG Effitas: Динамическое тестирование антивирусов. Q2 2017

2017-08-28 | Автор | комментарии
Лаборатория MRG Effitas опубликовала итоги динамического тестирования антивирусов "360 Assessments" за второй квартал (Q2) 2017 года. Тестирование проводилось на Windows 10 в условиях приближенных к реальным с полным спектром угроз, включая шифровальщики

MRG Effitas: Динамическое тестирование антивирусов. Q2 2017

Динамическое тестирование "360 Assessments" от независимой лаборатории MRG Effitas показывает возможности антивирусов защищать от реальных угроз. Также, в случае, если система была заражена, измеряется время, необходимое для обнаружения и устранения последствий заражения.

Используемая методология приближена к реальному использованию антивирусных программ на среднестатистической системе и позволяет дать реалистичную оценку возможностей продукта безопасности.

Специалисты MRG Effitas учитывают ту особенность, что многие антивирусы способны обнаруживать заражение только во время перезагрузки / автозапуска, или если по умолчанию было установлено сканирование по расписанию. Для оценки времени обнаружения использовалась методология, основанная на том, что зараженная система перезагружается один раз в течение 24-часового периода.

Название тестирования "360 Assessments" обусловлено тем, что испытание производилось с полным спектром вредоносных программ, а не только с финансовыми угрозами. Для тестирования использовались трояны, трояны-бэкдоры, шифровальщики, финансовые зловреды и другие вредоносные образцы.

Методология тестирования

Подробная информация

1. Операционная система Windows 10 64-разрядная установлена на виртуальную машину. В системе установлены Adobe Flash, Reader, Java, Microsoft Office 2010, Microsoft Edge и VLC Player. Все компоненты Microsoft полностью обновлены, а все сторонние компоненты устарели на три месяца.

2. Создается образ операционной системы.

3. Копия образа системы создается для каждого из тестируемого продукта.

4. Отдельные приложения безопасности установлены с настройками по умолчанию (при наличии опции защиты от ПНП, она включается) на каждой системе, созданной на шаге 3, а затем, при необходимости обновляются.

5. Создается копия системы, после завершения шага 4.

6. Проводится тестирование. Выполняется загрузка вредоносного образца по активной URL-ссылке с использованием браузера Microsoft Edge на рабочий стол, после закрытия Microsoft Edge выполняется запуск образца.

7. Тест считается пройденным по следующим критериям:

a) Приложение безопасности блокирует URL-ссылку, по которой расположен образец, таким образом предотвращая его загрузку.

b) Приложение безопасности обнаруживает образец, пока он загружается на рабочий стол.

d) Приложение безопасности обнаруживает образец при его выполнении в соответствии со следующим критерием:

- Антивирус определяет образец как вредоносный, а затем либо автоматически блокирует его или приостанавливает его исполнение, и уведомляет пользователя, не запуская его и ожидая решения пользователя.

8. Тест считается проваленным по следующим критериям:

a) Приложение безопасности не в состоянии обнаружить образец по всем условиям пункта 7.

9. Тестирование на зараженной системе продолжается в течение 24 часов с помощью следующего процесса:

a) Перезагрузка системы выполняется один раз в 24-часовом периоде, ровно через 12 часов после заражения системы.

10. Способность антивируса восстанавливать зараженную систему определяется ручной проверкой состояния системы в сравнении с ее первоначальным состоянием, а не с помощью антивирусной проверки с помощью самого продукта безопасности.

11. В процессе тестирования все системы имеют доступ в Интернет.

12. Все программы безопасности имеют полный функционал в незарегистрированных версиях или в версиях, зарегистрированных анонимно, без всякой связи с MRG Effitas.

13. Все испытания проводились во 2-ом квартале 2017 года.

14. Испытание не предусматривает принудительный запуск сканеров, поэтому для предотвращения угроз тестируемые продукты могли использовать различные собственные технологии обнаружения и устранения вредоносных программ, включая фоновое сканирование, сканирование при загрузке системы, запланированное сканирование, системный мониторинг и т.д. Сканирование по расписанию использовалось, только если оно было включено по умолчанию.

Тестируемые антивирусы

Использовались следующие антивирусные программы с последними версиями на момент тестирования:

Антивирус Версия
Avast Internet Security 17.5.2302
AVG Internet Security 17.5.3021
Avira Internet Security 15.0.27.34
Bitdefender Internet Security 2017 21.0.25.92
ESET NOD32 Smart Security 10.1.210.0
Kaspersky Internet Security 17.0.0.611
Malwarebytes Anti-Malware* 3.1.2.1733
McAfee LiveSafe 16.0.1
Microsoft Windows Defender 4.10.14393.0
Microsoft Windows Defender + Smart Screen 4.10.14393.0
Panda Internet Security 17.0.1
SurfRight Hitman Pro* 3.7.20.286
Symantec Norton Security 22.10.0.83
ThreatTrack VIPRE Internet Security 10.1.3.3
Trend Micro Maximum Security 11.1.1045
Watchdog Anti-Malware * 2.72.186.101
Zemana AntiMalware* 2.74.2.76
* Malwarebytes Anti-Malware, Surfright HitmanPro, Watchdog Anti-Malwareo и Zemana AntiMalware являются дополнительными антивирусными инструментами. HitmanPro не имеет защиты в режиме реального времени и был протестирован только при сканировании "по требованию".

Используемые вредоносные образцы

В общей сложности было использовано 356 активных "In the Wild" образцов, среди которых: трояны (201), трояны-бэкдоры (43), финансовые вредоносные программы (51), шифровальщики (49) и другие (19).

Используемые вредоносные образцы

Результаты тестирования

Пропущенные и заблокированные образцы

Пропущенные и заблокированные образцы

auto blocks - автоматическая блокировка угроз, behaviour block - поведенческая блокировка с помощью проактивной защиты, block in 24h - блокировка в течение 24 часов, fail - пропущенные угрозы

Пропущенные и заблокированные образцы (дополнительные инструменты безопасности)

Пропущенные и заблокированные образцы (дополнительные инструменты безопасности)

Блокировка шифровальщиков (ransomware)

Блокировка троянов вымогателей (ransomware)

Блокировка финансовых угроз

Блокировка финансовых угроз

Блокировка потенциально нежелательных программ

Блокировка потенциально нежелательных программ

Сертификация MRG Effitas

MRG Effitas: 360 Assessment - динамическое тестирование антивирусов - 1 квартал (Q4) 2017 года

Тест пройден

Только эти антивирусные программы / инструменты получают сертификат "MRG Effitas 360 Assessment" за 1 квартал 2017 года:

Уровень 1. Все угрозы обнаружены при первом выполнении, с помощью проактивной защиты или в течение 24 часов.

Уровень 2. Не менее 97% угроз обнаружено и обезврежено / система восстановлена до или во время первого сканирования.

Тест провален

Остальные продукты безопасности не смогли обнаружить все угрозы и устранить заражение в системе во время тестирования.

С полным отчетом вы можете ознакомиться по этой ссылке.

Комментарии и отзывы

Добавляя комментарий, ознакомьтесь с Правилами сообщества