AV-Comparatives: Тестирование защиты от вредоносных программ. Март 2017

2017-04-14 | Автор | комментарии
AV-Comparatives опубликовала результаты тестирования антивирусов на защиту от вредоносных программ. Испытание включает проверку уровня обнаружения с запуском нераспознанных угроз и проверкой уровня ложных срабатываний

AV-Comparatives: Тестирование защиты от вредоносных программ. Март 2017

Введение

Тестирование на защиту от вредоносных программ (Malware Protection Test) является усовершенствованной вариацией испытания на файловой обнаружение (File Detection Test), которое проводилось в последние годы. В связи с изменениями методов проведения тестирования рекомендуется ознакомиться с новой методологией, описанной ниже. Обратите внимание, что лаборатория не рекомендует покупать антивирусное решение на основе исключительно данных индивидуальных испытаний. Пользователи должны учитывать и другие факторы: стоимость, удобство использования, совместимость и поддержку. Установка пробной версии антивируса позволяет провести тестирование в режиме повседневного использования, и на основании данного опыта принять решение о приобретении.

В тестировании принимали участие преимущественно комплексные антивирусы, предназначенные в основном для домашних пользователей. Тем не менее, некоторые вендоры настояли на тестировании своих бесплатных антивирусов и продуктов для корпоративного сектора.

Тестовый набор состоял из 37999 вредоносных образцов. Многие вредоносные экземпляры были собраны после предварительного сбора телеметрических данных с целью выявления новейших широко распространенных угроз, которые представляют серьезную опасность для пользователей. Различные варианты вредоносных программ были сгруппированы, чтобы создать сбалансированный тестовый набор (т.е. избежать чрезмерного представления одного и то же вредоносного образца в наборе). Процесс сбора образцов завершился 24 февраля 2017 года.

Все антивирусы были установлены на полностью обновленную систему на базе 64-битной версии Microsoft Windows 10 Pro (Redstone 1). Все продукты были протестированы в начале марта. Каждый антивирус получил последние обновления и был протестирован с параметрами по умолчанию.

Тестируемые антивирусы

Методология

Тестирование на защиту от вредоносных программ (Malware Protection Test) оценивает способность антивирусов противостоять заражению систему вредоносными файлами до их запуска, во время исполнения и после него. При тестировании каждого антивируса использовалась единая методология. Перед выполнением, все тестовые образцы были подвергнуты сканированиям по требованию, которые выполнялись при подключении к Интернету и без доступа к сети. Т.е. образцы, которые не были обнаружены во время данных проверок, были запущены в тестовой системе - при этом был организован доступ к Интернету, чтобы функции поведенческого анализа смогли полноценно работать. Если антивирус не предотвращал заражение и не отменял вредоносные изменения, внесенные конкретным вредоносным образцом, то считалось, что в данном тестовом сценарии продукт потерпел неудачу. Если антивирус спрашивал у пользователя, нужно ли разрешить запуск опасной программы или заблокировать объект, то неправильное решение приводило к заражению системы. Данный тестовый сценарий рассматривался как “User dependent”, т.е. действие над угрозой зависит от решения пользователя.

Уровни обнаружения в режимах онлайн и оффлайн

Уровни обнаружения в режимах онлайн и оффлайн

Многие тестируемые антивирусы используют облачные технологии защиты, такие как сервисы репутации или облачные сигнатуры, доступ к которым невозможен без активного подключения к Интернету. За счет выполнения сканирований по требованию в режимах онлайн (с доступом к Интернету) и оффлайн (без доступа к Интернету), тест наглядно показывает зависимость каждого продукта от облачных компонентов защиты. В результате можно сделать вывод о том, насколько эффективную защиту предоставляет антивирус, если отсутствует подключение к Интернету. Лаборатория AV-Comparatives рекомендует вендорами, чьи продукты очень жестко привязаны к облачным технологиям, предупреждать пользователей о потере активного подключения, потому что данный факт может серьезно сказаться на качестве предоставляемой защиты. В данном испытании лаборатория проверяла доступность облачных сервисов, но пользователи должны иметь в виду, что далеко не всегда наличие подключения к сети означает, что облачные сервисы доступны и работают корректно. Организация по стандартизации тестирования средств защиты от вредоносных программ (Anti-Malware Testing Standards Organisation) проводит собственное тестирование с целью проверки правильного функционирования облачных служб защиты в различных антивирусах.

Лаборатория опубликовала уровни обнаружения тестируемых антивирусов в режимах сканирования онлайн и оффлайн:

Обнаружение или Защита

Обнаружение или Защита

Пропущенные угрозы в процентах (меньше - лучше)

Используемый тестовый набор содержал 37999 последних / распространенных вредоносных образцов за последние несколько недель / месяцев.

Пропущенные образцы

Тест на файловое обнаружение (File Detection Test), который проводился в последние годы, включал только этап обнаружения вредоносных файлов. Он позволял оценить способность тестируемых антивирусов обнаруживать вредоносные образцы перед запуском. Данная способность остается очень важной функцией антивирусов, которая позволяет убедиться в безопасности файла, прежде чем отправить его друзьям родственникам или коллегам по работе.

Данный тест на защиту от вредоносных программ (Malware Protection Test) учитывает не только уровни обнаружения участвующих программ, но также их защитные возможности, например, способность предотвратить вредоносные изменения в системе со стороны зловреда. В некоторых случаях антивирусная программа может не обнаружить вредоносный образец, если он находится в неактивном состоянии, но моментально идентифицирует угрозу при запуске. Кроме того, многие антивирусы используют поведенческий анализ для мониторинга и блокировки нежелательных системных изменений, которые обычно свойственны для вредоносных приложений. Данная информация дополняет результаты динамического тестирования антивирусов (Real-World Protection Test), в котором источником вредоносных программ становятся реальные общедоступные URL-адреса. В этом случае веб-фильтры и другие компоненты веб-защиты могут вступить в действие. Тест на защиту от вредоносных программ (Malware Protection Test) воспроизводит ситуацию, когда вредоносная программа поступает из локального источника, например, из локальной сети или съемного USB-устройства флеш-памяти. Оба теста предусматривают запуск вредоносных программ, которые не были идентифицированы функциями защиты, чтобы дать шанс вступить в действие “последней линии обороны”.

AV-Comparatives: Динамическое тестирование антивирусов. Март 2017

Одним из важных аспектов облачных механизмов обнаружения заключается в следующем: авторы вредоносных программ постоянно ищут новые способы для обхода обнаружения и механизмов защиты. Использование облачной защиты позволяет вендорам обнаруживать и классифицировать подозрительные файлы в режиме реального времени с целью защиты от новейших неизвестных видов угроз. Размещение некоторых частей механизма обнаружения в облачном пространстве усложняет авторам вредоносных программ задачу быстрой адаптации к новым правилам обнаружения.

Ложные срабатывания

Антивирус, который показывает высокий процент обнаружения угроз, но страдает от ложных срабатываний, не всегда лучше, чем антивирус, который обнаруживает меньше вредоносных файлов, но при этом генерирует меньше ложных тревог.

Ложные срабатывания

Уровень наград в тестировании

AV-Comparatives присваивает тестируемым антивирусам рейтинговые награды, которые основываются на уровне обнаружения угроз и на уровне ложных срабатываний. Так как отчет содержит не только итоговые рейтинги, но и сами уровни обнаружения угроз, то опытные пользователи могут быть менее обеспокоены ложными срабатываниями и могут полагаться исключительно на уровень защиты.

AV-Comparatives: Тестирование защиты от вредоносных программ. Март 2017

* Эти продукты были понижены в результатах из-за ложноположительных срабатываний.

Обзор тестирования на русском языке подготовлен сайтом Comss.ru. С полным отчетом вы можете ознакомиться по этой ссылке (pdf, английский).

Комментарии и отзывы

Добавляя комментарий, ознакомьтесь с Правилами сообщества