Dennis Technology Labs: Динамическое тестирование антивирусов

2015-11-10 12769 комментарии
Лаборатория Dennis Technology Labs опубликовала результаты сравнительного динамического тестирования популярных антивирусов, проведенного в 3-ем квартале (июль-сентябрь) 2015 года на платформе Windows 7 SP1 x64

Лаборатория Dennis Technology Labs является членом AMTSO - Организация по стандартизации тестирования средств защиты от вредоносных программ (Anti-Malware Testing Standards Organisation).

Dennis Technology Labs

Целью данного динамического тестирования было сравнение эффективности антивирусных программ (комплексных решений и бесплатных антивирусов), предоставляемых известными и популярными вендорами.

Антивирусные решения подверглись испытанию интернет-угрозами, которые были активными в течение периода проведения тестирования. Это динамическое тестирование было проведено методами, тесно отражающими реальный опыт использования антивирусных программ в повседневной жизни.

Результаты показывают, что произошло бы, если пользователь использовал одно из антивирусных решений, представленных в испытании, и посетил зараженный веб-сайт.

Тестируемые антивирусы

В сравнительном тестировании принимали участие следующие антивирусы:

Суммарные показатели надежности защиты (Total Accuracy Ratings)

Рейтинги суммарной надежности защита позволяет судить о том, насколько эффективен антивирус при противостоянии угрозам с помощью простого графика.

Тем не менее, антивирусное ПО не должно только блокировать угрозы, оно должно позволять беспрепятственный запуск надежных приложений.

Результаты ниже учитывают то, насколько точно программы обрабатывали тестовые зловреды и насколько правильно вели себя по отношению к легитимным программам.

Суммарные показатели надежности защиты

Суммарные показатели надежности защиты учитывают не только успешную блокировку угроз, но и игнорирование зловредов, а также ложные срабатывания на безопасные приложения.

Методика тестирования:

Запускалось два различных теста: один из них выявлял, как эффективно антивирусы блокируют Интернет-угрозы, а другой проверял обработку надежных программ.

Идеальный продукт блокирует все угрозы и разрешает запуск всех безопасных программ.

Игнорирование угрозы, атакующей тестовую систему является нарушением. При блокировке и выводе уведомления на надежное ПО регистрируется должное срабатывание.

Продукты зарабатывают очки за успешную нейтрализацию угроз и за беспрепятственный доступ к легитимным программам. Соответственно решения теряют очки, если не удается заблокировать угрозу или ошибочно блокируется доступ к безопасному источнику.

Затем каждый антивирус получает итоговый рейтинг, основанный на результатах двух тестов.

Эти результаты демонстрируют суммарный показатель эффективности защиты, учитывающий производительность с угрозами и безопасным ПО. Максимальный результат равняется 1,020 баллам, а минимальный - -1,220.

Суммарные показатели надежности защиты

Награды в тестировании (Awards)

Награды в тестировании

Рейтинг за защиту (Protection Ratings)

Результаты ниже показывают, насколько эффективно протестированные продукты противостояли угрозам. Ложные срабатывания здесь не учитываются.

  • Нейтрализация (+1)

Если продукт прекращает выполнение запустившейся угрозы, событие идентифицируется как нейтрализация. В этом случае антивирус получает 1 балл.

  • Нейтрализация, полное восстановление (+2)

Продукт получает одно дополнительное очко, если кроме остановки исполнения вредоносной программы, он удалил все вредоносные следы атаки.

  • Блокировка (+3)

Продукты, которые предотвратили запуск угрозы, получали 3 балла в конкретном тестовом случае.

  • Игнорирование (-5)

Если угроза смогла беспрепятственно запуститься в системе, не будучи обнаруженной или смогла инфицировать систему, из результата продукта вычиталось 5 баллов.

Наилучший результат в данном тесте равнялся 300 баллам, наихудший - -500 баллам.

Рейтинг за защиту

Таким образом, рейтинг за защиту высчитывался по следующей формуле:

Рейтинг за защиту = (3 * количество блокировок) + (1 * количество нейтрализаций + (1 * количество полных восстановлений) + (-5 * количество игнорирований)

Обратите внимание, что “количество полных восстановлений” относится лишь к событиям нейтрализаций, в которых было достигнуто удаление вредоносных следов. Полное восстановление автоматически предполагается для всех случаев “блокировка”.

Весовые коэффициенты распределены таким образом, чтобы продукты, которые препятствуют любой активности вредоносных программ в системе получали максимальные баллы, а продукты, игнорирующие угрозы, получали существенное наказание.

Возможно применить альтернативные весовые коэффициенты при желании.

Рейтинг за защиту: Таблица

Баллы за защиту (Protection Scores)

Диаграмма ниже показывает общий уровень защиты, сочетающий результаты блокировки и нейтрализации угроз. Здесь не представлены различия между отдельными уровнями защиты: либо система защищена, либо нет.

Баллы за защиту: Диаграмма

Баллы за защиты показывают, сколько раз каждый продукт предотвращал инфицирование системы угрозами.

Баллы за защиту: Таблица

Детальная информация о защите (Protection Details)

Антивирусные продукты обеспечивали различные уровни защиты. Когда продукт блокировал угрозу, он предотвращал попытку угрозы закрепиться в целевой системе. Вредоносная программа могла проникнуть в систему и инфицировать ее, и в некоторых случаях продукт нейтрализовывал угрозу после запуска или позже. Если продукт игнорировал угрозу, безопасность системы была нарушена.

Детальная информация о защите: Диаграмма

График показывает, как продукты обрабатывали атаки. Они сортированы в порядке баллов за защиту.

Детальная информация о защите: Таблица

Рейтинг по ложным срабатываниям (Legitimate Software Ratings)

Рейтинг по ложным срабатываниям позволяет судить о том, как эффективно антивирусные программы работали с безопасными программами.

Антивирусные программы должны разрешать беспрепятственный запуск надежных приложений. Данные результаты принимают в расчет уровень взаимодействия продукта с пользователем при принятии решения и распространенность программы.

Рейтинг по ложным срабатываниям: Диаграмма

Когда продукт неправильно классифицировал популярную программу, он получал более серьезное наказание, чем если бы файл был мало распространенным.

Рейтинг по ложным срабатываниям: Таблица

Динамическое тестирование антивирусов

Угрозы

Очень важно обеспечить эмуляцию реального использования пользователями, чтобы проиллюстрировать реальные случаи встречи повседневных Интернет-атак.

Например, в данном тесте, доступ к веб-угрозам осуществлялся с помощью браузера при обращении к реальным инфицированным сайтам, а не с помощью CD-дисков или внутренних тестовых сайтов.

Все целевые системы были полностью открыты для угроз. Это означает, что любой код эксплойта и других вредоносных программ мог свободно запускаться. Угрозы запускались и могли выполняться, так, как и было задумано.

Минимальный период времени в 5 минут давался на то, чтобы вредоносные программы имели возможность исполниться.

Раунды тестирования

Испытания проводились в несколько раундов. В каждом раунде фиксировалось взаимодействие антивируса с конкретной угрозой. Например, в раунде “1” каждый продукт должен был столкнуться с одним и тем же вредоносным веб-сайтом.

В конце каждого раунда, система полностью сбрасывались к исходному состоянию, чтобы удалить возможные вредоносные следы перед началом следующего раунда.

Мониторинг

Регистрация событий в целевых системах необходима для оценки относительных успехов вредоносных программ и антивирусов. В тесте применялось запись следующей активности: сетевой трафик. Создание файлов и процессов и изменения важных файлов.

Уровни защиты

Продукты показывали различные уровни защиты. Иногда продукт предотвращал выполнение угрозы или по крайней мере предотвращал существенные изменения в целевой системе.

В других случаях угроза могла выполнять определенные задания в целевой системе (например, эксплуатация уязвимости или выполнение вредоносного кода), после чего антивирус мог вмешаться и удалить вредоносное содержимое.

Наконец, угроза могла полностью обойти защиту и выполнить вредоносные задания оставаясь необнаруженной. В некоторых случаях даже возможно было отключение антивирусной защиты.

Иногда собственные защитные механизмы Windows могли заблокировать угрозу, после игнорирования со стороны тестируемого антивируса. Еще одни результатом тестового случая мог быть сбой вредоносного ПО.

Различные уровни защиты, обеспечиваемые каждым продуктом, выявлялись путем анализа файлов журнала событий.

Если вредоносная программа не смогла корректно запуститься в конкретном случае, предположительно из-за наличия защиты, а не из-за конкретных действий антивируса, продукт получал преимущества полной блокировки угрозы.

Если тестовая система была повреждена, данный случай расценивался как игнорирование угрозы, даже если активные компоненты вредоносной программы были удалены продуктом.

Виды защиты

Все протестированные продукты обеспечивали два основным вида зашиты: защита реального времени и защита по требованию. Защита реального времени постоянно следит за системой и предотвращает доступ к системе вредоносным программам.

Защита по требованию является по существу сканированием на вирусы, которое запускается пользователем в произвольный момент времени.

Результаты теста отражают поведение обоих типов защит. Защита реального времени на протяжении всего теста выполняла мониторинг системы, в то время, как сканирование по требованию запускалось только в конце испытания для оценки того, как антивирус рассматривает уровень безопасности системы.

Ручное сканирование запускалось лишь в том случае, когда исследователь лаборатории выявлял, что вредоносная программа смогла взаимодействовать с целевой системой. Другими словами, если антивирус заблокировал атаку на первоначальном шаге, и журналы событий подтвердили это, тестовый случай рассматривался как завершенный и фиксировалась успешная блокировка.

Целевые системы

Для создания честной тестовой среды, все продукты устанавливались на чистую 64-битную систему Windows 7 с установленным пакетом обновлений SP1. Данная ОС была выбрана из-за широкого распространения угроз, разработанных для нее.

На одной из тестовых систем были установлены последние обновления и запущен Microsoft Security Essentials для определения эффекта совместного использования.

На тестовых системах были установлены сторонние приложения, которые могут иметь уязвимости – среди них Adobe Flash Player, Adobe Reader и Java.

Антивирусные продукты могли автоматически обновляться и обновлять сигнатурные базы. Кроме того, перед каждым раундом тестирования процесс обновления запускался вручную.

Каждая целевая система представляла собой физический компьютер, а не виртуальную машину и была подключена к Интернету с помощью собственной виртуальной сети VLAN во избежание перекрестных заражений вредоносным ПО.

Выбор угроз

Вредоносные ссылки, используемые в тесте, не предоставлялись антивирусными вендорами.

Они были собраны с помощью списка, сформированного с помощью базы данных Dennis Technology Labs.

Во всех случаях использовалась уникальная система контроля (Verification Target System - VTS) для подтверждения того, что URL-адрес относится к сайту с вредоносным ПО.

Вредоносные URL и файлы не отправлялись вендорам во время тестирования.

Часто задаваемые вопросы

  • Данные тесты не спонсируются сторонними организациями.
  • Тестовые испытания проводились в период с 1 июля по 10 сентября 2015 года с использованием антивирусных программ, обновленных на каждый день испытания.
  • Все продукты могли подключаться к Интернету для использования своих систем защиты.
  • Антивирусы для данного тесты были выбраны Dennis Technology Labs.
  • Тестируемые образцы были отобраны и проверены Dennis Technology Labs.
  • Все продукты подвергались одним и тем же угрозам в течении 24 часов. На практике задержка между проверкой достигала 2-3 часов.
  • Подробная информация об образцах, включая URL-ссылки и код, были предоставлены партнерским вендорам только после завершения всех тестовых мероприятий.
  • Тестовые образцы состояли из 100 активных вредоносных URL-ссылок и 100 надежных приложений.

С полным отчетом вы можете ознакомиться по этой ссылке.

© .
Комментарии и отзывы

Нашли ошибку?

Новое на сайте