SE Labs: Динамическое тестирование антивирусов

2016-06-16 | Автор | комментарии
Лаборатория SE Labs (ранее Dennis Technology Labs) в 1 квартале 2016 года протестировала популярные антивирусы с целью оценки эффективности предоставляемой ими защиты в режиме реальных условий

SE Labs: Динамическое тестирование антивирусов

Каждый продукт проверялся с идентичным набором угроз, которые представляли собой сочетание таргетированных (целевых) атак с известными вредоносными техниками и веб-угрозы, которые встречались в Интернете на момент проведения тестов.

Результаты показывают, как эффективно продукты противостояли данным угрозам в режиме реального времени.

Содержание

Введение

Общая информация

  1. Рейтинг совокупной эффективности
  2. Рейтинг защиты
  3. Баллы за защиту
  4. Подробная информация о защите
  5. Рейтинги обработки надежного ПО
  6. Заключение

Дополнение A: используемые термины

Дополнение B: часто задаваемые вопросы

Дополнение C: версии антивирусов

Дополнение D: виды атак

Введение

Антивирусные продукты рассматриваются экспертами безопасности как существенная мера защиты компьютеров Windows. Скептики, которые заявляют о закате эры антивирусов обычно делают преждевременные выводы только о сигнатурной технологии обнаружения и не рассматривают современные тенденции индустрии. Все тестируемые продукты совмещают классическое сигнатурное обнаружение с расширенными технологиями распознавания угроз.

Идеальный антивирус не подразумевает взаимодействие с пользователем. Он блокирует доступ к вредоносным объектам и разрешает использование надежных приложений и веб-сайтов. Однако, на практике подобная ситуация не встречается.

Данный тест показывает результаты исследования, которое продолжалось три месяца, в течении которых команда SE Labs собирала набор встречающихся в сети веб-угроз. Принципиально важно, что тестовый случай проводился сразу после предварительной проверки зловреда, что позволяет оценивать способность продуктов противостоять актуальным, распространенным в реально мире угрозам.

В последнее время в прессе встречается большое количество сообщений об атаках с заявлениями о том, что антивирусное ПО бесполезно против них. Лабораторий решила на деле проверить эти заявления и включила в тестовый набор похожие виды атак.

SE Labs использует реальные распространенные в сети вредоносные программы, чтобы сделать тестирование максимально реалистичным.

Общая информация

Тестируемые антивирусы

Это хорошая привычка - всегда пользоваться новейшей версией антивирусного продукта. При подготовке к тестированию, специалист проверили, что в испытании принимают участие самые актуальные версии антивирусного ПО, чтобы результаты оценки были максимально актуальными.

SE Labs: Динамическое тестирование антивирусов: Тестируемые антивирусы

Продукты, выделенные зеленым цветом, показали наилучшую итоговую точность - от 85 процентов и выше. Решения в желтой зоне продемонстрировали от 75 до 85 процентов точности. Антивирусы в красной зоне показали менее 75 процентов точности.

Большинство антивирусов были эффективны при обработке общих угроз от киберпрестуников

Все продукты, кроме McAfee, смогли обработать веб-угрозы, которые используются злоумышленниками для организации атак на компьютеры Windows и фонового развертывания программ-вымогателей без взаимодействия с пользователем.

Таргетированные атаки бросили вызов инструментам защиты

Только два продукта смогли безупречно справится с таргетированными атаками на базе эксплойтов, остальные антивирусы были менее эффективны. Особую слабость в той области защиты показали решения от AVG и Microsoft.

Ложные срабатывания - не проблема для большинства

Все антивирусы хорошо справились с обработкой легитимных приложений и сайтов. Шесть продуктов не выдали ни одного ложного срабатывания.

Какие продукты были самыми эффективными?

Продукты ESET, Symantec (Norton), Avast и Kaspersky Lab достигли наилучших результатов благодаря комбинации блокировки вредоносных ссылок, обработки эксплойтов и корректной классификации надежных программ и веб-ресурсов.

1. Рейтинги совокупной эффективности

Оценка эффективности антивирусных продуктов является очень тонким искусством, ведь на поведение программы влияет комплекс различных факторов. Чтобы упростить задачу, лаборатория объединила различные результаты исследования в виде простого для понимания графика.

График ниже учитывает не только способность противостоять вредоносным программам, но и обработку безопасных объектов, в частности надежных сайтов и приложений.

Не все обнаружения и блокировки являются равноценными. Продукт может полностью заблокировать URL-адрес еще до того, как расположенная на нем атака может получить шанс к действию. Аналогично, продукт может разрешить запуститься веб-эксплойту, но предотвратить загрузку дополнительного вредоносного кода на целевую машину. В некоторых случаях вредоносная программа может запуститься на компьютере на небольшой промежуток времени, после чего поведенческие механизмы обнаружения отправят ее в карантин для дополнительного анализа. Все данные сценарии принимались во внимание при расчете совокупных рейтингов.

Например, продукт, который полностью блокирует угрозу оценивается выше, чем другой антивирус, который допустил исполнение угрозы перед ее блокировкой. Продукты, которые допускают вредоносные заражения или блокирует надежные программы серьезно наказывались.

SE Labs: Динамическое тестирование антивирусов:  Рейтинги совокупной эффективности совмещают показатели защиты и ложных срабатываний

Рис. Рейтинги совокупной эффективности совмещают показатели защиты и ложных срабатываний

Награды в тестированиие

Награды в тестированиие

2. Рейтинги Защиты

Результаты ниже показывают, как эффективно продукты обрабатывали угрозы. Баллы присваивались за обнаружение угрозы и за ее блокировку или нейтрализацию.

  • Обнаружение (+1)

Если продукт обнаруживал угрозу, предоставляя определенную информацией о ней, ему присваивался один балл

  • Блокировка (+2)

Угрозы, которые не смогли даже запуститься считаются заблокированными. В этом случае продукт получал 2 балла

  • Нейтрализация (+1)

Антивирусы, которые успешно завершали запустившийся вредоносный процесс получали один балл

  • Полное восстановление (+1)

Если кроме нейтрализации угрозы, продукт удалил все основные следы атаки, он получал один дополнительный балл

  • Заражение (-5)

Если угроза нарушила безопасность системы, продукт терял 5 баллов. Если угроза была обнаружена, тестируемый продукт терял 4 балла, ведь в этом случае пользователь оказывается предупрежден и может предпринять меры для защиты системы

Расчет рейтинга

Для расчета рейтинга защиты использовалась следующая формула:

Рейтинг защиты = (2 * количество блокировок) + (1* количество нейтрализаций) + (1* количество полных восстановлений) + (-5 * количество заражений)

Число полных восстановлений связано с количеством нейтрализаций, которых все основные следы вредоносного ПО были удалены с целевой системы. Подобные следы не появились бы, если угроза была заблокирована, поэтому случаи блокировки подразумевают полное восстановление.

Рейтинги основаны на представлении лаборатории о важности отдельных показателей.

SE Labs: Динамическое тестирование антивирусов: Рейтинги защиты являются взвешенными, чтобы продемонстрировать важность отдельных событий обработки угроз

Рис. Рейтинги защиты являются взвешенными, чтобы продемонстрировать важность отдельных событий обработки угроз

SE Labs: Динамическое тестирование антивирусов: Рейтинги Защиты

3. Баллы за защиту

Данный график показывает общий уровень защиты, без различий между событиями блокировки и полного восстановления. Для каждого продукта случаи блокировки и нейтрализации совмещены в один общий показатель.

Результаты защиты представляют собой простой расчет количества тестовых случаев, когда система была защищена.

SE Labs: Динамическое тестирование антивирусов:  Баллы за защиту

4. Подробная информация о защите

Данные результаты подробно разделяют события обработки угроз. Вы можете наглядно видеть, сколько угроз было обнаружено и какой уровень защиты был обеспечен.

Продукты иногда могут обнаруживать больше угроз, чем они могут заблокировать. Это связано с тем, что антивирус может распознавать отдельный элемент атаки, но не способен удалить всю атаку в целом. Продукты могут обеспечивать защиту, даже если они не могут обнаруживать некоторые угрозы. Некоторые зловреды не запускаются при обнаружении установленных антивирусов.

SE Labs: Динамическое тестирование антивирусов: Подробная информация о защите

Рис Данные наглядно показывают, как продукты обрабатывали тестовые угрозы

5. Рейтинги обработки надежного ПО

Данные рейтинги показывают насколько точно продукты классифицируют легитимные приложение и сайты, принимая во внимание аспект взаимодействия с пользователем. В идеальном случае продукт либо не классифицирует надежное приложение, либо классифицирует его как безопасное, при этом не потревожив пользователя.

Во внимание также принималась распространенность (популярность) приложений и сайтов, используемых в данной части испытания, предусматривая серьезные наказания за неправильную обработку популярных приложений и веб-ресурсов.

SE Labs: Динамическое тестирование антивирусов: Рейтинги обработки надежного ПО

Рис Рейтинги обработки надежного ПО показывают насколько правильно настроен антивирусный движок.

5.1 Рейтинги взаимодействия

Очень важно, чтобы антивирус не только обнаруживали и блокировали угрозы, но также разрешали установку безопасных программ без ложных срабатываний, т.е. некорректных идентификаций надежного объекта в качестве вредоносного.

На самом деле истинные ложные срабатывания бывают очень редкими при тестировании. Очень маловероятно, что популярная программа будет распознана как “вредоносная”. Гораздо чаще надежные программы классифицируются как “неизвестные”, “подозрительные” или “нежелательные”.

В испытании использовалась сложная система присвоения рейтинга антивирусам за обработку легитимных объектов, которая учитывала, как приложение классифицируется и как информация представляется пользователю. Иногда продукт переваливает ответственность на пользователя по поводу признания объекта безопасным или потенциально опасным. В этих случаях как правило продукт дает рекомендацию относительно блокировки или разрешения. В других случаях рекомендация не формируется, что усложняет выбор.

Если продукт разрешает установку приложения или его запуск без вмешательства пользователя или просто сообщает о том, что объект является безопасным, то достигается оптимальный результат. В противном случае происходит не оптимальная классификация или действие (NOCA). В лаборатории считается, что случаи NOCA являются более полезными, чем явные ложные срабатывания.

SE Labs: Динамическое тестирование антивирусов: Рейтинги взаимодействия

Рис. Продукты, которые не тревожат пользователя и классифицируют большинство приложений получают больше баллов, чем решения, которые формируют пользовательские запросы и блокируют надежные приложения

5.2 Рейтинги распространенности

Существует значительное различие между ошибочной блокировкой Microsoft Word и иранского тулбара для Internet Explorer. Если тестовый редактор распространен и популярен по всему миру, то аудитория тулбара относительно мала. Обнаружение подобного менее популярного объекта будет ошибкой, но менее влиятельной по сравнению с блокировкой Word.

C учетом данного факта, лаборатория классифицировала все тестовые приложения по 5 категориям:

  1. очень высокое взаимодействие
  2. высокое взаимодействие
  3. среднее взаимодействие
  4. низкое взаимодействие
  5. очень низкое взаимодействие

За некорректную обработку популярных приложений продукт должен получать более серьезное наказание, чем за блокировку устаревших непопулярных программ. Именно для дифференциации ложных срабатываний в зависимости от распространенности ПО использовались модификаторы рейтинга.

При загрузке приложений использовались преимущественно оригинальные сайты разработчиков, а не сторонние загрузочные порталы. Сторонние сайты обычно комплектуют дистрибутивы сторонним ПО, что может привести к срабатыванию антивирусного движка на предмет рекламного ПО. Таким образом, программы adware были намеренно исключены из тестирования.

Распространенность каждого приложения оценивалась с помощью статистики сторонних сайтов загрузки и рейтинга Alexa.

5.3 Рейтинги обработки надежного ПО

Расчет рейтинга обработки легитимного ПО велся за счет перемножения рейтингов взаимодействия и распространенности.

Если продукт разрешал установку приложения со средним взаимодействием без взаимодействия с пользователем, то его рейтинг рассчитывался следующим образом.

Рейтинг обработки = 2 * 3 = 6

Аналогичные вычисления выполнялись для всех тестовых случаев, после чего результаты суммировались и отображались в виде графика.

5.4. Распространение категорий взаимодействия

Антивирусы, которые наиболее точно обрабатывали надежные приложения, получили наивысший рейтинг. Если бы все тестовые объекты имели наивысший уровень распространения, то максимальный рейтинг был равен 1000 баллам (100 случаев * 2 рейтинг взаимодействия * 5 рейтинг распространенности).

В реальном тесте использовались приложения с различным уровнем распространенности. Таблица ниже показывают распределение приложений.

6. Заключение

Среди применяемых в тесте атак были зараженные веб-сайты, доступные пользователям Интернета, включая ресурсы, которые автоматически атакуют пользователя и пытаются заразить машины без приемов социальной инженерии и других видов взаимодействия. В некоторых случаях сайты надеялись на обман пользователя при установке вредоносной программы. В испытании участвовали таргетированные веб-атаки на базе эксплойтов, которые были предназначены для получения удаленного контроля над целевыми системами.

ESET NOD32 Smart Security - один из продуктов, который заблокировал все угрозы, включая таргетированные атаки. Продукт безошибочно обработал надежные программы и не допустил ни единого заражения системы.

Symantec Norton Security смог успешно противостоять всем атакам на базе эксплойтов и заблокировал большинство веб-атак, некоторые из которых использовали наборы эксплойтов. Продукт нейтрализовал 3 атаки и обработал безопасные приложения без ошибок.

Avast Free Antivirus - самый эффективный бесплатный продукт в данном тестировании. Avast защитил от общедоступных веб-атак и пропустил только три таргетированные атаки. При обработке легитимного ПО антивирус был абсолютно корректен.

Kaspersky Internet Security заблокировал почти все веб-атаки, кроме одной, но пропустил 4 таргетированные атаки. Продукт был особо эффективен при блокировке угроз на уровне браузера, предотвращая попытки запуска зловредов. Продукт безошибочно справился с надежным ПО.

Microsoft и AVG отчаянно боролись с таргетированными атаками, но пропустили десяток из них. Тем не менее они были значительно эффективнее при противодействии общедоступным веб-атакам. Trend Micro менее точно обработал надежные приложения, но получил более высокий совокупный рейтинг благодаря большему количеству заблокированных угроз, чем у AVG и большему количеству случаев защиты, чем у Microsoft.

McAfee Internet Security показал самый слабый результат в тесте. Примечательно, что продукт хорошо справился с таргетированными атаками. Однако, он пропустил 11 веб-атак, но смог в итоге заработать рейтинг A благодаря безошибочному распознаванию надежного ПО.

Четыре продукта выступили отлично и смогли получить рейтинг AAA: ESET, Symantec (Norton), Avast и Kaspersky Lab. Trend Micro, AVG и Microsoft заработали AA, a McAfee довольствовался минимальным рейтингом A.

Дополнение А: используемые термины

Заражение

Атака была успешной, вредоносная программа смогла проникнуть в целевую систему и нарушить ее безопасность без блокировок. В случае с таргетированной атакой, злоумышленник получил возможность удаленного управления над системой и беспрепятственно выполнения заданий.

Блокировка

Атака была заблокирована, никаких изменений в целевой системе не было сделано

Ложное срабатывание

Некорректная классификация надежного сайта или приложения в качестве вредоносного объекта

Нейтрализация

Полезная нагрузка эксплойта или вредоносной программы в системе была успешно удалена

Полное восстановление

Удаление всех следов атаки из системы

Целевая система

тестовая система, защищенная тестируемым продуктом

Угроза

Программа и последовательность взаимодействий, которые предназначены для несанкционированного контроля над системой

Обновление

Вендоры информируют продукты о последних угрозах с помощью обновлений. Эти обновления могут быть загружены пакетно, индивидуально или в режиме реального времени с помощью Интернета

Дополнение B: часто задаваемые вопросы

  1. Полная методика тестирования доступна на сайте лаборатории.
  2. Тестируемые продукты были отобраны SE Labs.
  3. Тестирование не спонсировалось. Ни один вендор не мог проконтролировать содержание отчета или его публикацию.
  4. Используемая ОС: Windows 7 (64-bit) со всеми обновлениями безопасности, доступными для Service Pack 1.
  5. Тестирование проходило в период с 21 января 2016 года по 18 марта 2016 года.
  6. Все продукты имели полный доступ в Интернет и могли подключаться к любым внутренним сервисам и службам. Это подтверждается проверкой доступности облачных функций в рамках регламента Anti-Malware Testing Standards Organization (AMTSO).
  7. Вредоносные сайты и надежные приложения были независимо собраны и проверены лабораторией SE Labs.
  8. Таргетированные атаки были отобраны и проверены SE Labs. Они были созданы с помощью инструментария Metasploit Framework Edition с использование стандартных настроек. При отборе атак использовалась информация о реальных атаках, в том числе принималось во внимание исследование 2015 Data Breach Investigations Report (2015) от Verizon.
  9. Вредоносные программы и легитимные данные были отправлены партнерам сразу после завершения тестирования.
  10. Тестирование выполнялось на физических компьютерах, а не на виртуальных машинах.

Дополнение С: версии антивирусов

Механизм обновления продуктов мог автоматически обновить версию антивируса, поэтому версия на момент старта тестирования и по его окончанию может отличаться.

SE Labs: Динамическое тестирование антивирусов: Версии антивирусов

Дополнение D: виды атак

Таблица показывает, как продукты защищали от различных видов угроз, используемых в тесте.

SE Labs: Динамическое тестирование антивирусов: Виды атак

Перевод Comss.ru. По материалам SE Labs.

Нашли опечатку? Выделите и нажмите Ctrl+Enter

Комментарии и отзывы

Добавляя комментарий, ознакомьтесь с Правилами сообщества