Как тестирует AV-TEST: Защита (Protection)

2014-06-04 | Автор | комментарии
Одна из самых важных категорий оценки, которые использует независимая лаборатория AV-TEST при тестировании антивирусов - Защита (Protection). Методика включает тесты, которые задействуют все защитные компоненты и возможности антивируса

Как тестирует AV-TEST: Защита (Protection)

Защита (Protection) является самой важной категорией оценки, в которой проверяется эффективность антивирусного продукта при противостоянии актуальным онлайн угрозам  (защита от угроз нулевого дня, вредоносных атак из Интернета, e-mail угроз (тестирование в условиях, максимально приближенных к реальным). Для проверки способности предотвращения атак тестируемый антивирус сталкивают лицом к лицу с известными вредоносными сайтами и электронными письмами.

Методика тестирования:

  1. Продукты устанавливаются и обновляются, остаются настройки по умолчанию. Антивирус имеет полный доступ к сети Интернет в течение всего тестирования;
  2. AV-Test использует аналитическую программу SunShine собственной разработки для создания карт незараженных систем;
  3. Затем начинаются попытки доступа к вредоносным сайтам и электронным письмам;
  4. Если доступ к сайту или e-mail сообщению блокируется или программа выводит оповещения, все эти действия фиксируются. Конкретный момент блокировки доступа или используемый метод на данном этапе тестирования не имеет значения. Перечислим потенциальные варианты поведения:

- заблокирован доступ к URL-адресу;

- обнаружен и заблокирован эксплойт на веб-сайте;

- заблокирована загрузка вредоносных компонентов;

- заблокирована попытка использования вредоносных компонентов;

  1. Учитывая, что успешное обнаружение вредоносных угроз не всегда гарантирует успешную блокировку, программа Sunshine постоянно проводит мониторинг всех действий на компьютере для выявления полной, частичной блокировки или полного игнорирования зловаредов:
  2. Результаты тестовых случаев определяются на основании документальных подтверждений обнаружений, относящихся к тестируемому продукту и согласно записанным действиям в Sunshine.

Процедура тестирования для всех тестируемых продуктов проходит в одно и то же время для соблюдения одинаковых условий испытаний. Если тестовый случай больше недоступен и не может воспроизводиться при проведении испытания, или поведение самой угрозы может различаться спонтанно (что хорошо прослеживается при анализе материала, собранного Sunshine), то такой тестовый случай удаляется. Данная мера гарантирует, что все продукты тестируются при идентичных сценариях. Все тестовые случаи собираются с помощью внутренних источников AV-Test и детально анализируются специалистами лаборатории. AV-Test принципиально не использует тестовые случаи или анализы, предоставленные разработчиками ПО или сторонними организациями.

В тесте используется только реальные угрозы, что точно отражает актуальную ситуацию потенциального риска. Учитывая сложность процедуры тестирования и последующий анализ результатов, количество тестовых случае должно быть ограничено разумными переделами. Тем не менее, лимитированное количество угроз все-равно способно отражать реальную ситуацию, т.к. тысячи вредоносных программ, распространяемых онлайн, являются вариациями конкретных семейств угроз.

Для того, чтобы увеличить статистическую релевантность результатов тестов, дальнейший анализ проводится в отношении большого количества текущих угроз. А это требует упрощения методики тестирования и увеличения количества тестовых случаев в несколько раз. Тест отражает статическое обнаружение файлов с использованием сигнатур, эвристических компонентом и облачных запросов. AV-Test использует два различных тестовых набора для проведения анализов:

- все вредоносные файлы, которые были обнаружены на AV-Test за 6-8 недель до начала тестирования (обнаружение репрезентативного набора, собранного за последние 2-3 месяца – так называемый AV-Test reference set): 100000-150000 файлов.

- Чрезвычайно распространенные вредоносные файлы, которые были обнаружены AV-Test за 6-8 недель до начала тестирования (обнаружение распространенных угроз): 2000-2500 файлов.

Оба тестовых набора используют файлы, которые были предварительно обнаружены и проанализированы лабораторией AV-Test. Для того чтобы предотвратить влияние на тестовый набор со стороны разработчиков ПО, информация от вендоров не включается в испытания. Как результат, независимый анализ AV-Test достигает высокого уровня качества.

Методика тестирования:

  1. Продукты устанавливаются и обновляются, остаются настройки по умолчанию;
  2. Для проверки тестовых образцов вызывается сканирование по требованию, в течение которого антивирусная программа имеет полный доступ к Интернету;
  3. После проверки детально анализируются файлы журналов и отчетов и фиксируются обнаружения и ошибки сканирования, впоследствии на основании этих данных определяется итоговый результат.

В данном тесте очень важно, чтобы все тестируемые продукты одновременно анализировались по идентичным тестовых случаям, что гарантирует одинаковые условия испытания для всех проверяемых антивирусов. Кроме того, продукты могут обновляться в любое время, что позволяет справедливо объединить сами тестируемые программы с их облачными запросами непосредственно в тестовой среде.

Другие тестирования

- Производительность (Performance)

- Юзабилити (Usability)

Перевод Comss.ru. По материалам AV-TEST

Нашли опечатку? Нажмите Ctrl+Enter

Комментарии и отзывы

Добавляя комментарий, ознакомьтесь с Правилами сообщества