AV-Test: Ложные срабатывания антивирусов

2016-06-10 16881 комментарии
Пользователи привыкли доверять своему антивирусу - когда отображается тревожное оповещение считается, что система подвергается угрозе безопасности, но может быть это все-таки ложное срабатывание?

В идеальной ситуации с домашними пользователями и компаниями ложные срабатывания не должны происходить. В длительном 14-месячном тестировании немецкая антивирусная лаборатория AV-Test выяснила, какие продукты склонны прерывать активность пользователя без всякой причины, а какие являются надежными с точки зрения ложных срабатываний.

Ложное срабатывание или нет? AV-Test протестировала 33 антивируса за 14-месячный период

Ложное срабатывание или нет?: AV-Test протестировала 33 антивируса за 14-месячный период.

Возможно вы уже встречались с ситуацией, когда на экране всплывает красное предупреждение и воспроизводится сигнал тревоги. Эта реакция была вызвана скопированным файлом или запущенным приложением. Но что делать, если антивирус классифицирует браузер Google Chrome или системный файл Windows в качестве опасного взломщика? В этом случае пользователь столкнулся с ложноположительным результатом, который вводит в заблуждение пользователя или системного администратора.

Обнаружение безопасных и вредоносных объектов

Антивирус должен корректно обрабатывать надежные и вредоносные файлы. Для того, чтобы проверить это, лаборатория AV-Test на протяжении 14 месяцев - с января 2015 года по февраль 2016 года оценивала, как антивирусы решают данный вопрос. В общей сложности было протестировано 19 продуктов для конечных пользователей и 14 корпоративных решений.

Исследователи определили четыре тестовых задания для Юзабилити-теста, которые были сформулированы инженерами лаборатории следующим образом:

  • ложные предупреждения или блокировки при посещении веб-сайтов
  • ложные обнаружение легитимного ПО в качестве вредоносных угроз во время сканирования системы
  • ложные предупреждения при выполнении определенных действий во время установки или использовании легитимного ПО
  • ложные блокировки определенных действий во время установки или использовании легитимного ПО

Методика тестирования

Во всех категориях тестирования оценивалась только безопасные веб-сайты, надежные файлы и безобидные известные приложения. В конце концов в цифровом мире гораздо больше безопасных файлов, чем зараженных объектов. Вот почему все решения работают с так называемыми “белыми списками” - базами данных, которые хранят сигнатурами и хэш-значениями. Если антивирусная программа мгновенно не распознает файл, она отправляет запрос на облачный сервер, чтобы узнать, был ли файл зарегистрирован. Если информации об объекте нет в базе данных, он будет помечен как хороший или плохой.

Для того, чтобы получить действительно релевантные результаты теста, необходимо иметь большое количество безопасных данных. Лаборатория полностью выполнила все требования стандартов:

Для тестирования каждого продукта было посещено 7000 сайтов и проверено 7,7 миллионов файлов. Кроме того, 280 приложений было запущено повторно, после чего фиксировалось будет ли антивирус повторно выводить ложное оповещение и блокировать образец.

Набор из 7,7 миллионов файлов содержал все новые файлы популярных программ для разных ОС Windows от Windows 7 до Windows 10 и офисных пакетов. Если антивирус ложно классифицирует легитимный системный файл как вредоносный, данная ситуация может иметь фатальные последствия. Именно поэтому последние версии этих важных файлов всегда включаются в программу тестирования.

Потребительские продукты: некоторые антивирусы отработали идеально

Длительный

Длительный юзабилити-тест потребительских продуктов: сводка показывает ложные сигналы отдельных продуктов - действительно их не так уж и много.

Несмотря на высокие требования теста и большие объемы обработанных данных, некоторые приложения совсем не выдали ошибочных срабатываний. Avira Antivirus Pro и Kaspersky Internet Security отработали безошибочно.

Еще 4 решения от Intel Security, Bitdefender, AVG и Microsoft показали менее 10 ложных срабатывания. Тем не менее, даже продукты внизу итоговой таблицы отметились далеко не катастрофическими результатами.

5 антивирусов получили максимальные 6 баллов

Сразу 5 антивирусов получили максимальные 6 баллов во всех сегментах тестирования за 14 месяцев.

Детальная информация о результатах:

  • “Ложные предупреждения или блокировки при посещении веб-сайтов” не происходили на протяжении всего испытания при посещении 7000 ресурсов.
  • “Ложные обнаружение легитимного ПО в качестве вредоносных угроз во время сканирования системы” - худший результат показал Ahnlab V3 Internet Security - 98 ложноположительных обнаружений при общем количестве проверенных файлов в 7,7 миллионов. Процентный показатель в 0.001% является абсолютно допустимым, но есть область для улучшения.
  • “Ложные предупреждения при выполнении определенных действий во время установки или использовании легитимного ПО” - 11 из 19 продуктов не выдали ни одного ложного срабатывания в этом испытании. 6 продуктов показали от 1 до 3 ошибочных обнаружений в 280 тестовых случаях. Только продукт K7 Computing допустил в общей сложности 10 ложных предупреждений.
  • “Ложные блокировки определенных действий во время установки или использовании легитимного ПО” - даже здесь многие из 19 программ проделали отличную работу. В то время как 7 продуктов вообще ничего не заблокировали, еще 11 приложений ошибочно запретили от 1 до 6 безобидных действий. Comodo Internet Security Premium выдал 29 ложных срабатываний.

Корпоративные продукты: только Kaspersky справился безошибочно

Длительный юзабилити-тест корпоративных продуктов

Длительный юзабилити-тест корпоративных продуктов: уровень ложных срабатываний очень низок, что на славу оценят системные администраторы.

В рамках масштабного тестирования AV-Test была проведена оценка 14 корпоративных решений с точки зрения удобство использования, а именно корректной обработки безопасных объектов. В данном испытании два решения Лаборатории Касперского: Kaspersky Endpoint Security и Kaspersky Small Office Security справились без ошибок. Тем не менее, они принимали участие только в 6 из 7 тестов.

На протяжении всего периода тестирования решения от Sophos, Intel Security и Bitdefender продемонстрировали общий уровень ошибок ниже 10. Тем не менее, все другие продукты также имели низкий уровень ложных срабатываний при сравнении с общим объемом обработанных данных.

Высокий

Высокий средний балл в тесте: многие продукты, протестированные 6 или 7 раз, показали высокую эффективность и были близки к 6 баллам.

Детальная информация о результатах:

  • “Ложные предупреждения или блокировки при посещении веб-сайтов” не происходили на протяжении всего испытания при посещении 7000 ресурсов.
  • “Ложные обнаружение легитимного ПО в качестве вредоносных угроз во время сканирования системы” - худший результат показал F-Secure - 49 ложноположительных обнаружений при общем количестве проверенных файлов в 7,7 миллионов. Хороший результат, хотя Sophos ошибочно распознал только два файла.
  • “Ложные предупреждения при выполнении определенных действий во время установки или использовании легитимного ПО” - 4 из 14 продуктов показали от 1 до 2 ошибочных обнаружений в 280 тестовых случаях. Данный результат должен удовлетворить системных администраторов.
  • “Ложные блокировки определенных действий во время установки или использовании легитимного ПО” - в данной категории результаты хороши. В 280 тестах 8 продуктов действовали безошибочно, а еще 6 решений выдали от 1 до 5 ложных срабатывания. Для сравнения, худший потребительский продукт 29 раз ошибочно заблокировал безопасные действия.

У корпоративных решений ложных срабатываний меньше

Если объединить результаты тестирования корпоративных и потребительских продуктов, то становится ясно, что корпоративные решений генерируют меньшее количество ложных срабатываний. Тем не менее, стоит отметить, что производители, предлагающие решения для конечных пользователей и компаний имеют высокую эффективность в обоих случаях. Это справедливо для решений Kaspersky, Bitdefender, Microsoft, Trend Micro, Symantec и F-Secure.

В целом, все продукты получили высокую оценку качества с точки зрения удобства использования. В то время как лаборатория обычно вычитает несколько баллов из-за ложных срабатываний, данный шаг является строго, говоря критикой за высокий уровень производительности.

Некоторые разработчики будут всерьез озадачены, когда увидят, какие именно программы вызвали ложные срабатывания. Среди часто блокируемых приложений -  Notepad++, Yahoo Messenger и WinRAR. Это далеко не экзотические приложения, а стандартное популярное ПО. Учитывая низкий уровень ложных срабатываний, производители должны в кратчайшие сроки поработать над обнаруженными ошибками.

Ежедневная загрузка новых тестовых файлов

Технический директор AV-Test Майк Моргенштерн

Комментарий эксперта: Технический директор AV-Test Майк Моргенштерн

Каждый день в цифровом мире появляется большое количество новых файлов, которые неправильно распознаются антивирусным ПО. В рамках проекта Flare AV-Test собирает новые файлы ежедневно и использует их в своих тестах.

Антивирус обнаруживают безобидные программы по их сигнатурам и хэш-значениям, которые могут храниться, например, на облачном сервере. Благодаря данным механизмам сканирование выполняется очень быстро. Таким образом, известные файлы не вызывают ложные срабатывания.

Для того, чтобы профессионально проверить антивирусные продукты с точки зрения ложных срабатываний, тестовая лаборатория должна работать с новейшими файлами: приложениями, программными обновлениями, плагинами, драйверами и т.д. Для данной цели в AV-Test служит проект Flare.

Flare каждый день выполняет мониторинг сети Интернет в поисках новых файлов, например, на сайтах разработчиков и портала загрузки ПО. При обнаружении новых файлов, они автоматически загружаются и устанавливаются. После этого выполняется обнаружение вредоносных и потенциально нежелательных приложений. Если объект оказывается чист, он добавляется в базу данных. Благодаря данному методу, база данных пополняется тысячами новых файлов каждый день. База данных Flare включает более 40 миллионов безопасных файлов, а общий объем занимаемых данных приближается к 25 терабайтам.

Коллекция Flare включает также новые популярные обновления Microsoft Windows, Office, Adobe, Oracle, Mozilla, Google, Intel, IBM или SAP. Если файлы данных компаний классифицируются ошибочно, это может иметь серьезные последствия. Вот почему эти файлы всегда включаются в тестовый набор AV-Test из 7,7 миллионов файлов.

Перевод Comss.ru. По материалам AV-Test

© .
Комментарии и отзывы

Нашли ошибку?

Новое на сайте