Как тестирует AV-TEST: Юзабилити (Usability)

2014-06-06 | Автор | комментарии
Лаборатория AV-TEST использует критерий Юзабилити (Usability) для оценки удобства использования антивирусного решения, что представляет собой тестирование на ложные срабатывания

Как тестирует AV-TEST: Юзабилити (Usability)

Кроме эффективности защиты и влияния на системное быстродействие, лаборатория AV-Test тестирует антивирусные продукты по критерию юзабилити.  В связи с тем, что очень трудно оценить юзабилити самого продукта, в данном испытании фактически оценивается влияние на юзабилити системы.

Для измерения этого влияния используется 2 различных фактора:

- отвлечение пользователя при выводе предупреждающих сообщений при обнаружении неизвестных программ и из-за ложных срабатываний;

- ошибочное распознавание надежных программ в качестве вредоносных.

Тестирование на ложные срабатывания

Для  проверки отвлечения пользователя из-за большого количества ложных срабатываний используется коллекция последних версий широкораспространенных программ, таких как Mozilla Firefox, Adobe Reader ,Flash, Java Runtime Environment, VLC Media Player и т.д.  Набор программ регулярно меняется, чтобы разработчик не мог заранее подготовиться к тесту. Тестовый случай наступает при загрузке программы с официального сайта, ее установки и использования. Во время этих действий ведется журнал, которые фиксирует реакцию антивируса на выполняемые операции – появляется ли ошибочное обнаружение или блокировка.  Кроме того, аналитическая система Sunshine, собственная разработка AV-Test, проверяет насколько полно программа была установлена и все ли ее функции доступны. Если какие-либо программные действия блокируются антивирусным ПО,  данный факт также фиксируется и используется при итоговой оценке. Результат отражает количество программ, которые вызвали предупреждающие сообщения и которые были и вовсе (полностью или частично) заблокированы.

Учитывая сложность этих испытаний, количество используемых тестовых случаев невелико.  Дальнейшее тестирование ложных срабатываний продолжается в упрощенной форме, когда исследуются 600.000-750.000 тестовых случаев для получения статистически релевантного значения.

Собственный архив AV-Test, который содержит около 10 миллионов файлов, служит основой для данных испытаний.  Этот архив включает дистрибутивы и различные версии установленных файлов современных и устаревших программ. Тысячи новых программ добавляются в коллекцию каждый день, а значит, архив расширяется со скоростью 100.000 новых образцов в неделю.

Все файлы анализируются, для того, чтобы убедиться в их безвредности. Только абсолютно безопасные программы могут использоваться в тесте на ложные срабатывания. Архив используется для создания случайного тестового набора, состоящего из файлов с возрастом не более нескольких недель. Затем проводится сканирование по требованию, в процессе которого фиксируются ошибочные обнаружения надежных программ в качестве вредоносных угроз.  При проведении испытания файлы так называемой «серой зоны» (программы для дистанционного управления, приложения для восстановления паролей и коммерческие кейлогеры) исключаются из результатов, чтобы проводилась оценка только очевидных ложных срабатываний.

Другие тестирования

- Защита (Protection)

- Производительность (Performance)

Перевод Comss.ru. По материалам AV-TEST

Комментарии и отзывы

Добавляя комментарий, ознакомьтесь с Правилами сообщества