Финальное тестирование антивирусных решений в 2016 году (часть 2)

22 декабря 2016

В первой части нашего обзора мы рассмотрели возможности антивирусного программного обеспечения, готовность его к тестированию и даже назвали победителей. Однако финальные результаты года можно увидеть в этой статье. Теперь давайте рассмотрим тесты подробнее.

Антивирусные продукты принимающие участие в тестировании:

Названия продуктов принимавших участие	Версия
Avast Antivirus	12.3
AVG Internet Security	2017
Avira Antvirus Pro	15.0
Bitdefender Internet Security	2017
BullGuard Internet Security	16.0
Emsisoft Anti-Malware	12.0
eScan Internet Security	14.0
Eset Smart Security	10.0
F-Secure Safe	2017
Fortine FortiClient	5.4
Kaspersky Lab Internet Security	2017
Lavasoft Pro Security	11.12
McAfee Internet Security	19.0
Microsoft Security Essentials	4.10
Quick Heal Total Security	17.0
Sophos Endpoint Security	10.6
Tencen PC Manager	11.6
Trend Micro Internet Security	11.0

Процедура тестирования

Проверка десятков антивирусных продуктов с использованием сотен ссылок – это сложный процесс, который нельзя сделать вручную (так как он предполагает параллельное посещение тысяч сайтов), так что он должен восприниматься как нечто автоматизированное.

Подготовка лаборатории

Каждый потенциальный кандидат на тестирование запускается и анализируется на новой машине, на которой отсутствует антивирусное программное обеспечение. Если вредоносное ПО подходит эту проверку, исходная ссылка добавляется в список на тестирование. Любой случай, который оказывается неподходящим, сразу исключается из тестерирования.

Каждая защитная программа устанавливается на отдельный компьютер. Все они подключены к интернету. Каждая система обновляется ежедневно вручную, каждый кандидат обновляется перед новым этапом тестирования. Каждый ПК имеет собственный постоянный ip-адрес. Мы делаем специальные разграничители внутри сети, чтобы каждый ПК получил стабильное соединение, и соблюдаем меры предосторожности (с помощью специально настроенных фаерволов), чтобы другие компьютеры не могли быть заражены посредством локальной сети (чтобы избежать сбоев и не смазывать результаты).

Настройки

Мы используем каждую защитную сюиту с заводскими настройками. Whole-Product Dynamic ProtectionTest нацелен на симуляцию ежедневного пользования реальными людьми. Если пользователю предлагают принять решение – он выбирает согласиться с предложенным программой вариантом. Если продукту удаётся защитить систему мы засчитываем все успешные устранения угроз, даже те, что требовали подтверждения пользователем. Если работа системы нарушена – мы считаем это ответственностью пользователя. Под защитой мы понимает то, что попытки нарушения работы системы были предотвращены. Это значит, что всё вредоносное ПО отключено (удалено или блокировано), и отсутствуют значительные изменения в работе системы. Оповещение о том, что вредоносное ПО уже было запущенно или загружено мы защитой не считаем.

Цикл тестирования каждой вредоносной ссылки

Перед тем, как перейти по заражённой ссылке мы обновляем базу данных сигнатур программы (как и было описано выше). Новые крупные обновления продукта (когда меняется первая цифра билда) мы устанавливаем раз в месяц, поэтому в месячных отчётах учитывается только первая цифра версии продукта. Наше тестирующее программное обеспечение постоянно мониторит ПК, так что все вредоносные изменения записываются. Более того, отмечаются даже алгоритмы, по которым программе удалось обнаружить вредоносное ПО. После каждого этапа тестирования машина возвращается в исходное состояние.

Защита

Антивирусное программное обеспечение должно защищать ПК. То, на каком этапе это происходит не имеет особого значения. Это может происходить во время просмотра веб-сайта (например, защита через блокировщик ссылок), когда вредоносное ПО пытается запустится, когда файл загружается, или когда он запущен (или открыт пользователем). Если вредоносное ПО уже запустилось, мы ждём несколько минут, чтобы выявить его цель, или, в случае с поведенческими блокировками, чтобы позволить найти угрозу, устранить её и восстановить нанесённый ущерб. Если вредоносной программе удалось нарушить работу системы, процесс классифицируется как «Системе нанесён ущерб». Если пользователю позволяется самому определять опасность программы, и, он выбирает игнорирование угрозы, в результате чего системе нанесён ущерб, мы классифицируем процесс как «Ответственность пользователя». Поэтому столбцы жёлтого цвета в окончательном отчёте могут интерпретироваться как успешная защита, так и её провал (так как каждый пользователь самостоятельно решает что он или она бы сделал в данной ситуации).

Если речь идёт об облачных продуктах, то мы принимаем во внимание лишь результаты, продемонстрированные на момент тестирования. Иногда облачные сервисы, предоставляемые поставщиками, падают из-за ошибок или простоев технического обслуживания со стороны поставщиков, но подобные простои часто скрываются от конечного пользователя. Именно по этой причине продукты, полагающиеся исключительно на облачные сервисы (не проводящие локальной эвристики, поведенческих блокировок и им подобных) могут быть крайне ненадёжными, так как в подобных случаях защита пользователей может значительно снижаться. Облачные сигнатуры и сборы репутации могут быть использованы как дополнение к уже установленным защитным программам, но не как их альтернатива, так как отключение облачных серверов сразу же подвергает пользователей опасности заражения.

Тестирование ложных угроз

Тестирование ложных угроз состоит из двух частей: ошибочно заблокированные сайты (в момент просмотра) и ошибочно заблокированные файлы (в момент загрузки или установки). Необходимо проверять обе части, ведь тестирование лишь одного параметра помогает выявить продукты, сконцентрированные лишь на одном из двух методов: или на фильтрации ссылок, или на поведенческой или репутационной защите файлов.

Ошибочно заблокированные домены

Мы используем около тысячи случайно выбранных популярных доменов. Блокированные домены, не содержащие вредоносного программного обеспечения, помечаются как «ложноположительные». Ошибочно блокированные домены отправляются поставщикам для того, чтобы они исключили их из чёрных списков.

Блокировка домена целиком может не только пошатнуть веру в предупреждения антивирусной программы, но и оказать финансовый ущерб (наряду с ущербом репутации сайта) владельцам доменов, включая потерю доходов от рекламы. В связи с этим, мы рекомендуем производителям блокировать домен целиком, только в случае если единственной задачей домена является распространение вредоносного кода, а в других случаях блокировать лишь заражённые страницы (до тех пор, пока они не будут очищены). Продукт, блокирующие ссылке на основе репутации, очень склонны к тому, что было описано выше, и получают высокие оценки в тесте, хотя они должны блокировать новые и непопулярные сайты.

Ошибочно заблокированные файлы (во время загрузки или установки)

Мы используем около двух тысяч разных приложений, которые размещены в разделах «Наиболее загружаемые» или «Рекомендуемые загрузки» на разных порталах с программным обеспечением. Приложения, загружаются с официального сайта разработчика (вместо загрузки с серверов портала), сохраняются на диске и устанавливаются, для того, чтобы узнать будут ли они заблокированы на каком-либо из этих этапов. Дополнительно мы добавляем несколько чистых файлов, которые были обнаружены за время нескольких последних месяцев работы Real-World Protection Test.

Задачей антивирусов является защита пользователей от вредоносного ПО, а не цензура или ограничение доступа к популярным и надёжным программам и сайтам. Если пользователь намеренно выбирает высокие параметры безопасности, которая предупреждает, что программа может блокировать некоторые законные сайты или файлы, то это можно считать приемлемым. Тем не менее, мы не считаем это приемлемым в качестве настройки по умолчанию, если пользователь не был предупрежден. В разные моменты времени мы уведомляли порталы о наличии вредоносных программ, и проблема решалась за несколько часов, поэтому мы удивлены наличием популярных приложений в списке фильтров. В связи с этим, тесты, которые сделаны, например, только с очень популярными приложениями, или которые используют только 50 лучших файлов из белого списка будут пустой тратой времени и ресурсов. Пользователям безразлично, нацелена ли угроза исключительно на них, или же их антивирус имеет уязвимость, позволяющую им стать жертвой вируса. Поэтому крайне важно устранять абсолютно все угрозы, в независимости от того, сколько пользователей могут пострадать. Распространённость фильтрации на основе баз данных представляет интерес только для внутреннего тестирования обеспечения качества продукта, пользователям же крайне важно знать, насколько точно их антивирус способен отличать чистые файлы от вредоносного ПО.

Результаты

По результатам тестирования мы можем определить пятерку лидеров:

F-Secure;
Bitdefender;
Avira;
Trend Micro;
Kaspersky Lab.

Как вы видите, F-Secure и Trend Micro значительно подняли свои позиции в общем рейтинге антивирусного программного обеспечения в 2016 году, однако по финальным итогам всего года наивысших наград и статусов Advanced+ удостоились такие производители:

Avira
Bitdefender
Kaspersky Lab
ThreatTrack
Avast
AVG
ESET
Tencent
Lavasoft

Мы поздравляем победителей и желаем что бы в следующем году все антивирусное программное обеспечение получало только наивысшие оценки и надежно защищало пользователей от опасностей и угроз.

Информация предоставлена независимой организацией AV-Comparatives.