Евгений Вовк, «Лаборатория Касперского»: Объективные проверки показывают истинные возможности ИБ-продуктов
Начиная с 2013 года продукты «Лаборатории Касперского» приняли участие более чем в тысяче независимых проверок и обзоров. В 965 случаях они оказывались среди трех лидеров, а 861 раз занимали первую строчку. Этот опыт позволил компании накопить знания, полезные для других разработчиков ИТ-решений, и разработать собственную методику представления результатов испытаний. О том, как устроена глобальная система тестирования средств защиты, рассказывает Евгений Вовк, руководитель отдела внешнего технологического тестирования и технологического позиционирования «Лаборатории Касперского».
CNews: Какие структуры занимаются тестированием защитных продуктов?
Евгений Вовк: Существует множество организаций и экспертов, которые проводят сравнительные испытания решений в области безопасности. Среди них журналисты (PCMag, ComputerBild, Chip и другие), блогеры, крупные объединения (Stiftung Warentest, International Consumer Research & Testing, Роскачество и другие), а также независимые лаборатории, специализирующиеся на тестировании защитных средств (AV-Comparatives, AV-Test, SE Labs и другие). Кроме того, есть аналитические компании, например Gartner, Forester, которые занимаются сравнением и обзорами рынков корпоративных продуктов разных направлений (но сегодня речь не о них).
Представители СМИ составляют обзоры и для сопоставления защитных продуктов могут применять, помимо прочего, сведения из измерительных испытаний. Одни опираются на данные, полученные в сертифицированных тестовых лабораториях, другие — на результаты собственных проверок. Профессиональное внедрение журналистами или агентствами сложных методик тестирования зачастую затруднено из-за нехватки необходимых знаний и опыта в сфере современных угроз и уязвимостей, а также ограниченных ресурсов для создания нужной инфраструктуры, методик и актуальных тестовых наборов. При этом в большинстве случаев у производителей защитных решений нет возможности перепроверить полученные данные, что ведет к отсутствию прозрачности (transparency) в результатах — а это один из ключевых признаков профессионального тестирования. Более того, порой выводы в публикациях кардинально расходятся с итогами тестов большинства независимых лабораторий. Возникает закономерный вопрос: насколько можно полагаться на такие обзоры.
Авторы блогов нередко испытывают еще более серьезные ограничения в ресурсах (речь идет не столько о финансах, сколько об инженерных и временных возможностях), и их испытания, как правило, носят узкую направленность. Из-за зависимости блогеров от конкретных показателей (например, числа подписчиков и лайков) всегда существует вероятность намеренного или ненамеренного выделения одних защитных решений в ущерб другим. Однако стоит признать, что на рынке присутствует множество беспристрастных и квалифицированных блогеров.
Крупные структуры, такие как Stiftung Warentest и ICRT, традиционно стремились к независимости, вплоть до того, что придерживались политики не взаимодействовать с вендорами и не передавать им никакой информации под предлогом «чтобы не скомпрометировать себя и свои коллекции вредоносных программ и атак». Иными словами, пропуски или ложные срабатывания, которые они ставят в вину защитным решениям, известны только им самим и больше никому. В результате их невозможно проверить или исправить. Это означает, что результаты таких испытаний лишены прозрачности. Возможно, в отдельных узких областях подобный подход оправдан.
Например, при тестировании некоторых потребительских товаров, таких как стиральные машины, тостеры или пылесосы, существует естественное согласие по критериям успеха и однозначная интерпретация результатов. Однако в случае с защитными решениями всегда есть риск множественного толкования одного и того же итога. Есть классический пример с вредоносным ПО, которое ищет на устройстве конкретные защитные программы. После запуска зловред проверяет, запущены ли процессы определенных антивирусов, и если находит их, просто прекращает свою активность. В такой ситуации защитному решению нечего детектировать (вредоносного действия не произошло), а перед тестировщиком встает дилемма: наказывать за отсутствие детекта (что недопустимо, если вредоносных действий не было) или поощрять за то, что именно благодаря этому защитному решению зловред «решил» завершить свою работу.
Независимые исследовательские центры и лаборатории, которые на профессиональной основе занимаются проверкой средств безопасности, применяют полностью открытые подходы к проведению испытаний и обработке результатов. Будучи коммерческими структурами, они ставят перед собой цель обеспечивать наиболее качественный анализ и оценку результативности защитных продуктов разных категорий по заданным критериям. Когда обсуждается независимое тестирование решений в области информационной безопасности, в первую очередь имеются в виду именно такие организации.
CNews: Почему недостаточно внутренних проверок, которые компания выполняет собственными силами?
Евгений Вовк: Мы способны протестировать собственные технологии и продукты исключительно на тех вредоносных или безопасных файлах и ссылках, которые присутствуют в наших потоках и коллекциях, а значит, уже были классифицированы и учтены в процессах выявления угроз или внесения в белые списки. Тестовые же организации могут проверить продукты на угрозы, которых у нас нет, а также на угрозы, использующие новые методы и подходы. Иногда им удается обнаружить такие варианты техник и/или вредоносного ПО, которые не попали в нашу коллекцию. Испытания на их основе дают возможность понять, насколько наши продукты готовы противостоять всему разнообразию атак, существующих в мире.
CNews: Участие в тестах независимых лабораторий требует оплаты?
Евгений Вовк: Да, бесплатного тестирования как такового практически не существует. Помним о принципе «бесплатный сыр». Лаборатории, проводящие испытания, юридически оформлены как коммерческие предприятия, они ориентированы на получение прибыли и зарабатывают ее за счет платы за участие в тестах. Эта плата покрывает расходы на разработку и внедрение методик, контроль результатов и их публикацию.
CNews: По каким критериям оцениваются решения в области кибербезопасности?
Евгений Вовк: Стандартный набор критериев закреплен в рекомендациях AMTSO (Anti-Malware Testing Standards Organization — международной организации по стандартизации тестирования средств защиты информации). В него входят уровень обнаружения или защиты, уровень ложных срабатываний и производительность. Все три параметра важны, ведь добиться успеха только в одном, пренебрегая остальными, довольно просто. Например, можно детектировать практически всё подряд и таким образом эффективно выявлять вредоносное ПО, но при этом уровень ложноположительных срабатываний окажется чрезвычайно высоким. Демонстрировать высокие результаты по всем трем параметрам одновременно — это настоящий вызов и сложная задача для любых защитных средств.
Для каждого параметра различные тестеры применяют собственные методики. К примеру, уровень безопасности может оцениваться в режиме on-demand scan (проверка статичных файлов на диске или флешке без их активации) как с доступом к облачным сервисам репутации защитных решений, так и без него. Оба подхода имеют крайне ограниченную ценность. Пока вредоносное ПО не активировано, оно практически не способно причинить ущерб системе или данным пользователя. Следовательно, отсутствие обнаружения в такой ситуации не позволяет сделать полноценные выводы о качестве защиты. Фактически, только при запуске можно определить, удалось ли зловреду нанести вред (выполнить неавторизованные действия) или он был выявлен и удален с откатом всех его операций. В таких случаях ИБ-решения могут задействовать свои самые передовые технологии — защиту, основанную на анализе поведения и предотвращении эксплуатации уязвимостей, включая использование машинного обучения и искусственного интеллекта (ML/ИИ).
Производительность защитного решения измеряется по степени его воздействия на время выполнения типичных пользовательских операций — копирование файлов, открытие документов, установка и запуск приложений, посещение сайтов, просмотр видео и так далее. Каждый сценарий при этом выполняется на нескольких аппаратных конфигурациях с большим числом повторений.
Помимо базовых параметров, применяются и более сложные. Например, при тестировании решений для обнаружения и реагирования на угрозы на конечных устройствах (Endpoint Detection and Response, EDR) важно не только выявить или заблокировать какое-то отдельное действие атаки, но и сделать это на максимально ранней стадии атаки, а также предоставить наиболее полную информацию (телеметрию) о произошедшем событии.
CNews: Откуда тестовые лаборатории получают вредоносное ПО, используемое в тестах? Как имитируются атаки кибергрупп?
Евгений Вовк: Самый популярный способ — отыскивать и задействовать настоящие киберугрозы. Вариантов для поиска множество, однако детали реализации и степень их использования обычно держатся в тайне тестовыми лабораториями. Приведу лишь самые очевидные и давно известные примеры. Исследователи вводят в поисковые системы определенные запросы, чтобы найти сайты, где с высокой вероятностью присутствуют вредоносные файлы. Например, пользователи часто ищут активаторы или кряки для лицензионного софта, а студенты — готовые работы своих предшественников, стараясь сэкономить время и усилия. Именно в таком контенте нередко скрываются угрозы. Другой метод — аналитики настраивают спам-ловушки (набор очевидных адресов вроде admin@, support@, а также уникальные адреса, которые затем публикуются в различных регистрационных формах и анкетах для попадания в базы спамеров) на отдельном почтовом сервере или домене. Рано или поздно на такие адреса начинают приходить спам-письма, в которых ищут ссылки на фишинговые страницы и прочее. Кроме того, тестировщики используют многочисленные онлайн-коллекции, файлообменники и другие ресурсы. Там не всегда можно найти самое свежее вредоносное ПО, а бесплатный публичный доступ может быть сильно ограничен, но такой подход тоже имеет право на существование.
Второе крупное направление для тестировщиков — создание синтетического ПО, похожего на вредоносное, или моделирование этапов кибератак на основе доступных в сети сведений о том, как действовали различные кибергруппы в прошлом, какие тактики и техники они применяли, включая данные из базы знаний MITRE ATT&CK (международной базы тактик и техник киберпреступников). Описания этих техник тестировщики находят, в том числе, в отчетах различных исследователей в области информационной безопасности.
CNews: Могут ли вендоры помогать в разработке методик тестирования?
Евгений Вовк: Независимые тестовые лаборатории, открытые к мнению индустрии, привлекают ИБ-вендоров к обсуждению новых методик тестирования в рамках экспертных встреч и круглых столов. Они заранее объявляют тему и цели планируемого исследования, возможные сценарии и приглашают участников на обсуждение. После этого лаборатории самостоятельно анализируют собранные мнения, принимают решения об изменении методики и уведомляют об этом участников. Затем можно решить, участвовать в таком исследовании или нет (правда, иногда тестировщики сами выбирают продукты для теста без возможности отказа). Бывали случаи, когда лаборатории беспристрастно и взвешенно учитывали все мнения разных участников, и мы соглашались на участие в тесте. Но был и случай, когда по итоговой версии методики стало ясно, что тестировщик прислушался только к одному участнику, оставив разумные предложения остальных без внимания.
Бывало, что в процессе анализа мы совместно с испытательной лабораторией обнаруживали ошибочный сценарий реализации, который приводил к неточным замерам. Иногда производитель хочет провести тест по новой методике, которую раньше никто не применял. Например, вышла новая функция продукта, работа которой не охвачена существующими тестами. Заранее обдумав детали и требования к методике, вендор обращается в лабораторию с предложениями и вместе обсуждает нерешенные вопросы. В итоге появляется уникальная индивидуальная методика. Будучи предложенной заказчиком, она прорабатывается также тестировщиком и при его полном согласии на ее объективность. Такие тесты обозначаются как заказные (commissioned test), и это просто указывает на то, что тест является уникальным.
CNews: Как можно проверить достоверность результатов тестов, и можно ли их обсуждать?
Евгений Вовк: Предоставляя продукт на тестирование, мы как вендор заинтересованы в прозрачности лаборатории в отношении результатов. Мы рассчитываем, что тестировщик позволит всем участникам исследования ознакомиться с обоснованными недостатками решения (пропусками, ложными срабатываниями, снижением производительности), изучит нашу фактологически обоснованную апелляцию (так называемый фидбек) и примет технически взвешенное окончательное решение. Анализ результатов крайне важен: он помогает устранить выявленные проблемы в продукте (что случается, ведь идеальных решений не бывает), а также выявить ошибки тестирования, которые встречаются у всех лабораторий (и довольно часто). Если в ходе анализа предварительного результата подтверждается конкретный недостаток (пропуск определенного вредоноса или этапа атаки, либо ложное срабатывание), мы признаем его перед тестировщиком, соглашаемся с результатом и вносим исправления в технологии обнаружения и защиты. Если же продукт выявил вредонос во время теста или тестировщик допустил какую-либо ошибку, то мы оспариваем вменяемый недостаток, предоставляя факты и доказательства (классификацию объекта с анализом функциональности, логи продукта из теста, другие артефакты). Часто предварительно заявленные единицы или десятки пропусков и/или ложных срабатываний на деле оказываются ошибками классификации или выполнения со стороны тестировщика. Они признаются лабораторией на основе предоставленных нами доказательств, и результат анализа становится более точным.
Поэтому ключевой момент — разбирать предварительные итоги и выполнять «домашнюю работу». Да, это трудоемкий процесс, в нем участвует множество коллег, и тратится много усилий на проверку всех фактов. Но это оправдано. Ведь в конечном итоге повышается качество защитных решений, а результаты тестов становятся точнее.
CNews: В тестировании каких лабораторий участвует «Лаборатория Касперского»?
Евгений Вовк: Мы стараемся принимать участие в максимально возможном количестве испытаний, проводимых различными независимыми лабораториями. Однако для нас принципиально важны следующие условия: актуальная и качественная методология (которая соответствует текущей картине угроз и позволяет объективно оценить реальные возможности средств защиты), открытость итогов благодаря процедуре обратной связи, беспристрастность (отсутствие какой-либо предвзятости по отношению к участникам или сторонним организациям), а также публикация отчетов на английском языке. На сегодняшний день этим требованиям отвечают испытания четырех лабораторий: AV-TEST, AV-Comparatives, SE Labs и Testing Ground Labs. Они сохраняют свою объективность и независимость, постоянно совершенствуют свои методики, разрабатывая новые по мере возникновения свежих угроз и типов защитных продуктов, и гарантируют прозрачность получаемых результатов.
CNews: Какие именно продукты «Лаборатория Касперского» передает на тестирование и какие награды они завоевали?
Евгений Вовк: Мы предоставляем для проверки решения из обоих сегментов — как для бизнеса, так и для частных пользователей (B2B и B2C). В частности, мы испытываем особую гордость за то, что продукт из новой линейки для обеспечения цифровой безопасности домашних пользователей — Kaspersky Premium — уже в первые годы после запуска удостоился высших наград: «Продукт года» (Product of the Year 2023), а затем Top Rated Product 2024 и 2025 от AV-Comparatives, «Лучшее решение для домашних пользователей» (Best Home Security 2024 + Winner Consumer Endpoint Windows 2025) от SE Labs, а также «Лучшая защита от продвинутых угроз» (Best Advanced Protection 2023), «Лучшая защита без ложных срабатываний» (BEST Usability 2023 & 2024 & 2025), «Лучшая защита» (BEST Protection 2024) и «Лучшая защита MacOS систем» (BEST MacOS Security 2023 & 2024 & 2025) от AV-TEST.
В 2024 году решение Kaspersky Security для бизнеса показало стопроцентную эффективность в тестах AV-Comparatives, направленных на предотвращение несанкционированного доступа к учетным данным. Лаборатория также отметила продукт за его способность противостоять неавторизованному внедрению в процессы. В 2025 году это решение продемонстрировало высокую устойчивость к целенаправленным атакам, обеспечив бесперебойную защиту пользовательских систем и информации. Кроме того, на протяжении всего 2024 года и трех кварталов 2025 года продукт неизменно добивался наилучшего показателя Total Accuracy Rating во всех ежеквартальных испытаниях SE Labs, что принесло ему годовую награду «Лучшее решение для корпоративных пользователей» (Winner Enterprise Endpoint Windows 2025). Также стоит упомянуть заслуженные награды от AV-TEST: «Лучшая защита от продвинутых угроз» (BEST Advanced Protection 2023 & 2024 & 2025), «Лучшая защита без ложных срабатываний» (BEST Usability 2023 & 2024 & 2025) и «Лучшая защита» (BEST Protection 2024).
Продукт Kaspersky EDR Expert заслужил высокую оценку лаборатории благодаря тому, что в тестировании EDR-решений на качество обнаружения и предотвращения сложных угроз (Endpoint Prevention and Response Test) он показал 100-процентный совокупный показатель активного реагирования (cumulative Active Response Rate). Решение получило сертификацию на 2022–2025 годы и в третий раз подряд удостоилось статуса «Стратегический лидер». Кроме того, в рамках EDR Detection Certification Test система продемонстрировала отличные возможности по выявлению стадий продвинутых угроз, за что была сертифицирована на 2025 и 2026 годы.
Особого внимания заслуживает Kaspersky Industrial Cyber Security for Nodes. В тестировании систем защиты для операционных технологий это решение в полностью автономном режиме успешно отразило все сценарии атак и связанные с ними действия, а при обновлении легитимных приложений не допустило ни одного ложного срабатывания. За эти достижения продукт получил сертификат на 2026 год.
Таким образом, можно с уверенностью заявить, что мы регулярно проверяем наши защитные продукты в разнообразных тестах, проводимых независимыми лабораториями.
CNews: Как же всё-таки разобраться в многообразии существующих тестов и понять, чьи продукты являются лучшими?
Евгений Вовк: Базовый подход выглядит просто: смотрим на результат конкретного теста и делаем вывод на основе списка продуктов из шорт-листа. Однако сразу возникают несколько моментов, которые всё усложняют. Например, в некоторых регулярно проводимых тестах результаты одних продуктов меняются от раунда к раунду, в то время как другие решения демонстрируют стабильность. То есть нужно обращать внимание не только на итоги последнего теста, но и на устойчивость результатов с течением времени. При этом другие регулярные исследования имеют свои особенности (например, проводятся раз в квартал или раз в год и состоят из небольшого числа тестовых кейсов). Более того, какой-то продукт может участвовать в регулярных тестах нерегулярно или пропускать некоторые из них. При этом одни тесты методологически проще (например, сертификация только в режиме сканирования по запросу, on-demand scan), а другие — сложнее, включая применение продвинутых атак. Получается, что бессмысленно ориентироваться лишь на один тест или тип тестов и сравнивать по ним интересующие решения — необходимо учитывать целый комплекс тестов за определённый промежуток времени. Список нюансов можно продолжать. Главный вопрос в этом случае — как быть и как понять, какие защитные решения или технологии какого производителя лучше?
Некоторое время назад, размышляя над этим вопросом, мы выработали собственный метод, который назвали метрикой ТОП-3. Она вычисляется для каждого вендора в отдельности и демонстрирует, насколько успешно продукты компаний-разработчиков в сфере защиты проходили независимые испытания в течение календарного года. Данный подход более объективен и понятен, поскольку оценка формируется на основе результатов участия фирм во всем спектре доступных независимых тестов и учитывает упомянутые ранее оговорки.
С нашей точки зрения, если какой-либо производитель участвовал лишь в одном тесте на протяжении всего одного месяца, этого недостаточно для всесторонней оценки эффективности его технологий. Однако если он принимал участие в испытаниях разных тестовых лабораторий в течение календарного года (и более того, не только одного года, без перерывов), при этом демонстрируя стабильные результаты у различных тестеров и для разных продуктов, то можно говорить о подтвержденных и проверенных качестве и устойчивости стека детектирующих и защитных технологий конкретного вендора, а следовательно, и о способности его продуктов реагировать на новые угрозы при контроле уровня ложных срабатываний и достаточной производительности. В конечном итоге именно это интересует как домашних пользователей, так и средний и крупный бизнес, где цена ошибки при выборе решения может оказаться весьма высокой.
