Anti-Virus Comparative 恶意文件检测率测试 包括误报测试 语言 : 简体中文 2014 年 9 月最后修订 :2014 年 10 月 15 日
目录 被检测的产品 3 简介 4 遗漏样本图 6 测试结果 7 误报测试 8 本次检测的产品取得的成绩 9 版权及免责声明 10
参加检测的产品 AhnLab V3 Internet Security 8.0 Kaspersky Internet Security 2015 AvastFree Antivirus 9.0 新毒霸悟空 2013.SP7.5 AVG Internet Security 2014 AVIRA Antivirus Pro 14.0 百度杀毒 4.0 AVIRA Internet Security 18.14 BullGuard Internet Security 14.1 escan Internet Security 14.0 Emsisoft Anti-Malware 9.0 ESET Smart Security 7.0 F-Secure Internet Security 2015 Lavasoft Ad-Aware Free Antivirus+ 11.3 McAfee Internet Security 17.6 Microsoft Security Essentials 4.5 Panda Free Antivirus 15.0 奇虎 360 杀毒 5.0 Sophos Endpoint Security and Control 10.3 腾讯电脑管家 8.10 ThreatTrack Vipre Internet Security 7.0 Trend Micro Internet Security 8.0 Fortinet FortiClient 5.0
简介 阅读本报告之前, 我们建议读者先阅读产品测试方法文档, 以及我们官网提供的信息 收集的恶意软件截止到 2014 年 9 月 1 日, 测试集包含 126,335 个恶意软件样本 各产品在测试期间都已连接到因特网或可以访问云, 所有产品的最后更新日期为 2014 年 9 月 3 日, 测试使用的是 Micro soft 1 Windows7 SP1 64 位操作系统 下列产品参与了本次公开测试 ( 被测产品的最新版本在测试时都已对外公布 ): AhnLab V3 Internet Security Kaspersky Internet Security 15.0.0.463 (a) 8.0.8.2.1570SP4 新毒霸悟空 2013.SP7.5.082018 AvastFree Antivirus 2014.9.0.2021 AVG Internet Security 2014.0.4765 Lavasoft Ad-Aware Free Antivirus+ 11.3.6321.0 AVIRA Antivirus Pro 14.0.6.570 百度杀毒 4.0.9.79641 McAfee Internet Security 17.6.394 Microsoft Security Essentials 4.5.216.0 Bitdefender Internet Security 18.14.0.1088 Panda Free Antivirus 15.0.1 奇虎 360 杀毒 5.0.0.5061 BullGuard Internet Security 14.1.283.2 Emsisoft Anti-Malware 9.0.0.4324 escan Internet Security 14.0.1400.1640 ESET Smart Security 7.0.317.4 Sophos Endpoint Security and Control 10.3.7 腾讯电脑管家 8.10.25275.501 ThreatTrack Vipre Internet Security 7.0.6.2 Trend Micro Internet Security 8.0.1133 F-Secure Internet Security 14.115.100 Fortinet FortiClient 5.0.9.347 在您参照本测试结果做出购买决定前, 请先在自己的系统上试用这些产品 2 因为您还需要考虑这些安全产品的其他众多功能, 以及一些重要因素 ( 如 : 价格 易用性 兼容性 用户图形界面 客户服务等 ) 尽管产品检测率的高低相当重要, 但它只是考察整款杀毒软件功能的一个方面 所以,AVComparatives 还提供整体产品动态的 真实世界 保护测试, 以及另外的涵盖产品不同特征的其他测试 我们也请用户们关注一下我们其他的测试, 而不要只注重本次测试 对一款杀毒软件进行评价, 最重要的 可靠而具有决定性的因素之一, 就是其是否具备良好的检测能力 此外, 如当恶意软件在执行过程中, 所有其他的访问时扫描组件和按需检测或保护机制不能正常发挥作 另外, 我们对 Windows 8 中的 Windows Defender 进行了测试 ( 我们观察到的结果与 Windows 7 的 Security Essentials 相同 ) 关于产品使用的第三方杀毒引擎 / 病毒特征码的附加信息 :BullGuard, Emsisoft, escan, F-Secure, Lavasoft 和 Qihoo360 都使用 Bitdefender 引擎 百度和腾讯使用的是 Avira 引擎 金山使用 AVIRA 和 Bitdefender 引擎
用时, 大多数产品最起码还提供一些另外的功能来阻止恶意行为 ( 或发出警告 )( 对于这些保 护功能的评测, 请查看我们的官网上提供的其他类型的测试报告 ) 测试使用的是所有产品的默认设置 尽管测试集只包含可执行的 (PE) 恶意文件 ( 不包含 压缩文件和 PUA 文件 ), 但我们仍然开启了所有产品的 扫描所有文件, 扫描压缩文件以及扫描 PUA 文件 设置 原则上, 对于本测试, 我们使用互联网安全套装产品 然而, 一些厂商仍让我们使用他们的 ( 免费 ) 杀毒程序进行测试, 我们只好接受了 在本次测试中, 我们不希望看到杀毒程序和互联网安全套装之间的差别 虽然, 在测试时恶意样本没有被执行, 但我们考虑的是那些访问时可能被识别的恶意软件实例, 而不是执行时被识别 测试之所以称之为 文件检测测试 ( 与之前的按需检测测试有区别 ), 是因为访问时扫描也被考虑进来 有几款产品使用云技术, 这种技术需要保证有效的互联网连接 我们的测试是在有效的联网状态下完成的 用户应该清楚的是, 处于离线状态下 ( 或由于某些原因无法连接到云服务时 ) 进行的病毒检测, 可能会降低检测率 云技术应被视为一种能额外提高检测率的辅助功能 ( 即对恶意程序的反应次数和误报抑制 ), 而不应被完全看做是用于本地脱机检测的替代 万一与云的连接中断时, 安全厂商应确保用户能被警示, 例如病毒扫描期间, 这种中断可能对所提供的保护产生极大的影响并使可能已启动的扫描无效 虽然在我们的测试中, 我们可以检查与各安全厂商的云连接是否正常, 但应该让用户意识到, 网络连接正常并不一定意味着他们所使用的产品的云服务就正常工作 事实上, 使用云安全的产品, 有时会遇到各种网络问题, 因此没能提供云安全, 但用户并未被提醒 AMTSO 3 有一个基本的测试, 可以验证提供云支持的产品是否提供了适当的功能服务 通过查阅遥测数据, 我们创建了试图能涵盖过去的几周或几个月的日常生活中, 对用户真正产生过威胁的流行样本测试集 虽然我们对杀毒软件的各个方面进行了多种测试和演示, 但仍然建议用户自己对软件进行评估并形成自己的意见 测试数据或报告仅提供一些指导, 毕竟有些方面用户自己无法评价 我们鼓励读者去研究其他各知名的独立测试机构提供的独立测试结果, 以便更好判断各种产品在不同的测试条件和测试环境下, 对病毒的查杀能力 在我们的官网可以找到多个信誉良好的测试实验室列表 本次测试的总体检测标准非常高 部分体现在对流行恶意软件样本的关注, 另一部分体现在对于找到流行样本以及对样本的验证所需的时间 结果可能会间接地显示, 能够在较短时间内就进入检测状态的产品, 即哪些产品对全新恶意软件的检测 / 做出反应的速度较快 此外, 检测时, 有几款产品使用了第三方引擎 ( 见第 4 页的脚注 ), 因此, 检测结果超级相似 http://www.amtso.org/feature-settings-check-cloud-lookup.html
总检测率由测试人员分析集群后, 依据层次聚类法分组而成 然而, 测试人员并不是一成 不变地这样做, 因为在某些情况下是不合理的 例如, 在所有产品都达到低检测率的情况下, 最高分的产品不一定需要达到最高成绩 很少 (0-1 个误报 ) 少 (2-10 个误报 ) 检测率集群 / 组 ( 经测试者查阅统计方法后得出 ) 4 3 2 1 已测试标准优秀最佳 多 (11-50 个误报 ) 已测试已测试标准优秀 很多 (51-100 个误报 ) 极多 ( 超过 100 个误报 ) 已测试已测试已测试标准 已测试已测试已测试已测试 遗漏样本图 ( 越低越好 ) 上图显示的测试结果不包括 Microsoft Windows 提供的已预设的恶意软件检测程序 由 Windows 8 的 Windows Defender 提供, 它已在操作系统中默认预装了恶意软件检测程序 相当于在 Windows 7 中是 Microsoft Security Essentials(MSE), 虽然未预装检测测序, 但作为一个选项, 通过 Windows 更新服务, 可以很容易地免费添加上 我们通过图表对功能进行比较 - 即静态的恶意软件检测 - 为用户提供第三方的防病毒解决方案
测试结果 总检测率 ( 被分成几组 ): 当您对比下列产品的检测率时, 也请考虑每款产品的误报率 金山, AVIRA 99.9% McAfee 99.8% 百度, Kaspersky Lab 99.7% Bitdefender, F-Secure 99.6% Trend Micro, escan 99.5% BullGuard, Lavasoft, 腾讯 99.4% Emsisoft, 奇虎 360 99.3% Panda 98.9% ESET 98.7% Avast 98.6% ThreatTrack Vipre 98.5% AVG 98.4% Sophos 98.2% Fortinet 97.9% AhnLab 93.7% Microsoft 90.2% 所使用的测试集中包含 126335 个过去几周或几个月以来, 到近期一直流行的恶意样本 4 层次聚类分析 此树状图显示聚类分析的结果 5 它反映了某个层 次上所汇聚的类似的群 红色的线定义了相似群 组的级次 每一个十字交叉点代表一个组 我们估计最后的百分比误差应低于 0.2% 关于聚类分析法的详细信息, 请查看下列连接, 它可帮助您轻松了解本分析方法 : http://strata.uga.edu/software/pdf/clustertutorial.pdf
误报测试 为了较好的评估杀软产品的检测能力 ( 从恶意文件中区分正常文件 ), 我们还提供误报测试 有时, 误报引起的麻烦不亚于真正感染了病毒 当您比照检测率指标时, 也请考虑误报率的问题, 易于产生误报的产品也更容易取得较高的检测率 误报结果 在我们准备的测试集中发现的误报数量 ( 越少越好 ): ESET, Sophos 1 很少误报 Panda 2 Emsisoft, escan, Fortinet, 4 AVIRA, Microsoft, 5 奇虎 360, Trend Micro Bitdefender, BullGuard, 6 Kaspersky Lab, Lavasoft 腾讯 7 F-Secure 9 少误报 金山 12 McAfee 16 AVG 22 多误报 AhnLab 23 百度 27 ThreatTrack Vipre 36 Avast 120 极多误报 已发现的误报 ( 包括假设的流行数据 ) 的详细情况, 可以参见为此准备的一份独立报告 : http:///wp-content/uploads/2014/10/avc_fps_201409_en.pdf 检测率低但误报较少的产品, 不一定比高检测率但同时有很高误报的产品差
本次检测产品所取得的成绩 AV-Comparatives 对于测试结果采用分级制 由于本报告不仅包括认证成绩, 还包括原始的 检测率成绩, 所以, 高级用户可以根据个人意愿凭总成绩来判断, 而不用考虑误报 获奖等级 ( 基于检测率和误报率基础上 ) 6 产品 AVIRA Kaspersky Lab Bitdefender F-Secure Trend Micro escan BullGuard Lavasoft 腾讯 Emsisoft 奇虎 360 金山 * McAfee* 百度 * Panda ESET Sophos Fortinet ThreatTrack Vipre* AVG* Avast* AhnLab* *: 带星号的产品因误报被降级 产品的成绩不仅仅是基于它的病毒检测率, 也考虑了它们对我们建立的白名单库产生的误 报率 在本报告第 6 页, 您可以看到测试产品的成绩 微软安全产品未被纳入奖励评测中, 因其成品的检测率已包含在操作系统中, 因此不具竞争性
版权及免责声明 本 2014 年报告的版权 归 AV-Comparatives 所有 任何对本测试结果的使用, 无论是全部或部分, 都必须先得到 AV- Comparatives 管理部门明确的书面同意并允许 对使用本报告提供的信息, 可能会产生或导致的损害或损失,AV-Comparatives 和参与测试的人员, 不承担责任 我们竭尽一切可能, 确保基本数据的正确性, 但并不代表 AV-Comparatives 对测试结果的正确性需要承担义务 对报告的正确性, 完整性, 或者在任何特定的时间, 对报告提供的内容是否适合特殊目的的需求, 我们不做任何保证 对于在创建, 生成或发表测试结果过程中, 所涉及到的任何人, 对任何间接的, 特殊的损害或利益损失, 使用或不能使用该网站提供的服务, 测试文件或任何相关的数据引起的或与之相关的事宜, 均不承担任何责任 关于 AVC 和测试方法的更多信息, 请访问我们的网站 AV-Comparatives (2014 年 10 月 )