目录参加检测的产品 3 参与条件和测试方法 4 参加检测产品的版本 4 总评 5 检测结果 6 遗漏样本 8 测试结果概要 10 误报测试 11 按需扫描速度测试 12 本次检测产品所获奖项及评级 13 版权及免责声明

Size: px

Start display at page:

Download "目录参加检测的产品 3 参与条件和测试方法 4 参加检测产品的版本 4 总评 5 检测结果 6 遗漏样本 8 测试结果概要 10 误报测试 11 按需扫描速度测试 12 本次检测产品所获奖项及评级 13 版权及免责声明"

流就狄
5 years ago
Views:

1 安全软件评测恶意软件手动检测报告包含误报和手动扫描速度测试语言 : 中文 2011 年 8 月最后修订 : 2011 年 9 月 27 日

2 目录参加检测的产品 3 参与条件和测试方法 4 参加检测产品的版本 4 总评 5 检测结果 6 遗漏样本 8 测试结果概要 10 误报测试 11 按需扫描速度测试 12 本次检测产品所获奖项及评级 13 版权及免责声明

3 参加检测的产品 avast! Free Antivirus 6.0 AVG Anti-Virus Free Edition 10.0 AVIRA AntiVir Personal 10.2 BitDefender Antivirus Plus 2012 escan Anti-Virus 11.0 ESET NOD32 Antivirus 5.0 F-Secure Anti-Virus 2011 G DATA AntiVirus 2012 K7 TotalSecurity 11.1 Kaspersky Anti-Virus 2012 McAfee AntiVirus Plus 2011 Microsoft Security Essentials 2.1 Panda Cloud Antivirus 1.5 PC Tools Spyware Doctor with AV 8.0 Qihoo 360 Antivirus 2.0 Sophos Anti-Virus 9.7 Symantec Norton Anti-Virus 2012 Trend Micro Titanium AntiVirus Trustport Antivirus 2012 Webroot AntiVirus with Spy Sweeper

4 参与条件和测试方法参与 AV-Comparatives 测试的条件已经在我们官网的测试方法文档中公布读者在开始阅读本报告前, 应先阅读上面提到的测试方法文档参与本次测试的厂商数量限定在 20 个, 他们均有较高的知名度, 这些厂商同意接受本次测试并参与 2011 年的一系列公开测试活动参与测试产品的版本病毒样本已于 2011 年 8 月 1 日被封存测试系统环境和产品最后更新并封存的时间是年 8 月 12 日下列 20 款最新产品参与了本次公开测试 : avast! Free Antivirus McAfee AntiVirus Plus AVG Anti-Virus Free Edition Microsoft Security Essentials Panda Cloud Antivirus Free AVIRA AntiVir Personal PC Tools Spyware Doctor with Antivirus BitDefender Anti-Virus Qihoo 360 Antivirus escan Anti-Virus Sophos Anti-Virus ESET NOD32 Antivirus Symantec Norton Anti-Virus F-Secure Anti-Virus Trend Micro Titanium AntiVirus Plus 2012 G DATA AntiVirus Trustport Antivirus K7 TotalSecurity Webroot AntiVirus with Spy Sweeper Kaspersky Anti-Virus (abc) 在您参照本测试结果做出购买决定前, 请先在自己的系统上试用这些产品 2 因为您还需要考虑这些安全产品的其他众多功能, 以及一些重要因素 ( 如 : 价格易用性兼容性用户图形界面语言基于主机的入侵防御 (HIPS) 行为拦截功能网页过滤器客户服务等) 某些产品会向您提供一些附加功能, 如 : 在恶意软件运行期间, 提供额外的病毒防护 ( 如果在事先的实时监测和手动检测中未检测到 ) 1 Avast, AVG, AVIRA 和 Panda 决定用其各自的免费版本参与本次测试 2 关于产品中使用第三方杀毒引擎 / 病毒特征码的附加信息 :escan F-Secure 和奇虎 360 都是使用 BitDefender 的杀毒引擎 G DATA 使用 Avast 和 BitDefender 的杀毒引擎 PC Tools 使用赛门铁克的病毒特征码 Trustport 使用 AVG 和 BitDefender 的杀毒引擎 Webroot 使用 Sophos 的杀毒引擎 - 4 -

5 尽管产品检测率相当的重要, 但它只是整款杀毒软件的一方面特性所以 AV-C 还提供整体产品的动态测试, 即覆盖产品其他方面特征的测试报告总评现在, 几乎所有的杀软产品在默认情况下, 都采用最高的安全设置 ( 至少在电脑进行全盘手动扫描或计划任务扫描时 ), 或者一旦发现病毒感染, 就会自动切换到最高安全设置因此, 为了获得具有可比性的测试结果, 如果厂商没有明确的要求, 我们将所有测试产品都设定成最高安全设置由于这种最高安全设置常常导致太多的误报系统资源占用量大或者这些设置即将在不久以后被厂商更改或移除等原因, 厂商可能不希望在测试过程中使用这种高安全设置下面列出部分产品测试时所使用的 ( 总是禁用扫描全部文件等 ), 例如 : 默认情况下未设定为最高设置的地方 : Avast, AVIRA, Kaspersky, Symantec: 要求在测试中将启发式杀毒设定为高 / 增强因此, 我们建议用户也考虑将启发式设定为高 / / 增强 F-Secure, Sophos: 要求在测试和评级中使用各自的默认设置 ( 即不使用他们的高级启发式杀毒 / 可疑检测设置 ) AVG, AVIRA: 要求不将压缩工具警报提示作为检测结果计入测试因此, 我们并未将这些作为检测结果计入测试 ( 包括恶意样本库及白名单库 ) AV-C 更愿意使用产品默认设置进行测试由于大部分产品在默认情况下, 都采用最高安全设置运行 ( 或者一旦检测到恶意软件就会自动切换到的最高安全设置 ), 为了获得具有可比性的结果并依照各个相关厂商的要求, 我们仅对少数产品保留了最高安全设置 ( 或保留较低的设置 ) 我们希望安全厂商在默认情况下, 提供较强的安全设置, 即将默认设置设到最高检测级别, 尤其是用于计划扫描或已由用户启动的扫描, 这样可能会更合理我们也希望所有厂商能够去除用户界面中的偏执安全设定, 如此高的设定对于普通用户而言弊大于利由于一些厂商决定使用较强的设置参加我们的测试, 这种设置显示, 在默认情况下, 较好的选项也适合较强的设置, 这也是我们之所以建议用户也考虑使用这些设置的原因有几款产品使用云技术, 这种技术需要保证有效的互联网连接我们联网进行了此项测试虽然我们不再显示无云技术的检测率底线, 而只显示有效的云安全技术的检测结果, 但用户应该清楚的是, 处于离线状态下 ( 通过云 ) 进行病毒检测时, 在某些少数情况下检测率可能会降低 ( 或者因缺乏云经验, 无法连接到云安全中心 ) 云技术应被视为一种能额外提高检测率的辅助功能 ( 即反应次数和误报抑制 ), 而不应被完全看做是用于本地脱机检测的替代万一与云的连接中断时, 安全厂商应确保用户能被警示, 例如病毒扫描期间, 这种中断可能对所提供的保护产生极大的影响并使例如已启动的扫描无效我们已经看到, 一些过多依赖云的产 - 5 -

品在 PE 格式的恶意软件的检测率上要略胜一筹, 而在非 PE 格式的恶意软件, 如目前的其他

准备的样本集比以前年度的小测试结果下表是各类产品使用测试集后, 得出的包含详细检测率信息的测试结果

6 品在 PE 格式的恶意软件的检测率上要略胜一筹, 而在非 PE 格式的恶意软件, 如目前的其他恶意软件 / 病毒类别的检测率上则较低已查阅的遥感测试数据也包括在近六个月以来光顾过用户的流行恶意软件样本中由于此次关注的病毒样本都是近期流行的或广泛传播过的 ( 多数是过去三个月内 ), 所以为本次测试准备的样本集比以前年度的小测试结果下表是各类产品使用测试集后, 得出的包含详细检测率信息的测试结果在本次测试过程中,Sophos 和 Webroot( 使用 Sophos 技术 ) 由于云技术问题, 使得检测率较低测试显示的结果也包括估计的云检测率 ( 但仅列入测试结果展示范围之内 ) - 6 -

总检测率由测试人员分析集群后, 依据层次聚类法分组而成同往常一样, 检测结果中也考虑了误报情况但我们也在考虑, 在未来的测试和评级中是否也要对误报的评估进行改变通过使用集群, 不再需要达到固定的阈值, 因为阈值会因各种结果而有所变动测试人员合理地定义集群, 而不是单靠集群, 以避免发生如果未来所有的产品成绩都不好,

多误报 (16-100 个误报 ) 已测试已测试标准优秀很多误报 (101-500 个误报 ) 已测试已测试标准标准极多误报 ( 超过 500 个误报 ) 已测试已测试已测试已测试我们发现, 为获取好的测试结果, 少数厂商试图使用游戏规则如坚持认为某些恶意文件为干净的文件或可能有害的软件等还有的厂商坚持,

7 总检测率由测试人员分析集群后, 依据层次聚类法分组而成同往常一样, 检测结果中也考虑了误报情况但我们也在考虑, 在未来的测试和评级中是否也要对误报的评估进行改变通过使用集群, 不再需要达到固定的阈值, 因为阈值会因各种结果而有所变动测试人员合理地定义集群, 而不是单靠集群, 以避免发生如果未来所有的产品成绩都不好, 那么无论怎样都不能取得较高的排名同时, 我们也在为明年的测试准备不同的规则, 以避免由于占据在较低集群中的外围厂商的出现, 而使太多的安全厂商出现在第一集群喜欢老的奖评制度的用户, 可以自己运用固定百分比评级制度来推算检测率集群 / 组 ( 经测试者查阅统计方法后得出 ) 少误报 (0-15 个误报 ) 标准优秀最佳 + 多误报 ( 个误报 ) 已测试已测试标准优秀很多误报 ( 个误报 ) 已测试已测试标准标准极多误报 ( 超过 500 个误报 ) 已测试已测试已测试已测试我们发现, 为获取好的测试结果, 少数厂商试图使用游戏规则如坚持认为某些恶意文件为干净的文件或可能有害的软件等还有的厂商坚持, 每一个未被自己的产品检测到的恶意文件都是不重要或非流行的恶意文件, 即使别的遥测数据已显示, 但仍坚持自己的观点有时, 一些厂商还声称, 他们的云安全检测技术曾经检测到所有在我们测试中未检测出的样本通常情况下, 我们能够用这些实实在在的云安全技术或产品证明, 他们确实不能检测或根本就没检测到我们的恶意软件样本我们认为, 当用户与云安全中心的连接中断时, 依赖云安全技 - 7 -

术的厂商应确保他们的产品总是能够满足需求, 并且能够警示用户如果厂商的云安全中心在测试时关闭或无法访问, 只要已启用了 Internet 连接, 那么, 这只能是产品或厂商的错误, 而不能归咎于用户或测试机构测试结果反映了测试时的检测率如果某些厂商的云安全需要一个完美的稳定的超高速的互联网连接, 则应该对系统做出明确的要求否则, 应该象那些已经对企业用户使用严格的隐私策略的厂商那样,

8 术的厂商应确保他们的产品总是能够满足需求, 并且能够警示用户如果厂商的云安全中心在测试时关闭或无法访问, 只要已启用了 Internet 连接, 那么, 这只能是产品或厂商的错误, 而不能归咎于用户或测试机构测试结果反映了测试时的检测率如果某些厂商的云安全需要一个完美的稳定的超高速的互联网连接, 则应该对系统做出明确的要求否则, 应该象那些已经对企业用户使用严格的隐私策略的厂商那样, 他们应为家庭用户提供本地的云安全此外, 一些厂商由于营销的原因, 当得知自己的测试得分低于常规预期时, 想要自己的测试结果不被公布但我们不允许撤销测试, 因为我们希望将结果提供给我们的读者我们将来可能会找个办法来解决类似的问题遗漏样本图示 ( 越低越好 ) 在本次测试过程中,Sophos 和 Webroot( 使用 Sophos 技术 ) 由于云技术问题, 使得检测率较低测试显示的结果也包括估计的云检测率 ( 但仅列入测试结果展示范围之内 ) 百分比仅指测试使用的病毒样本比例即使它只是子病毒样本, 但对于查看遗漏病毒样本的数量仍然是重要的我们手动测试的结果通常也适用于实时扫描器 ( 如果设置方式相同 ), 但是并不适用于执行防御技术 ( 如 : 基于主机的入侵防御 (HIPS) 行为拦截功能等) 良好的检测率始终是评定一款杀毒软件的具有决定性并且广泛适用的最重要的因素之一除此之外, 大多数产品还会提供一些象基于主机的入侵防御 (HIPS) 行为拦截信誉评级或其他拦截功能来阻止恶意行为 ( 或者至少是报警功能 ), 如 : 在恶意软件运行期间, 如果所有 - 8 -

9 的实时监测和手动检测都未能检测到它的运行, 那么安全产品的这些额外病毒防护功能会发挥作用请不要错过包含回溯测试的报告的第二部分 ( 它将会在几个月后发布 ), 它对于产品对全新的 / 未知恶意软件的检测能力进行了评估 ( 使用本地启发式和常规签名技术的按需或访问时扫描, 而不是云安全 ) 虽然我们对杀毒软件的各个方面进行了多种测试和演示, 但仍然建议用户自己对软件进行评估并形成自己的意见测试数据或报告仅提供一些指导, 毕竟有些方面用户自己无法评价我们建议并鼓励读者去研究其他各种知名的独立测试机构提供的独立测试结果, 以便更好判断各种产品在不同的测试条件和测试环境下, 对病毒的查杀能力 - 9 -

测试结果概要 3 当您对比下列产品的检测率时, 也请考虑每款产品的误报率总检测率 ( 分为四个群组 ): 1. G DATA 99.7% 2. Trustport 99.6% 3. AVIRA, Qihoo 99.5% 4. Panda 99.3% 5. F-Secure, escan 98.5% 6. Bitdefender 98.4% 7. Kaspersky 98.3% 8.

10 测试结果概要 3 当您对比下列产品的检测率时, 也请考虑每款产品的误报率总检测率 ( 分为四个群组 ): 1. G DATA 99.7% 2. Trustport 99.6% 3. AVIRA, Qihoo 99.5% 4. Panda 99.3% 5. F-Secure, escan 98.5% 6. Bitdefender 98.4% 7. Kaspersky 98.3% 8. ESET, Avast 97.3% 9. McAfee 96.8% 10. Trend Micro 96.6% 11. AVG 95.7% 12. Symantec 95.1% 13. Microsoft 92.3% 14. PC Tools 88.4% 15. K7 85.6% 在本次测试过程中,Sophos 和 Webroot( 使用 Sophos 技术 ) 由于云技术问题, 使得检测率较低与厂商进一步接触调查后, 仍无法确定问题的根本和结果中显示的包括云的检测率由于我们无法完全独立地进行验证 ( 因为云不能恢复 ), 所以, 显示的 Webroot 和 Sophos 的测试结果只作为展示目前,Sophos 和 Webroot 的测试结果只是一个粗略的估计 Sophos 和 Webroot 的检测率在 94.2% 4 左右所使用的测试集包含大约 20 万个到上个月为止出现或流行的恶意软件样本, 主要包括 : 3 我们估计误差在 0.2% 左右 4 虽然受影响的厂商也是非常优秀的, 但我们不得不采取这样的方式来处理云安全有关的问题, 也是为了在未来的测试中, 避免其他厂商误用或做手脚

误报测试为了较好的评估杀软产品的检测能力 ( 从恶意文件中区分正常文件 ), 我们还提供误报测试有时, 误报引起的麻烦不亚于真正感染了病毒当您比照检测率指标时, 也请考虑误报率的问题, 容易造成误报的产品也更容易取得较高的分数所有发现的误报都已被分别报告给各自的杀软厂商, 或许到现在为止已经被解决误报测试结果在我们准备的测试集中发现的误报数量 ( 越少越好 ): 1.

11 误报测试为了较好的评估杀软产品的检测能力 ( 从恶意文件中区分正常文件 ), 我们还提供误报测试有时, 误报引起的麻烦不亚于真正感染了病毒当您比照检测率指标时, 也请考虑误报率的问题, 容易造成误报的产品也更容易取得较高的分数所有发现的误报都已被分别报告给各自的杀软厂商, 或许到现在为止已经被解决误报测试结果在我们准备的测试集中发现的误报数量 ( 越少越好 ): 1. McAfee 0 2. Kaspersky, Microsoft, Panda 1 很少误报 3. ESET 3 4. F-Secure, Trend Micro 6 5. Bitdefender 8 6. Avast 10 多误报 7. AVIRA G DATA Sophos, Webroot 16* 10. K Qihoo escan PC Tools 45 很多误报 14. AVG Symantec TrustPort 59 * 由于 Sophos / Webroot 云技术的问题, 我们无法确定, 如果与云安全中心的连接正常发挥作用, 是不是就不会有更多的误报他们的测试结果只做列示有关已发现误报 ( 包括假设的流行数据 ) 的细节, 可以参见为此准备的一份独立报告 : 下图显示的是参与测试的杀毒软件在我们为本次测试准备的测试集中发现的误报数 :

按需扫描速度测试杀毒软件由于各种原因导致其扫描速度各不相同这其中必须要将每款杀毒软件的检测率即可靠性的好坏考虑进去, 比如 : 杀毒软件是否使用仿真编码, 是否能够检测到多态变种病毒, 是否能做深度启发式扫描分析和活跃 ROOTKIT 扫描, 深入和彻底的还原压缩文件和解压支持程度, 额外的安全扫描, 是否真能扫描所有文件类型 ( 或使用云白名单 ) 等

12 按需扫描速度测试杀毒软件由于各种原因导致其扫描速度各不相同这其中必须要将每款杀毒软件的检测率即可靠性的好坏考虑进去, 比如 : 杀毒软件是否使用仿真编码, 是否能够检测到多态变种病毒, 是否能做深度启发式扫描分析和活跃 ROOTKIT 扫描, 深入和彻底的还原压缩文件和解压支持程度, 额外的安全扫描, 是否真能扫描所有文件类型 ( 或使用云白名单 ) 等大部分产品都能跳过先前扫描过的文件, 以减少后续的扫描时间由于我们想知道扫描速度 ( 当真正的对文件进行病毒扫描时 ) 和不跳过文件时的速度, 所以指纹技术在此次测试中被禁用并不被列入考虑范畴我们认为, 部分产品应将什么是性能优化扫描更明确的告知用户, 然后让用户自己决定是否选择时间较短的性能优化扫描 ( 不重新扫描全部文件, 有忽略受感染文件的潜在风险!) 或一次全面安全扫描下图以 MB/sec( 兆 / 秒 ) 为单位, 显示了多款杀毒软件在最高安全设置下, 对我们整个白名单库用于误报测试的扫描速度 ( 越快越好 ) 扫描速度会根据白名单库 5 设置和硬件的不同而不同平均扫描速度的计算方法是用白名单库的大小 (MB) 除以完成扫描所需时间 (sec) 由于文件库所用硬件等有所不同, 所以本次测试的扫描速度, 不能与将来的测试或其他的测试相比较扫描速度测试是在 Windows XP SP3 环境下进行, 所采用硬件是相同的 Intel Core 2 5 要想知道各款产品在您的个人电脑的扫描速度, 建议您自己试用这些产品

基于检测率和误报率的基础上 ) 产品 G DATA AVIRA Panda F-Secure Bitdefender Kaspersky ESET Avast McAfee Trend Micro Trustport* Qihoo* escan* AVG* Symantec* Microsoft - PC Tools*

13 Duo E8300/2.83GHz 2GB 内存 SATA II 硬盘 2012 年, 我们将不再提供手动扫描速度测试 6. 本次检测产品所获奖项及评级 AV-Comparatives 对于测试结果采用分级制标准 (STANDARD), 优秀 ADVANCED) 和最佳 (ADVANCED+) 由于本报告不仅包括奖项评级, 还包括检测率等数据, 所以, 高级用户可以根据个人意愿来判断, 如 : 只考虑单项得分而不考虑误报获奖等级 ( 基于检测率和误报率的基础上 ) 产品 G DATA AVIRA Panda F-Secure Bitdefender Kaspersky ESET Avast McAfee Trend Micro Trustport* Qihoo* escan* AVG* Symantec* Microsoft - PC Tools* K7 *: 带星号的产品因误报获得了较低的奖项由于测试中 Sophos 和 Webroot 出现的云安全技术问题, 本次测试 ( 见第 9 页的评论 ) 结果仅供展示获奖产品不光是归功于它的病毒检测率, 也考虑了它们对我们建立的白名单库产生的误报率在本报告第 7 页, 您可以看到测试产品的获奖情况一款高检测率但同时也有很高误报的产品, 可能还不如一款检测率稍差但误报较少的产品 6 各种性能测试可以通过下列链接查阅 :

14 版权及免责声明本 2011 年报告的版权归 AV-Comparatives 所有任何出版物对本测试结果的使用, 无论是全部或部分, 都必须先得到 AV- Comparatives 管理部门明确的书面同意并允许对使用本报告提供的信息, 可能会产生或导致的损害或损失,AV- Comparatives 和参与测试的人员, 不承担责任我们竭尽一切可能, 确保基本数据的正确性, 但并不代表 AV- Comparatives 对测试结果的正确性需要承担义务对报告的正确性, 完整性, 或者在任何特定的时间, 对报告提供的内容是否适合特殊目的的需求, 我们不做任何保证对于在创建, 生成或发表测试结果过程中, 所涉及到的任何人, 对任何间接的, 特殊的损害或利益损失, 使用或不能使用该网站提供的服务, 测试文件或任何相关的数据引起的或与之相关的事宜, 均不承担任何责任 AV- Comparatives 是在奥地利注册的非盈利性组织更多关于 AV - Comparatives 及测试方法, 请访问我们的网站 AV-Comparatives e.v. (2011 年 9 月 )

15 Advertisement Anti-Virus Comparative 2011 年 8 月

Anti-Virus Comparative February 2010 cn

Anti-Virus Comparative February 2010 cn 杀毒软件评测 No.25 2010 年 2 月恶意软件手动检测报告包含误报和手动扫描速度测试语言 : 中文 2010 年 2 月最后修订 :2010 年 3 月 17 日 www.av-comparatives.org 目录参加检测的产品 3 参加条件和测试方法 4 参加检测产品版本 4 总评 5 本次检测的新发展 5 检测结果 6 遗漏样本图示 8 检测结果概要 9 误报测试 10 扫描速度测试

目录 参加检测的产品 3 参与条件和测试方法 4 参加检测产品的版本 4 总评 5 检测结果 6 遗漏样本 8 测试结果概要 10 误报测试 11 按需扫描速度测试 12 本次检测产品所获奖项及评级 13 版权及免责声明

目录参加检测的产品 3 参与条件和测试方法 4 参加检测产品的版本 4 总评 5 检测结果 6 遗漏样本 8 测试结果概要 10 误报测试 11 按需扫描速度测试 12 本次检测产品所获奖项及评级 13 版权及免责声明