整体产品动态测试 - 初步测试结果整体产品动态测试 2010 年 8 月至 10 月语言 : 中文 2010 年 10 月最后修订 :2010 年 11 月 23 日

Size: px

Start display at page:

Download "整体产品动态测试 - 初步测试结果整体产品动态测试 2010 年 8 月至 10 月语言 : 中文 2010 年 10 月最后修订 :2010 年 11 月 23 日"

附洪
4 years ago
Views:

1 整体产品动态测试 2010 年 8 月至 10 月语言 : 中文 2010 年 10 月最后修订 :2010 年 11 月 23 日

目录 1. 简介... 3 2. 简化测试程序... 4 3. 设置... 5 4. 为每个测试日的准备... 5 5. 每个恶意网址的测试周期... 5 6. 测试的产品... 6 7.

2 目录 1. 简介简化测试程序设置为每个测试日的准备每个恶意网址的测试周期测试的产品测试事项测试结果图表总览测试内容来源测试集统计版权及免责声明

3 1. 简介恶意软件带来的威胁正与日俱增这不仅仅体现在恶意程序数量的增加, 而且还有来自各种威胁本身的快速演变恶意代码侵入到用户电脑中的方式也正在经历从简单的基于文件的传播方式变化成经过互联网来传播总之, 恶意软件在不断的使用各种手段威胁用户的电脑, 例如欺骗用户访问受感染的网页安装流氓 / 恶意软件或打开带有恶意软件附件的电子邮件等等杀毒软件也在通过增加防御功能以扩大其为用户提供的保护范围, 例如 : 网址拦截内容过滤反钓鱼措施和人性化的行为拦截 ( 或称主动防御 ) 如果这些功能与基于签名的检测和启发式检测完美融合, 那么杀毒软件抵御威胁的能力将大大提高尽管有了这些新技术 ( 提供防御功能 ), 但继续对防病毒程序的基于签名和启发式检测的功能进行检测仍然是非常重要的也正是因为这些新的威胁, 使基于签名 / 启发式检测的方法变得越来越重要 0 day 的攻击变得日益频繁意味着恶意软件感染的危险增加如果攻击不是被传统或非传统的方法截获, 那么电脑就会被感染, 而且该恶意软件只有通过基于签名的按需扫描和启发式扫描才可能被发现, 并有希望被清除额外的保护技术不提供对现有数据存储进行检查 ( 扫描 ) 的功能, 因为在许多公司的文件服务器中都可以找到已感染的文件这些新的安全保护措施应被理解为杀毒软件良好检测率的补充, 而不是替代在本次测试中, 参与测试产品的所有功能都发挥了保护作用, 而不只是一部分功能 ( 如签名 / 启发式文件扫描 ) 起作用因此, 这样的整体病毒检测能力应该高于仅通过部分功能检测病毒的能力我们建议, 一个产品的所有功能在检测病毒时都应有较高的查杀能力, 不应只提供某种单一的功能 ( 如 : 网址拦截只有在浏览网页时才提供保护, 但不能防御用其他方法引入的恶意软件或系统上已经存在的恶意程序 ) 我们将在自己的网站发布每月的整体产品动态测试结果最终的完整报告将汇总各月份 (8/9/10/11/12 月 ) 的测试结果, 并将于 2010 年 12 月初发布整体产品动态测试是 AV-Comparatives 和因斯布鲁克大学计算机科学与质量工程学院的一个合作项目一部分得到了奥地利政府的支持有关测试过程中的一些细节不便透露, 因为它可能容易被厂商滥用以进行系统测试较量 - 3 -

4 2. 简化测试程序为了对全部数千个网址的测试, 需要一天之中利用许多的杀毒程序测试数以百计的网址, 只有高度自动化 ( 技术 ) 才能使之成为可能这种自动化 ( 技术 ) 已经由因斯布鲁克大学计算机科学与质量工程学院和 AV-Comparatives 联合开发测试系列的筹备工作每一个被测试的防病毒程序均安装在其独立的测试计算机中 ( 请注意, 在此使用的术语防病毒程序通常是指一个完整的互联网安全套装 ) 所有计算机都连接到互联网, 每个连接有自己的外部 IP 地址测试用的计算机操作系统和防病毒程序 ( 的设置 ) 均被冻结实验室设置整个测试都是在真实的工作机上执行我们不使用任何类型的虚拟机每个工作机都有自己的互联网连接和外部 IP 地址我们与几个供应商达成了特殊的协议 ( 故障转移群集和不阻止任何流量 ), 以确保稳定的互联网连接使用真正的互联网连接执行测试我们采取了必要的预防措施 ( 使用特别配置的防火墙等 ), 以防止对他人的破坏 ( 即不引起病毒爆发 ) 硬件本次测试, 我们使用了相同的工作机,IBM 的 BladeCenter 和网络附加存储 (NAS) 供应商类型中央处理器 (CPU) 内存 (RAM) 硬盘 Workstations Fujitsu E3521 E85+ Intel Core2Duo 4 GB 80 GB BladeCenter IBM E Chassis Blades IBM LS20 AMD Dual Opteron 8 GB 76 GB NAS QNAP TS-859U-RP Atom Dual Core 1 GB 16 TB RAID 6 软件测试在 Windows XP SP3 系统执行, 没有进一步的更新此外安装的 ( 易受攻击 ) 软件包括 : 供应商产品版本供应商产品版本 Adobe Flash Player 控件 10.1 微软 Internet Explorer 7 Adobe Flash Player 插件 10 微软 Office Professional 2003 Adobe Acrobat Reader 8.0 微软.NET Framework 3.5 Sun Java

5 3. 设置我们使用每款安全套装及其默认 ( 开装即用型 ) 设置如果 ( 遇到 ) 要求用户配合的选项, 我们将选择默认设置我们的整体产品动态测试旨在模拟真实世界中的条件, 比如用户每天经历遇到的种种情况因此, 如果没有预定义的操作, 我们将始终使用我们认为警告 / 信息非常清楚和明确的相同操作如果产品提示要求由用户决定, 我们则只做记录, 但是如果提示很含糊含有误导或甚至建议用户信任恶意文件 / 网址 / 行为的, 我们将判断成漏报, 因为普通用户也会这样做如果系统不会受到损害我们将认定它是 ( 受到 ) 保护的这意味着, 没有恶意软件在运行 ( 或已被删除 / 终止 ), 而且没有明显的或恶意软件引起的系统变化如果防火墙对正在运行的病毒进程的出站警报阻碍 / 影响了网络流量, 使用户工作机联网太少 / 晚, 我们不将它看做是保护 4. 为每个测试日的准备每天早晨, 更新所有的杀毒软件, 并制作当天新的基本镜像文件在这种情况下确保杀毒软件在白天不会完成较大的更新, 而且至少可以利用早上的 ( 时间 ) 更新, 就如同现实世界中用户的使用习惯 5. 每个恶意网址的测试周期首先, 进行搜索我们使用自己的爬网工具 (CRAWLER) 日复一日的搜寻恶意网站我们不是侧重于 0day 恶意软件 / 攻击 ( 尽管这极有可能, 这些恶意软件也都混在这 N 多的网址中 ); 我们在极力的寻找那些另外的恶意网站, 那里才是对普通用户真正造成威胁的地方在浏览每一个新的恶意网址 / 测试事项前, 我们都要更新程序 / 签名主要产品的新版本每月安装一次, 这就是为什么在每月报告中, 我们只给出产品的主要版本号的原因我们的测试软件启动了电脑实时监控, 所以被恶意软件所作的任何修改都会被记录下来此外, 检测算法能够检查杀毒程序是否检测到恶意软件每个测试事项结束后, 机器恢复到其原来准备的状态保护安全产品应该能够保护用户的电脑保护机制从哪个阶段开始并不重要既可以在用户浏览网站时提供保护 ( 例如通过网址拦截提供保护 ), 也可以在恶意软件试图运行时或下载文件 / 创建文件时或恶意软件被执行时提供保护 ( 无论是由用户或恶意软件 ) 恶意软件被执行后( 如果之前未阻止 ), 我们让恶意程序运行几分钟, 这也是为了给恶意行为拦截程序做出反应留出时间并对恶意软件的破坏结果执行解救操作如果没有检测到恶意软件, 但系统确实是受到感染 / 损害, 那么测试进程进入未检测到恶意软件环节此时, 我们不执行误报测试但是, 如果用户互动是必需的, 并且如果是由用户决定它是否是恶意软件, 我们将此归为依靠用户因此, 黄栏可以被保护或也可以不被保护由于该测试的动态性 ( 特点 ) 是模拟真实世界的情况并且由于是采用了几种不同的技术方式运行的 ( 例如 : 云扫描技术信誉评估服务等 ) 因此, 一个事实问题是, 这种测试不能像静态检出 - 5 -

6 率测试那样重复或复制无论如何, 我们正试图记录更多合理的可能性, 来证明我们的发现和结论我们请参加检测的供应商提供各自产品中有用的记录, 通过此记录可以为他们提供更多想要的证据和数据 6. 测试的产品下列产品正式加入了产品整体动态测试的主要测试系列我们可能还测试其他不属于主要测试系列的产品, 但只能在有限的时间周期内单独测试在这种类型的测试中, 我们使用互联网安全套装每月测试时使用的主要产品版本 : 版本厂商产品 8 月份 9 月份 10 月份 11 月份 Avast 互联网安全套装 (Internet Security) AVG 互联网安全套装 (Internet Security) Avira( 小红伞 ) Premium Security Suite BitDefender( 比特梵德 ) 互联网安全套装 (Internet Security) ESET Smart Security F-Secure 互联网安全套装 (Internet Security) G Data( 歌德塔 ) 互联网安全套装 (Internet Security) Kaspersky( 卡巴斯基 ) 互联网安全套装 (Internet Security) Kingsoft( 金山 ) Internet Security Plus Norman( 诺曼 ) Security Suite Pro Panda( 熊猫 ) 互联网安全套装 (Internet Security) PC Tools( 比斯图 ) 互联网安全套装 (Internet Security) Norton( 诺顿 ) 互联网安全套装 (Internet Security) Trend Micro( 趋势科技 ) Titanium Internet Security 测试事项时间测试事例 2010 年 8 月 10 日 ~26 日年 9 月 7 日 ~25 日年 10 月年 11 月合计 1460 下个月的测试, 我们将使用在本月底开始提供的新的产品版本 1 Trend Micro Internet Security

7 8. 测试结果 2010 年 8 月个测试事项 2010 年 9 月个测试事项 - 7 -

2010 年 10 月 - 454 个测试事项本报告将定期更新确切的数据和最新版本在我们的网站可以找到

8 2010 年 10 月个测试事项本报告将定期更新确切的数据和最新版本在我们的网站可以找到最终完整报告的汇总, 将于 2010 年 12 月初公布 - 8 -

9 2 9. 图表总览 2 截止到 2010 年 8 月的优化处理, 进一步修改或补充可能已从那时起实施 - 9 -

10 10. 测试内容来源我们用自己的爬网系统不断地搜索恶意网站并选取恶意网址 ( 包括垃圾邮件的恶意链接 ) 我们还手动搜索恶意网址如果一天之中, 我们的内部抓取工具无法找到足够的有效恶意网址, 我们的一些外部签约调查员会专门为 AV-Comparatives 提供额外的恶意网址虽然我们有机会访问供应商和其他公共资源的共享网址, 但我们尽量不在测试时使用它们 11. 测试集我们不是侧重于 0day 攻击 / 恶意软件, 我们关注其他那些现有和有关的恶意网站, 那里才是对普通用户真正造成威胁的地方我们正在努力将大约 40-50% 直接指向恶意网站的网址包括进来例如, 用户会被黑客伪造的社交网站 ( 恶意 ) 邮件 / 网站欺骗, 点击其中的 ( 恶意网站 ) 链接, 或者被欺骗安装某些木马流氓软件或其他恶意软件其余 / 更大的一部分是通过下载进行传播 / 恶意攻击的通常这些威胁似乎都被安全产品很好的抵御了在这种测试中, 使用足够的测试实例是非常重要的如果只随机做 20 或 50 例试验, 可能提供的只是一个无效的统计结果我们认为, 必须至少要有 100 例如果在比较测试中使用的样本数量不足, 那么不同的测试结果可能并不能代表测试的产品之间的实际差异下页的统计数据为您解释原因 12. 统计假设,10,000 个样本进行了测试, 并且产品 A 检出率为 80%( 假定为好产品 ), 而产品 B 为 70%( 假定为次一点的产品 ) 那么, 如果只从这 10,000 个样本中随机选取 10 个产品做测试, 概率结果如下 : 分数 (10 个样本 ) 产品 A (80% 检测率 ) 产品 B (70% 检测率 ) 10 / 10 11% 3% 9 / 10 27% 12% 8 / 10 30% 23% 7 / 10 20% 27% 6 / 10 9% 20% 5 / 10 3% 10% 4 / 10 1% 4% 3 / % 0.9% 2 / % 0.14% 1 / % % 0 / % % 合计 100% 100%

也就是说, 即使产品 A 最有可能 ( 检出率 80%) 拿到满分 10 分中的 8 分, 但产品 A 得到 8 分的几率也只有 30%(B 有 23% 的几率也得到 8 分 ) 产品 A 有 37% 的几率高于 8 分, 但也有 33% 的几率低于 8 分 ( 两者的差别并不大 ) 当产品 A 与产品 B 的概率组合, 产品 A(80% 的检测 ) 的得分高于产品 B(70% 的检测 )

11 也就是说, 即使产品 A 最有可能 ( 检出率 80%) 拿到满分 10 分中的 8 分, 但产品 A 得到 8 分的几率也只有 30%(B 有 23% 的几率也得到 8 分 ) 产品 A 有 37% 的几率高于 8 分, 但也有 33% 的几率低于 8 分 ( 两者的差别并不大 ) 当产品 A 与产品 B 的概率组合, 产品 A(80% 的检测 ) 的得分高于产品 B(70% 的检测 ) 的几率大约为 60% 在一个 10 样本的测试中, 有 18% 的几率产品 A 和 B 的分数相同, 产品 B 甚至有 22% 的几率得分将超过产品 A( 这样就很难区分出两款产品的差别 ) 但当样本数增加时, 这个麻烦就不存在了下图显示了样本从 10 个增加到 100 个, 再到 1000 个后, 对 95% 的置信区间的影响 95% 置信区间表示一个可信的区间范围, 说明真正的检测率在这一范围内的概率达到了 95%

12 13. 版权及免责声明本报告的版权归 AV-Comparatives 所有任何出版物对本测试结果的使用, 无论是全部或部分, 都必须先得到 AV- Comparatives 管理部门明确的书面同意并允许对使用本报告提供的信息, 可能会产生或导致的损害或损失,AV- Comparatives 和参与测试的人员, 不承担责任我们竭尽一切可能, 确保基本数据的正确性, 但并不代表 AV- Comparatives 对测试结果的正确性需要承担义务对报告的正确性, 完整性, 或者在任何特定的时间, 对报告提供的内容是否适合特殊目的的需求, 我们不做任何保证对于在创建, 生成或发表测试结果过程中, 所涉及到的任何人, 对任何间接的, 特殊的损害或利益损失, 使用或不能使用该网站提供的服务, 测试文件或任何相关的数据引起的或与之相关的事宜, 均不承担任何责任 AV-Comparatives 是在奥地利注册的非盈利性组织更多关于 AV-Comparatives 及测试方法, 请访问我们的网站 AV-Comparatives e.v. (2010 年 11 月 )

思科身份服务引擎支持的 Mac OS X AV/AS 产品合规性模块版本

思科身份服务引擎支持的 Mac OS X AV/AS 产品合规性模块版本 3.610482.2 本文档提供有关 Cisco NAC 代理版本 4.9.2.701 至 4.9.5.x 对 Mac OS X AV/AS 的支持信息有关其他支持信息以及完整的版本更新信息, 请参阅与您的思科身份服务引擎发行版本相对应的思科身份服务引擎版本说明支持的 Mac OS X AV/AS 产品概要新增 AV 产品

整体产品动态测试 - 初步测试结果 整体产品动态测试 2010 年 8 月至 10 月 语言 : 中文 2010 年 10 月最后修订 :2010 年 11 月 23 日

整体产品动态测试 - 初步测试结果整体产品动态测试 2010 年 8 月至 10 月语言 : 中文 2010 年 10 月最后修订 :2010 年 11 月 23 日