西海岸实验室 ( 中国 ) 赛可达实验室 全球中文杀毒软件横评报告 测试环境 : 测试时间 : Windows 8.1 简体中文版 2014 年第 4 季度
目录 1 实验室介绍... 1 1.1 西海岸实验室... 1 1.2 赛可达实验室... 1 2 测试产品... 2 3 测试环境... 3 4 测试项目... 3 5 保护能力测试... 4 5.1 静态扫描... 4 5.2 静态扫描得分对比... 4 5.3 动态测试... 5 5.4 动态测试得分对比... 5 5.5 清除能力测试概述... 6 5.6 清除能力得分对比... 6 5.7 钓鱼挂马测试概述... 6 5.8 钓鱼挂马得分对比... 7 6 用户体验测试... 7 6.1 误报测试... 7 6.2 弹框控制... 8 6.3 图片浏览... 9 6.4 文件复制... 9 6.5 安装程序... 10 6.6 开机 关机时间... 11 6.7 网页加载时间... 12
6.8 游戏加载时间... 12 6.9 视频加载时间... 13 6.10 Office 文档加载时间... 14 6.11 运行其他程序... 15 6.12 静态扫描所用时间对比... 15 6.13 安装 卸载... 16 7 测试结果对比... 16 7.1 保护能力对比... 16 7.2 用户体验得分对比... 17 7.3 总分对比... 18 8 用 baseline 展示结果... 19
1 实验室介绍 1.1 西海岸实验室 西海岸实验室 (West Coast Labs) 是全球顶尖的独立第三方权威测评认证服务机构, 专注于网络信息安全产品的测评认证 在测试中采用极为严格的标准流程和世界领先技术, 并强调产品在真实环境中的性能表现 西海岸实验室旗下著名的 Checkmark 认证已成为网络安全业界衡量产品水平的标杆, 并成为产品通向国际市场的通行证, 发展到今天, 其认证标准已被全球认可为最值得信赖的指标之一 西海岸实验室所测试的产品种类及产品数量均居世界首位, 其测试的产品及功能范围覆盖网络安全软硬件各个方面, 包括防火墙 UTM 病毒查杀 手机安全 云安全 反垃圾邮件, 以及 VPN IPS 上网行为管理 漏洞检测等等 几乎所有国际知名厂商都参加过西海岸实验室的测评认证 西海岸实验室凭借自己深厚的技术实力和广阔的全球市场资源, 帮助网络信息安全厂商提升产品竞争力并走向全球市场 1.2 赛可达实验室 作为西海岸实验室的中国测评认证机构, 赛可达实验室依附西海岸实验室世界领先的测评技术实力和数年丰富的国际测评经验, 为网络信息安全厂商提供 公正 中立 科学 严谨 的权威第三方测评认证服务 测试严格采用西海岸实验室的测试标准体系和技术, 强调产品在真实环境中特别是在中国实际互联网环境下的性能表现 测试业务范围, 包括防火墙 UTM 反病毒 手机安全 云安全 反垃圾邮件, 以及 VPN IPS 上网行为管理 漏洞检测等网络信息安全软硬件产品和相关功能 更为重要的是, 赛可达实验室拥有具国际专业水平的测试人员, 不仅为网络信息安全厂商提供标准的测试认证, 还根据客户实际需求提供定制化的测试服务 通过认证的产品, 都将获得 Checkmark 东方之星 证书, 以证明其具有国际水平的卓越性能表现 第 1 页 / 共 22 页
2 测试产品 厂商产品名称产品版本 MD5 360 360 杀毒 5.0.0.5075 AA25668992FA172A197A911C9439F426 Avast 网络安全 9.0.2021.515 Avast 1674CA0E5AD207007152F3BAE165EC78 软件 2015 AVG Internet 14.0.0.4259 AVG D3E74E5E0E95CAF2C7712D539CF4CE25 Security System ESET Smart 6.0.316.1 ESET 1BFCCC5170402FD85695CBC250C7FA84 Security 百度百度杀毒 2.1.0.2625 9581E8FA8E8327C6EC12CB939117B57D 比特梵德互联网安全套装 16.33.0.1897 A4B8F66761CF5B24F6B6F04B5851E60B Dr.Web Security 9.1.1.08180 大蜘蛛 9151750BF281E248CA8774F9AE4B2230 Space 费尔费尔智能杀毒 8.1.7.6865 4F4EBABE4FDD35DDE1A6869AA7BAC57D 江民速智版杀毒 16.0.0.100 江民 4565CB02F3989A3BD24887CC53406942 软件金山新毒霸 悟空 9.1.177957.1 94EE1AA2879E3E4E5DF4F7578C5D4B2B 0331 卡巴斯基安全软 14.0.0.4651( 卡巴斯基 46CF0B296AB8DD1ADC1482F52882F94D 件 b) 科摩多 B03C6045711E56C4F9A48184462EAF84 网络安全实时防 13.6.1492 迈克菲 5B888D8A8BE5D9B85CCCD64D63794444 御套装 PC-cillin 云安 7.0.1151 趋势科技全软件全功能增 19E7ED9D298E514F670C145460E67AE0 强版瑞星杀毒软件 24.00.18.79 瑞星 D00CA363FC29CAE4E80D520C3A187BBB V16+ 赛门铁克网络安 21.1.0.18 赛门铁克 625210FD31DB3AD6D422C136D023E415 全特警 10.4.15685.2 腾讯腾讯电脑管家 1758542A46C0A476D4AF034889F52195 15 Windows 微软 Windows 8.1 系统自带 Defender 小红伞 Antivirus pro 14.0.6.570 C13E8D3C2E3D4E1D88C4F7B78E7728F6 Comodo 网络安全 7.0.317799.4 套装 142 第 2 页 / 共 22 页
3 测试环境 本次测试环境为 Windows 8.1 简体中文版 (64 位 ), 其中安装了超过 15 款的 国内常用软件, 以模拟中国用户的真实计算机环境 下表为部分安装的软件 : 软件名称 软件版本 MD5 91 助手 3.3.7.1031 E96C14DB8C56A4C3ACEB7A4CBD0D5567 Foxmail 7.13.5.2 2B5266670AF624D70D4E6E1B9B431718 KMP 3.7.0.113 8D1A3FDE75EE6416DFE646D47A76B206 Notepad++ 6.5 56AF723D25B24AC57452F8A66C59DAB4 QQ 2013 8725ED60CACFA88CCE48E80059B7A8BD WINRAR 5 D4C21FED7F7E9106E7EE8FCDC5879D23 YY 语音 6.10.0.2 CB35C02F825606E30A66D328581EF8D0 暴风影音 5-5.29.0926 9A6C2D90D697E435A72CF7F66AFCF424 飞信 4.9.0800.0 300FF4793997DD750C587EC780F43D06 谷歌浏览器 28.0.1500.72 B1DD8760D9DC79AB11B937B5F827696F 酷我音乐盒 5.0.0.0 C0A00B339CF053BA756ADD56D12BDFBD 快播 5.17.153.20131024 93C0BCF48E298C397E46B3AA92522B6B 搜狗拼音输入法 6.7.0.0499 D573E0E9D03B394766703110FE8BDD67 迅雷 7.9.10.4610 91F0D9F03D1B1CA21647B1BE2F098B6E 有道词典 5.4.46.5554 2B640F04252CAAFAC23F8EBEFFC08820 4 测试项目 测试项 最高分值 保护能力 静态扫描 15 动态测试 15 感染型病毒清除 10 恶意 钓鱼欺诈网址拦截 10 用户体验 误报 5 扫描时间 1 弹框控制 1 浏览图片 1 复制文件 1 安装其他程序 1 开关机 1 网站加载 1 运行游戏 1 第 3 页 / 共 22 页
本次测试最高分值 :67 分 运行音频视频 1 运行 Office 办公文档 1 运行其它程序 1 安装 卸载 1 5 保护能力测试 5.1 静态扫描 本次测试选取了中国最流行的 10,000 个病毒样本 按照病毒流行度将样本分为 5 个组, 并对每个组分配不同的权重值 得分计算公式 : 15-5/2000 x G1 4/2000xG2 3/2000 x G3 2/2000 x G4-1/2000 x G5 Gx 是在 x 组漏检的样本数量 本项最高分值 :15 分 5.2 静态扫描得分对比 厂商 得分 查杀率 赛门铁克 14.49 96.92% 腾讯 14.22 95.21% 360 14.13 95.09% 小红伞 14.05 94.47% 迈克菲 14.01 94.12% 比特梵德 13.97 94.07% 卡巴斯基 13.87 93.46% AVG 13.84 93.27% 百度 13.75 93.03% 科摩多 13.45 91.21% Avast 13.32 89.95% 瑞星 13.28 89.90% ESET 12.79 87.28% 微软 12.47 85.31% 大蜘蛛 12.19 82.41% 金山 12.07 82.55% 趋势 10.86 70.76% 费尔 9.51 64.45% 江民 8.39 53.19% 第 4 页 / 共 22 页
其中表中标红的厂商由于病毒样本分配的权重而产生了排名变化 5.3 动态测试 动态测试的主要测试方式 : 下载保护 文件复制和目录浏览 样本同样分为 5 组 根据样本流行度, 对每组赋予不同的权重 本项最高分值 :15 分 5.4 动态测试得分对比 厂商 得分 查杀率 百度 14.45 96.88% 腾讯 14.25 95.80% 360 14.04 94.50% 比特梵德 13.94 93.99% 小红伞 13.94 93.89% AVG 13.82 93.16% 卡巴斯基 13.82 93.14% 赛门铁克 13.81 92.46% 科摩多 13.38 90.78% Avast 13.07 88.56% 瑞星 12.97 84.35% 微软 12.84 87.64% 迈克菲 12.45 84.70% 费尔 12.23 81.39% 金山 12.15 83.20% 大蜘蛛 12.03 81.51% 江民 11.66 75.74% ESET 11.60 80.12% 趋势 10.78 70.33% 其中表中标红的厂商由于病毒样本分配的权重而产生了排名变化 第 5 页 / 共 22 页
5.5 清除能力测试概述 测试样本数 :100 主要感染型病毒家族名称为 :Bototer,Kate, Alman, Nimnul, Qvod,Sality,Otwycal, Viking,Virut,Parite 等 清除成功并清除 后可以正常运行每个文件得 0.1 分 本项最高分值 :10 分 如下情况不得分 : 没有识别 识别后删除文件 清除失败 显示清除成功实际无法正常运行 5.6 清除能力得分对比 厂商 清除能力 大蜘蛛 7.2 比特梵德 7.0 百度 6.7 卡巴斯基 6.7 赛门铁克 6.7 趋势 6.6 微软 6.6 腾讯 6.3 江民 6.1 迈克菲 5.8 金山 5.8 ESET 5.5 360 5.0 瑞星 4.9 Avast 3.5 小红伞 2.3 AVG 2.1 科摩多 1.9 费尔 0.0 5.7 钓鱼挂马测试概述 测试网址总数 :65 选取了最新出现的中文钓鱼网站 本项最高分值 :10 分 第 6 页 / 共 22 页
主要测试杀毒软件对最新的钓鱼网站等的防御拦截能力 因挂马钓鱼网站实 时性较强, 所以得分公式为 : 拦截总数 /( 测试网址总数 - 失效数 )* 10 5.8 钓鱼挂马得分对比 厂商 钓鱼挂马拦截得分 百度 6.92 360 6.15 金山 4.92 腾讯 2.92 Avast 1.69 赛门铁克 0.30 趋势 0.30 比特梵德 0.15 卡巴斯基 0.15 小红伞 0.00 迈克菲 0.00 科摩多 0.00 ESET 0.00 江民 0.00 费尔 0.00 AVG 0.00 大蜘蛛 0.00 微软 0.00 瑞星 0.00 6 用户体验测试 6.1 误报测试 测试方法 : 本次测试环境为 Windows 8.1 简体中文版 (64 位 ), 其中安装了超过 15 款的国内常用软件, 以模拟中国用户的真实计算机环境 将杀毒软件升级至最新病毒库, 对测试机进行扫描 本项最高分值 :5 分 误报一个文件扣一分, 最低得分为 0 分 第 7 页 / 共 22 页
测试结果 : 厂商 误报得分 360 5 Avast 5 AVG 5 ESET 5 百度 5 比特梵德 5 金山 5 卡巴斯基 5 趋势 5 瑞星 5 赛门铁克 5 腾讯 5 微软 5 江民 4 科摩多 4 迈克菲 4 小红伞 4 大蜘蛛 0 费尔 0 6.2 弹框控制 测试方法 : 主要测试在杀毒扫描过程中, 弹框提示的可控性 本项最高分值 :1 分 测试结果 : 厂商 弹窗可控 360 1 Avast 1 AVG 1 ESET 1 百度 1 比特梵德 1 大蜘蛛 1 费尔 1 卡巴斯基 1 科摩多 1 趋势 1 瑞星 1 赛门铁克 1 第 8 页 / 共 22 页
腾讯 1 小红伞 1 金山 0 江民 0 迈克菲 0 微软 0 6.3 图片浏览 测试方法 : 测试在开启杀毒软件监控的情况下, 打开图片所花费的时间, 越短越好 本 项最高分值 :1 分 测试结果 : 厂商 图片浏览 (ms) 得分 微软 368 0.98 小红伞 907 0.95 360 920 0.95 腾讯 925 0.95 金山 954 0.95 比特梵德 1089 0.94 科摩多 1515 0.92 AVG 1534 0.91 卡巴斯基 1606 0.91 赛门铁克 1614 0.91 ESET 1710 0.91 趋势 1742 0.90 江民 1853 0.90 瑞星 2000 0.89 百度 2168 0.88 大蜘蛛 2551 0.86 Avast 3096 0.83 费尔 3667 0.80 迈克菲 15132 0.16 6.4 文件复制 测试方法 : 开启杀毒软件监控的情况下, 复制指定文件所花费的时间, 越短越好 本项 最高分值 :1 分 第 9 页 / 共 22 页
测试结果 : 厂商 文件复制 (ms) 得分 360 3203 0.87 江民 3223 0.87 金山 3262 0.87 卡巴斯基 3267 0.87 Avast 3271 0.87 小红伞 3370 0.87 趋势 3403 0.86 微软 3418 0.86 瑞星 3499 0.86 ESET 3595 0.86 费尔 3835 0.85 比特梵德 3893 0.84 大蜘蛛 4086 0.84 迈克菲 6865 0.73 百度 9317 0.63 腾讯 11254 0.55 AVG 19937 0.20 科摩多 22313 0.11 赛门铁克 22611 0.10 6.5 安装程序 测试方法 : 开启杀毒软件监控的情况下, 安装指定程序所花费的时间, 越短越好 本项 最高分值 :1 分 测试结果 : 厂商 安装程序 (ms) 得分 小红伞 10746 0.69 AVG 10804 0.69 ESET 11068 0.68 微软 11429 0.67 腾讯 11701 0.67 江民 12117 0.65 卡巴斯基 12171 0.65 360 12179 0.65 科摩多 12284 0.64 大蜘蛛 12336 0.64 第 10 页 / 共 22 页
Avast 12439 0.64 比特梵德 12767 0.63 金山 13542 0.61 趋势 13668 0.60 赛门铁克 15315 0.56 瑞星 15523 0.55 费尔 15995 0.54 迈克菲 16837 0.51 百度 22762 0.34 6.6 开机 关机时间 测试方法 : 开启杀毒软件监控的情况下, 系统开机 关机所花费的时间, 越短越好 本 项最高分值 :1 分 测试结果 : 厂商 开关机时间 (s) 得分 百度 96 0.73 腾讯 159 0.56 Avast 164 0.54 费尔 192 0.47 趋势 196 0.46 ESET 203 0.44 微软 203 0.44 江民 204 0.43 瑞星 217 0.40 大蜘蛛 227 0.37 金山 231 0.36 科摩多 237 0.34 赛门铁克 244 0.32 迈克菲 245 0.32 卡巴斯基 253 0.30 AVG 254 0.30 360 258 0.28 小红伞 277 0.23 比特梵德 297 0.17 第 11 页 / 共 22 页
6.7 网页加载时间 测试方法 : 开启杀毒软件监控的情况下, 使用测试网页打开网站所花费的时间, 越短越 好 本项最高分值 :1 分 测试结果 : 厂商 打开网页 (ms) 得分 瑞星 57355 0.93 趋势 67216 0.92 金山 68767 0.92 费尔 69950 0.92 Avast 80116 0.91 ESET 98016 0.89 科摩多 107864 0.87 赛门铁克 117648 0.86 江民 120277 0.86 百度 165469 0.81 迈克菲 228952 0.73 比特梵德 240686 0.72 AVG 242757 0.72 卡巴斯基 250475 0.71 360 251048 0.71 腾讯 259262 0.70 大蜘蛛 385794 0.55 微软 465953 0.46 小红伞 753601 0.12 6.8 游戏加载时间 测试方法 : 开启杀毒软件监控的情况下, 运行一款主流游戏所花费的加载时间, 越短越 好 本项最高分值 :1 分 第 12 页 / 共 22 页
测试结果 : 厂商 运行游戏 (ms) 得分 赛门铁克 5431 0.58 卡巴斯基 6038 0.54 瑞星 6078 0.53 腾讯 6155 0.53 微软 6376 0.51 ESET 6587 0.49 比特梵德 6614 0.49 江民 6904 0.47 费尔 7279 0.44 百度 7418 0.43 Avast 7607 0.41 趋势 7987 0.39 迈克菲 8846 0.32 科摩多 9236 0.29 小红伞 9652 0.26 360 9761 0.25 大蜘蛛 10051 0.23 AVG 10596 0.18 金山 10840 0.17 6.9 视频加载时间 测试方法 : 开启杀毒软件监控的情况下, 运行视频所花费的时间, 越短越好 本项最高 分值 :1 分 测试结果 : 厂商 运行视频 (ms) 得分 ESET 8082 0.38 费尔 8145 0.37 AVG 8159 0.37 微软 8182 0.37 小红伞 8190 0.37 比特梵德 8198 0.37 Avast 8201 0.37 瑞星 8211 0.37 金山 8222 0.37 第 13 页 / 共 22 页
腾讯 8231 0.37 360 8234 0.37 大蜘蛛 8261 0.36 江民 8357 0.36 百度 8362 0.36 迈克菲 8367 0.36 卡巴斯基 8396 0.35 赛门铁克 8490 0.35 科摩多 8536 0.34 趋势 9081 0.30 6.10 Office 文档加载时间 测试方法 : 开启杀毒软件监控的情况下, 打开 Office 文档所花费的时间, 越短越好 本项最高分值 :1 分 测试结果 : 厂商 运行 office 文档 (ms) 得分 微软 11109 0.52 腾讯 11165 0.51 AVG 11239 0.51 江民 11259 0.51 费尔 11354 0.51 科摩多 11417 0.50 ESET 11468 0.50 金山 11468 0.50 赛门铁克 11484 0.50 Avast 11531 0.50 卡巴斯基 11556 0.50 小红伞 11612 0.50 比特梵德 11731 0.49 趋势 12012 0.48 360 12017 0.48 瑞星 12289 0.47 迈克菲 12320 0.46 大蜘蛛 15892 0.31 百度 19801 0.14 第 14 页 / 共 22 页
6.11 运行其他程序 测试方法 : 开启杀毒软件监控的情况下, 运行其他程序所花费的时间, 越短越好 本项 最高分值 :1 分 测试结果 : 厂商 运行其他程序 (ms) 得分 腾讯 5562 0.24 360 5976 0.18 江民 6084 0.16 ESET 6126 0.16 AVG 6137 0.15 赛门铁克 6167 0.15 瑞星 6220 0.14 科摩多 6242 0.14 小红伞 6267 0.14 大蜘蛛 6300 0.13 比特梵德 6348 0.13 Avast 6353 0.12 费尔 6360 0.12 微软 6362 0.12 金山 6468 0.11 卡巴斯基 6572 0.09 百度 6796 0.06 迈克菲 6828 0.06 趋势 7214 0.01 6.12 静态扫描所用时间对比 本项最高分值 :1 分 厂商 扫描时间 (min) 得分 金山 5 0.95 腾讯 5 0.95 Avast 6 0.94 费尔 6 0.94 小红伞 7 0.93 百度 8 0.92 360 13 0.87 第 15 页 / 共 22 页
江民 13 0.87 ESET 24 0.76 大蜘蛛 33 0.67 比特梵德 40 0.60 瑞星 41 0.59 AVG 57 0.43 科摩多 69 0.31 赛门铁克 76 0.24 卡巴斯基 79 0.21 迈克菲 93 0.07 微软 >100 0.00 趋势 >100 0.00 6.13 安装 卸载 针对测试产品在实际测试环境中, 安装和卸载时的具体表现 本项最高分值 : 1 分 微软 Windows Defender 属系统自带得 1 分, 其它测试产品都提供了较好的安装卸载各得 1 分 7 测试结果对比 7.1 保护能力对比 保护能力包括静态扫描 动态测试 病毒清除能力及钓鱼恶意网站拦截 厂商 保护能力得分 百度 41.84 360 39.33 腾讯 37.71 赛门铁克 35.32 比特梵德 35.07 金山 34.96 卡巴斯基 34.54 迈克菲 32.27 微软 31.92 Avast 31.59 大蜘蛛 31.43 第 16 页 / 共 22 页
瑞星 31.16 小红伞 30.30 ESET 29.90 AVG 29.76 科摩多 28.74 趋势 28.56 江民 26.15 费尔 21.74 7.2 用户体验得分对比 厂商 性能总分 Avast 13.15 ESET 13.06 腾讯 13.02 瑞星 12.74 360 12.61 比特梵德 12.39 百度 12.31 卡巴斯基 12.13 趋势 11.94 金山 11.81 赛门铁克 11.57 AVG 11.47 江民 11.08 小红伞 11.06 第 17 页 / 共 22 页
微软 10.94 科摩多 10.47 迈克菲 8.73 费尔 7.96 大蜘蛛 6.97 7.3 总分对比 通过东方之星认证的最低得分要求是 45 分 厂商 总分 百度 54.15 360 51.94 腾讯 50.73 比特梵德 47.46 赛门铁克 46.89 金山 46.77 卡巴斯基 46.67 Avast 44.74 瑞星 43.90 ESET 42.96 微软 42.86 小红伞 41.36 AVG 41.23 迈克菲 41.00 趋势 40.50 科摩多 39.21 大蜘蛛 38.40 第 18 页 / 共 22 页
江民 37.23 费尔 29.70 8 用 baseline 展示结果 现 用微软产品表现作为基准 (baseline) 展示测试结果 红线表示微软产品表 第 19 页 / 共 22 页
第 20 页 / 共 22 页
第 21 页 / 共 22 页
2014 SKD Labs, Inc. All rights reserved. No part of this publication may be reproduced, photocopied, stored on a retrieval system, or transmitted without the express written consent of the authors. Please note that access to or use of this document is conditional on the following: 1. The information in this document is believed by SKD Labs to be accurate and reliable at the time of publication, but is not guaranteed. All use of and reliance on this document are at the reader s sole risk. SKD Labs is not liable or responsible for any damages, losses, or expenses arising from any error or omission in this document. 2. NO WARRANTIES, EXPRESS OR IMPLIED ARE GIVEN BY SKD LABS. ALL IMPLIED WARRANTIES, INCLUDING IMPLIED WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE, AND NON- INFRINGEMENT ARE DISCLAIMED AND EXCLUDED BY SKD LABS. IN NO EVENT SHALL SKD LABS BE LIABzLE FOR ANY CONSEQUENTIAL, INCIDENTAL OR INDIRECT DAMAGES, OR FOR ANY LOSS OF PROFIT, REVENUE, DATA, COMPUTER PROGRAMS, OR OTHER ASSETS, EVEN IF ADVISED OF THE POSSIBILITY THEREOF. 3. This document does not constitute an endorsement, recommendation, or guarantee of any of the products (hardware or software) tested or the hardware and software used in testing the products. The testing does not guarantee that there are no errors or defects in the products or that the products will meet the reader s expectations, requirements, needs, or specifications, or that they will operate without interruption. 4. This document does not imply any endorsement, sponsorship, affiliation, or verification by or with any organizations mentioned in this report. 5. All trademarks, service marks, and trade names used in this document are the trademarks, service marks, and trade names of their respective owners. 第 22 页 / 共 22 页