MBB Robot 爬 虫 数 据 报 告 2014H1
目 录 1 简 介... 4 2 Web 业 务 特 征 与 趋 势... 5 2.1 Web 页 面 逐 渐 增 大... 5 2.2 平 均 单 个 PC 页 面 内 请 求 数 逐 渐 增 加... 6 2.3 单 个 页 面 的 内 容 中, 图 片 占 比 最 大,JS 其 次... 7 2.4 不 同 区 域 网 页 特 征 迥 异... 9 2.5 平 均 单 个 页 面 的 主 机 数 呈 增 长 趋 势... 10 2.6 OTT 隐 私 加 密 是 一 种 趋 势... 11 3 视 频 业 务 特 征 与 趋 势... 12 3.1 优 酷 和 YouTube 网 站 基 本 特 征... 12 3.2 YouTube 720p 视 频 码 率 大 部 分 分 布 在 1.5Mbps 到 3Mbps 之 间... 13 3.3 视 频 平 均 时 长 趋 势 平 稳... 14 3.4 短 于 5 分 钟 视 频 占 一 半 比 例... 15 3.5 高 超 清 视 频 占 比 逐 渐 增 加... 16 3.6 YouTube 视 频 流 加 密 可 能 对 相 关 视 频 优 化 方 案 产 生 影 响... 17 4 微 博 业 务 特 征 与 趋 势... 18 4.1 普 通 用 户 占 据 9 成 以 上... 18 4.2 个 人 VIP 影 响 最 大... 19 4.3 微 博 平 均 字 数 为 71... 20 4.4 微 博 含 图 片 比 例 为 72.45%... 21 4.5 微 博 为 转 发 的 比 例 为 56.78%... 22 5 附 录... 23 5.1 关 于 报 告... 23 5.2 报 告 数 据 来 源... 23 5.3 联 系 方 式... 23 5.4 免 责 声 明... 24 A 专 业 术 语... 25 2
插 图 目 录 图 2-1 平 均 单 个 iphone 页 面 传 输 大 小 趋 势... 5 图 2-2 平 均 单 个 PC 页 面 传 输 大 小 趋 势... 5 图 2-3 平 均 单 个 iphone 页 面 请 求 数 趋 势... 6 图 2-4 平 均 单 个 PC 页 面 请 求 数 趋 势... 7 图 2-5 Alexa Top 网 站 对 比 情 况 (2014H1)... 7 图 2-6 不 同 区 域 Top50 网 站 iphone 页 面 对 比 (KB)(2014.4)... 9 图 2-7 平 均 单 个 页 面 主 机 数 趋 势 对 比... 10 图 2-8 平 均 单 个 页 面 中 HTTPS 连 接 数 占 比 (%)... 11 图 3-1 优 酷 和 YouTube 分 辨 率 与 基 本 特 征... 12 图 3-2 YouTube 720p 视 频 码 率 分 布 图... 13 图 3-3 视 频 平 均 时 长 趋 势... 14 图 3-4 2014 年 H1 YouTube 视 频 时 长 分 布... 15 图 3-5 优 酷 具 有 高 超 清 分 辨 率 视 频 的 比 例... 16 图 3-6 旧 版 未 加 密 的 视 频 传 输 流, 可 以 识 别 视 频 url 与 内 容... 17 图 3-7 新 版 加 密 的 视 频 传 输 流, 已 无 法 识 别 视 频 url 与 内 容... 17 图 4-1 微 博 样 本 中 用 户 分 布 比 例... 18 图 4-2 不 同 类 型 用 户 平 均 发 微 博 数... 19 图 4-3 不 同 类 型 用 户 平 均 粉 丝 数... 19 图 4-4 不 同 类 型 用 户 微 博 平 均 字 数 趋 势... 20 图 4-5 不 同 类 型 用 户 微 博 含 图 片 趋 势... 21 图 4-6 不 同 类 型 用 户 微 博 为 转 发 的 比 例 趋 势... 22 3
1 简 介 本 报 告 主 要 分 为 Web 业 务 特 征 与 趋 势 视 频 业 务 特 征 与 趋 势 微 博 业 务 特 征 与 趋 势 三 部 分, 其 中 Web 业 务 特 征 与 趋 势 包 含 Alexa Top 网 站 的 平 均 单 个 页 面 的 大 小 变 化 趋 势 内 容 占 比 情 况 不 同 区 域 差 异 和 HTTPS 连 接 数 等 ; 视 频 业 务 特 征 与 趋 势 包 含 优 酷 和 YouTube 网 站 视 频 的 码 率 变 化 趋 势 时 长 分 布 高 清 视 频 比 例 和 视 频 加 密 的 发 现 等 ; 微 博 业 务 特 征 与 趋 势 包 含 新 浪 微 博 不 同 类 型 用 户 的 平 均 微 博 数 平 均 粉 丝 数 平 均 关 注 数 和 微 博 的 平 均 文 字 长 度 含 图 片 比 例 转 发 行 为 等 报 告 中 对 MBB Robot 网 站 提 供 的 Web 视 频 和 微 博 样 本 进 行 了 数 据 分 析, 在 大 量 样 本 的 前 提 下, 尽 可 能 客 观 的 反 映 这 几 类 业 务 的 特 征 及 发 展 趋 势, 但 并 不 保 证 报 告 所 述 信 息 的 准 确 性 和 完 整 性 主 要 的 关 键 发 现 有 : Web 业 务 1. 平 均 单 个 页 面 大 小 逐 年 增 加, 平 均 年 增 长 幅 度 为 28% 2. 网 页 传 输 的 65% 内 容 为 图 片, 其 次 约 23% 内 容 为 JS 3. 由 于 互 联 网 架 构 的 不 断 改 进, 单 个 页 面 内 的 主 机 数 逐 渐 增 加 ; 而 对 隐 私 安 全 的 重 视, 单 个 页 面 内 HTTPS 连 接 数 也 逐 渐 增 加 视 频 业 务 1. YouTube 新 版 客 户 端 采 用 HTTPS 传 输 视 频 流, 将 对 运 营 商 视 频 解 决 方 案 产 生 较 大 影 响 2. 具 有 高 清 超 清 分 辨 率 的 视 频 源 比 例 逐 渐 升 高 3. 目 前 视 频 平 均 时 长 约 为 700s, 约 一 半 的 视 频 短 于 5 分 钟 微 博 业 务 1. 个 人 VIP 虽 然 所 占 比 例 最 低, 但 是 微 博 数 粉 丝 数 关 注 数 均 高 于 其 他 用 户, 影 响 力 较 大 2. 目 前 平 均 单 个 微 博 字 数 为 71, 含 图 片 微 博 比 例 为 74%, 微 博 为 转 发 的 比 例 为 57% 4
Jan-12 Mar-12 May-12 Jul-12 Sep-12 Nov-12 Jan-13 Mar-13 May-13 Jul-13 Sep-13 Nov-13 Jan-14 Mar-14 May-14 Transfer Size(KB) Jan-12 Mar-12 May-12 Jul-12 Sep-12 Nov-12 Jan-13 Mar-13 May-13 Jul-13 Sep-13 Nov-13 Jan-14 Mar-14 May-14 Transfer Size(KB) 2 Web 业 务 特 征 与 趋 势 2.1 Web 页 面 逐 渐 增 大 图 2-1 平 均 单 个 iphone 页 面 传 输 大 小 趋 势 1000 900 800 700 600 500 400 300 200 100 0 Top 100 Top 5000 图 2-2 平 均 单 个 PC 页 面 传 输 大 小 趋 势 2000 1800 1600 1400 1200 1000 800 600 400 200 0 Top 100 Top 100000 5
Jan-12 Mar-12 May-12 Jul-12 Sep-12 Nov-12 Jan-13 Mar-13 May-13 Jul-13 Sep-13 Nov-13 Jan-14 Mar-14 May-14 Requests 使 用 iphone 访 问 Web 页 面,Top 5000 网 站 平 均 单 个 页 面 年 增 长 幅 度 为 28%, 截 止 2014 年 6 月 份 达 到 940KB Top 100 网 站 平 均 单 个 页 面 年 增 长 幅 度 为 20%, 截 止 2014 年 5 月 份 达 到 520KB Top100 网 站 平 均 单 个 页 面 传 输 大 小 增 长 趋 势 均 低 于 Top5000 的 网 站, 因 为 排 名 靠 前 网 站 一 般 会 开 发 针 对 移 动 版 的 页 面, 元 素 相 对 较 少 使 用 PC 访 问 Web 页 面, 平 均 单 个 页 面 大 小 亦 呈 增 长 趋 势 Top100000 网 站 平 均 单 个 页 面 的 年 增 长 幅 度 为 30%, 截 止 2014 年 6 月 份 达 到 1.8MB 由 于 部 分 网 站 并 未 开 发 移 动 版 页 面, 因 而 PC 页 面 的 大 小 增 长 也 一 定 程 度 上 带 动 了 iphone 页 面 大 小 的 增 长 2.2 平 均 单 个 PC 页 面 内 请 求 数 逐 渐 增 加 图 2-3 平 均 单 个 iphone 页 面 请 求 数 趋 势 70 60 50 40 30 20 Top 100 Top 5000 10 0 6
Jan-12 Mar-12 May-12 Jul-12 Sep-12 Nov-12 Jan-13 Mar-13 May-13 Jul-13 Sep-13 Nov-13 Jan-14 Mar-14 May-14 Requests 图 2-4 平 均 单 个 PC 页 面 请 求 数 趋 势 120 100 80 60 40 Top 100 Top 100000 20 0 使 用 iphone 访 问 Web 页 面, 平 均 单 个 页 面 的 请 求 数 并 无 明 显 增 幅 ; 使 用 PC 访 问 Web 页 面,Top 100 网 站 页 面 的 请 求 数 有 明 显 增 长, 年 涨 幅 约 为 14% 平 均 单 个 页 面 的 请 求 数 增 长 幅 度 小 于 页 面 的 大 小 增 长 幅 度, 也 说 明 了 页 面 中 平 均 单 个 元 素 大 小 在 逐 渐 增 加 2.3 单 个 页 面 的 内 容 中, 图 片 占 比 最 大,JS 其 次 图 2-5 Alexa Top 网 站 对 比 情 况 (2014H1) Top 100 网 站 平 均 单 个 iphone 页 面 传 输 内 容 分 布 CSS 4% Html 7% Other 0% Top 5000 网 站 平 均 单 个 iphone 页 面 传 输 内 容 分 布 CSS 5% Html 5% JS 24% Image 65% JS 23% Image 66% 7
Top100 网 站 平 均 单 个 PC 页 面 传 输 内 容 分 布 Html 4% CSS 3% JS 20% Other 16% Image 57% Top 100000 平 均 单 个 PC 页 面 传 输 内 容 分 布 CSS 3% Html 4% JS 17% Other 9% Image 67% 分 析 2014H1 网 站 的 传 输 大 小 分 布, 通 过 iphone 访 问 时, 平 均 单 个 网 页 传 输 的 65% 内 容 为 图 片, 其 次 约 23% 内 容 为 JS 按 2014H1 平 均 iphone 页 面 大 小 为 880KB 计 算, 一 个 页 面 中 图 片 总 大 小 为 580KB,JS 为 200KB 8
2.4 不 同 区 域 网 页 特 征 迥 异 图 2-6 不 同 区 域 Top50 网 站 iphone 页 面 对 比 (KB)(2014.4) 900 800 700 600 500 400 300 200 Other Html CSS JS Image 100 0 俄 罗 斯 的 平 均 页 面 最 大, 达 到 了 830KB; 印 度 尼 西 亚 最 小, 仅 为 390KB; 其 余 国 家 的 平 均 页 面 大 小 约 600KB 左 右 中 国 的 页 面 中, 图 片 所 占 比 例 最 大,JS 的 比 例 最 小 不 同 区 域 导 致 的 不 同 网 页 特 征, 与 发 展 历 史 互 联 网 发 达 程 度 智 能 终 端 普 及 率 等 相 关, 但 是 目 前 并 未 发 现 固 定 的 推 导 关 系 9
Jan-12 Mar-12 May-12 Jul-12 Sep-12 Nov-12 Jan-13 Mar-13 May-13 Jul-13 Sep-13 Nov-13 Jan-14 Mar-14 May-14 2.5 平 均 单 个 页 面 的 主 机 数 呈 增 长 趋 势 图 2-7 平 均 单 个 页 面 主 机 数 趋 势 对 比 20 18 16 14 12 10 8 6 PC Top100 PC Top 100000 iphone Top 100 iphone Top 5000 4 2 0 从 2012 至 今, 平 均 单 个 页 面 的 主 机 数 大 体 均 呈 增 长 趋 势, 平 均 年 增 长 率 约 为 20% 由 于 互 联 网 架 构 的 不 断 改 进, 如 将 图 片 JS 等 存 放 于 专 门 的 服 务 器 上, 导 致 单 个 页 面 的 主 机 数 增 加 10
2.6 OTT 隐 私 加 密 是 一 种 趋 势 图 2-8 平 均 单 个 页 面 中 HTTPS 连 接 数 占 比 (%) 14 12 10 8 6 4 2 0 PC Top100000 iphone Top5000 以 iphone 页 面 为 例, 平 均 单 个 页 面 包 含 的 HTTPS 连 接 数 占 总 连 接 数 比 例 逐 年 增 长, 从 2012.1 的 5.5% 增 长 到 节 目 2014.6 的 12.8%, 年 增 长 率 约 为 40% PC 页 面 也 有 较 快 的 增 长 率, 年 增 长 率 约 为 50% OTT 隐 私 加 密 是 一 种 趋 势, 使 用 更 多 的 HTTPS 连 接, 将 对 部 分 基 于 HTTP 流 的 解 决 方 案 产 生 影 响 11
3 视 频 业 务 特 征 与 趋 势 3.1 优 酷 和 YouTube 网 站 基 本 特 征 图 3-1 优 酷 和 YouTube 分 辨 率 与 基 本 特 征 数 据 来 源 :mlab YouTube 最 新 版 本 在 3G 环 境 下 可 选 分 辨 率 为 240p 和 360p, 在 4G 与 WiFi 环 境 下 可 选 分 辨 率 为 360p 和 720p 优 酷 和 YouTube 网 站 均 采 用 H.264 编 码, 平 均 比 特 率 分 布 在 一 个 相 对 固 定 区 间 内, 从 2012 年 至 今 基 本 稳 定 12
Bitrate(Kbps) 3.2 YouTube 720p 视 频 码 率 大 部 分 分 布 在 1.5Mbps 到 3Mbps 之 间 图 3-2 YouTube 720p 视 频 码 率 分 布 图 3500 视 频 码 率 散 点 图 3000 2500 2000 1500 1000 500 0 0 20 40 60 80 100 从 散 点 图 来 看, 视 频 码 率 大 部 分 分 布 在 1.5Mbps 到 3Mbps 之 间, 为 视 频 平 均 比 特 率 2.2Mbps 的 正 负 35% 区 间 内 YouTube 95% 的 720p 视 频 码 率 小 于 3Mbps 其 中 1-2Mbps 和 2-3Mbps 码 率 的 视 频 各 占 据 了 约 45% 的 片 源 13
Duration(s) 3.3 视 频 平 均 时 长 趋 势 平 稳 图 3-3 视 频 平 均 时 长 趋 势 1000 900 800 700 600 500 400 优 酷 YouTube 300 200 100 0 YouTube 平 均 时 长 约 为 700s, 且 从 2012 年 至 今 基 本 稳 定 优 酷 的 平 均 时 长 则 从 2012 的 300s, 跳 增 到 目 前 的 700s, 推 测 由 于 2013 年 电 视 剧 美 剧 的 大 量 引 进 以 及 部 分 影 视 剧 版 权 的 到 期 14
3.4 短 于 5 分 钟 视 频 占 一 半 比 例 图 3-4 2014 年 H1 YouTube 视 频 时 长 分 布 5% 3% 7% 15% 25% 45% <1min 1-5mins 5-10mins 10-30mins 30-60mins >60mins 短 视 频 是 主 力 片 源, 以 2014H1 的 样 本 来 说, 视 频 时 长 小 于 5 分 钟 的 片 源 占 据 了 52% 的 比 例, 小 于 10 分 钟 的 视 频 比 例 则 达 到 了 77% 从 2012 至 今, 视 频 时 长 小 于 5 分 钟 比 例 逐 年 略 有 减 少,5-10 分 钟 视 频 比 例 略 有 增 加 15
Percent(%) 3.5 高 超 清 视 频 占 比 逐 渐 增 加 图 3-5 优 酷 具 有 高 超 清 分 辨 率 视 频 的 比 例 100 90 80 70 60 50 40 高 清 超 清 30 20 10 0 优 酷 具 有 高 清 分 辨 率 的 视 频 比 例 从 2012 年 底 迅 速 增 加, 目 前 达 到 约 85% 优 酷 具 有 超 清 分 辨 率 的 视 频 比 例 也 逐 年 升 高, 目 前 大 约 为 50% 左 右, 也 就 是 说 平 均 两 个 优 酷 视 频 就 有 一 个 可 以 选 择 超 清 分 辨 率 16
3.6 YouTube 视 频 流 加 密 可 能 对 相 关 视 频 优 化 方 案 产 生 影 响 图 3-6 旧 版 未 加 密 的 视 频 传 输 流, 可 以 识 别 视 频 url 与 内 容 数 据 来 源 : 华 为 mlab 图 3-7 新 版 加 密 的 视 频 传 输 流, 已 无 法 识 别 视 频 url 与 内 容 数 据 来 源 : 华 为 mlab 安 卓 版 YouTube 应 用 ( 版 本 号 :5.6 及 以 上 ) 已 采 用 视 频 流 加 密 传 输 的 机 制, 而 用 户 交 互 部 分 是 从 较 早 版 本 就 加 密 传 输 的, 现 在 仅 图 片 仍 采 用 HTTP 传 输 17
加 密 传 输 视 频 流, 会 对 当 前 的 大 部 分 视 频 解 决 方 案 产 生 重 大 的 影 响 : 因 为 视 频 解 决 方 案 主 要 基 于 视 频 url 的 匹 配 或 者 视 频 文 件 的 内 容 匹 配, 而 在 加 密 传 输 之 后, 无 论 视 频 url 或 者 视 频 文 件 都 是 对 管 道 不 可 见, 导 致 视 频 解 决 方 案 失 效 4 微 博 业 务 特 征 与 趋 势 4.1 普 通 用 户 占 据 9 成 以 上 图 4-1 微 博 样 本 中 用 户 分 布 比 例 个 人 用 户 91.43% 机 构 VIP 0.68% 个 人 VIP 达 人 用 户 0.71% 7.18% 个 人 用 户, 大 多 为 普 通 用 户, 也 包 括 一 些 未 获 取 任 何 认 证 但 拥 有 大 量 粉 丝 的 用 户, 占 据 了 9 成 以 上 达 人 用 户, 一 般 是 个 人 用 户 中 的 活 跃 分 子, 具 有 达 人 标 示, 微 博 与 粉 丝 数 明 显 高 于 普 通 个 人 用 户 18
个 人 VIP, 微 博 认 证 用 户, 一 般 为 各 行 业 比 较 有 影 响 力 的 用 户, 粉 丝 数 较 多 机 构 VIP, 目 前 包 括 政 府 官 方 企 业 官 方 网 站 官 方 等 机 构 认 证 申 请 4.2 个 人 VIP 影 响 最 大 图 4-2 不 同 类 型 用 户 平 均 发 微 博 数 4000 3500 3000 2500 2000 1500 1000 500 0 个 人 用 户 达 人 用 户 个 人 VIP 机 构 VIP 图 4-3 不 同 类 型 用 户 平 均 粉 丝 数 35000 30000 25000 20000 15000 10000 5000 0 个 人 用 户 达 人 用 户 个 人 VIP 机 构 VIP 19
字 数 ( 个 ) 微 博 四 类 用 户 中, 个 人 VIP 虽 然 所 占 比 例 最 低, 但 是 微 博 数 粉 丝 数 均 高 于 其 他 用 户, 影 响 力 较 大 4.3 微 博 平 均 字 数 为 71 100 图 4-4 不 同 类 型 用 户 微 博 平 均 字 数 趋 势 90 80 70 60 个 人 用 户 个 人 VIP 50 40 微 博 平 均 字 数 有 小 幅 增 长 趋 势, 个 人 VIP 用 户 微 博 平 均 字 数 大 于 个 人 用 户 结 合 用 户 比 例, 通 过 加 权 计 算, 目 前 微 博 平 均 字 数 为 :71 20
比 例 (%) 4.4 微 博 含 图 片 比 例 为 72.45% 图 4-5 不 同 类 型 用 户 微 博 含 图 片 趋 势 90 85 80 75 70 65 60 个 人 用 户 个 人 VIP 55 50 45 40 微 博 含 图 片 比 例 整 体 平 稳, 略 有 提 升, 个 人 VIP 发 带 图 片 微 博 的 比 例 高 于 其 他 个 人 用 户 结 合 用 户 比 例, 通 过 加 权 计 算, 目 前 微 博 含 图 片 比 例 为 72.45% 21
百 分 比 (%) 4.5 微 博 为 转 发 的 比 例 为 56.78% 图 4-6 不 同 类 型 用 户 微 博 为 转 发 的 比 例 趋 势 80 75 70 65 60 55 50 个 人 用 户 个 人 VIP 45 40 35 30 普 通 个 人 用 户 转 发 微 博 的 比 例 略 高 于 个 人 VIP, 转 发 比 例 大 体 平 稳 结 合 用 户 比 例, 通 过 加 权 计 算, 目 前 微 博 为 转 发 的 比 例 为 56.78% 22
5 附 录 5.1 关 于 报 告 本 研 究 报 告 由 华 为 mlab 撰 写, 报 告 中 提 供 的 信 息 仅 供 参 考 报 告 根 据 MBB Robot 网 络 爬 虫 工 具 获 取 Web 视 频 和 微 博 样 本 进 行 数 据 分 析 在 大 量 样 本 的 前 提 下, 尽 可 能 客 观 的 反 映 这 几 类 业 务 的 特 征 及 发 展 趋 势, 但 并 不 保 证 报 告 所 述 信 息 的 准 确 性 和 完 整 性 5.2 报 告 数 据 来 源 http://www.alexa.com/topsites 关 于 全 球 网 站 的 排 名 顺 序 MBB Robot 网 站 数 据 来 源 : 主 要 使 用 定 期 运 行 的 爬 虫 脚 本, 收 集 业 界 OTT 如 优 酷 YouTube 和 新 浪 微 博 的 业 务 特 征, 同 时 利 用 一 些 开 放 的 网 页 特 征 数 据 库, 不 断 丰 富 和 完 善 我 们 的 数 据 库 查 询 系 统 : 根 据 业 务 类 型 不 同, 提 供 了 以 时 间 维 度 为 主, 网 站 区 域 用 户 等 不 同 角 度 的 特 征 与 趋 势 查 询, 也 可 以 用 来 进 行 未 来 网 络 的 话 务 预 测 5.3 联 系 方 式 本 文 作 者 : 王 峰 /00207791 wangfeng.sh@huawei.com mlab(mbb lab) 联 系 方 式 :MBBlab@huawei.com 23
5.4 免 责 声 明 本 分 析 报 告 由 华 为 mlab 撰 写, 报 告 中 提 供 的 信 息 仅 供 参 考 由 于 OTT 业 务 的 快 速 发 展, 华 为 mlab 保 留 后 续 更 改 本 文 中 相 关 描 述 的 权 利 ; 且 不 对 更 改 造 成 的 一 切 影 响 负 责 本 报 告 不 能 作 为 投 资 研 究 决 策 的 依 据, 不 能 作 为 道 义 的 责 任 的 和 法 律 的 依 据 或 者 凭 证, 无 论 是 否 已 经 明 示 或 者 暗 示 mlab 将 随 时 补 充 更 正 和 修 订 有 关 信 息, 但 不 保 证 及 时 发 布 对 于 本 报 告 所 提 供 信 息 所 导 致 的 任 何 直 接 的 或 者 间 接 的 投 资 盈 亏 后 果 不 承 担 任 何 责 任 本 报 告 版 权 为 华 为 mlab 所 有, 未 经 书 面 许 可, 任 何 机 构 和 个 人 不 得 以 任 何 形 式 翻 版 复 制 和 发 布 如 引 用 发 布, 需 注 明 出 处 为 华 为 mlab, 且 不 得 对 本 报 告 进 行 有 悖 原 意 的 引 用 删 节 和 修 改 24
A 专 业 术 语 名 词 解 释 Alexa Alexa.com 是 一 个 发 布 网 站 世 界 排 名 的 网 站 HTTP HTTP-Hypertext transfer protocol, 超 文 本 传 输 协 议 JS JavaScript, 一 种 直 译 式 脚 本 语 言 CSS Cascading Style Sheets, 联 级 样 式 表 Html HyperText Markup language, 超 文 本 标 记 语 言 25