一种基于网络爬虫技术的价格指数编制模型

一 种 基 于 网 络 爬 虫 技 术 的 价 格 指 数 编 制 模 型 国 家 统 计 局 城 市 社 会 经 济 调 查 司 孙 易 冰 刘 洪 波 赵 子 东 摘 要 近 年 来, 大 数 据 技 术 在 信 息 技 术 领 域 获 得 了 巨 大 成 功 的 同 时, 也 给 传 统 统 计 学 带 来 了 冲 击 本 文 结 合 实 际, 参 照 CPI 指 数 编 制 模 型, 提 出 了 一 种 基 于 网 络 爬 虫 技 术 的 价 格 指 数 编 制 模 型, 并 进 行 了 实 证 分 析 通 过 与 官 方 数 据 对 比, 计 算 结 果 较 为 合 理, 证 明 了 该 种 计 算 模 型 的 可 行 性 关 键 词 : 大 数 据 网 络 爬 虫 价 格 指 数 中 国 电 子 商 务 研 究 中 心 发 布 的 报 告 显 示,2013 年 中 国 网 络 零 售 市 场 交 易 规 模 达 1.85 万 亿 元, 占 社 会 消 费 品 零 售 总 额 的 8% 2013 年 10 月 份 我 国 社 会 消 费 品 日 均 零 售 额 为 693 亿 元, 阿 里 巴 巴 一 家 在 11.11 促 销 活 动 中 交 易 额 突 破 350 亿 火 爆 的 网 络 销 售 给 零 售 业 带 来 冲 击 的 同 时, 也 给 价 格 统 计 部 门 带 来 了 挑 战, 如 何 利 用 大 数 据 完 善 价 格 指 数 编 制 工 作 一 相 关 背 景 当 前, 国 外 学 术 界 和 电 商 都 在 参 照 居 民 消 费 价 格 指 数 ( 以 下 简 称 CPI) 编 制 方 法, 积 极 开 展 大 数 据 条 件 下 的 网 络 价 格 指 数 计 算 基 于 不 同 的 数 据 获 取 方 式, 有 以 下 两 种 方 式 : 1

( 一 ) 使 用 内 部 数 据 计 算 价 格 指 数 2008 年, 阿 里 巴 巴 公 司 推 出 阿 里 巴 巴 网 购 核 心 商 品 价 格 指 数 (aspi-core) 原 始 数 据 基 于 淘 宝 网 天 猫 网 支 付 宝 等 网 络 平 台, 权 重 基 于 淘 宝 网 支 付 宝 成 交 金 额 的 比 重, 分 成 11 个 大 类, 且 每 年 调 整 一 次 由 于 网 络 销 售 中 有 大 量 批 发 业 务, 所 以 该 指 数 并 不 是 纯 正 的 消 费 者 物 价 指 数, 而 是 一 个 结 合 了 批 发 零 售 消 费 等 多 种 市 场 行 为 的 综 合 类 价 格 指 数 图 1 阿 里 巴 巴 的 aspi-core ( 二 ) 使 用 外 部 数 据 计 算 价 格 指 数 麻 省 理 工 学 院 开 发 的 十 亿 价 格 项 目 ( Billion Price Project, 以 下 简 称 BPP) 是 通 过 爬 虫 技 术 计 算 价 格 指 数 的 成 功 典 范 该 项 目 每 天 从 网 上 抓 取 50 万 笔 商 品 价 格 信 息, 计 算 出 20 多 个 国 家 的 每 日 网 上 价 格 指 数 (Daily Online Price Index), 反 映 月 度 和 年 度 通 货 膨 胀 程 度 下 图 为 美 国 网 络 价 格 指 数 与 官 方 CPI 的 曲 线 图 可 以 清 晰 地 看 到 和 美 国 官 方 CPI 指 数 相 比, 该 指 数 表 现 出 了 极 好 的 相 关 度 2

图 2 美 国 网 络 价 格 指 数 与 官 方 CPI ( 三 ) 几 种 价 格 指 数 的 比 较 价 格 指 数 的 计 算 和 统 计 制 度 抽 样 方 法 价 格 数 据 来 源 权 数 资 料 来 源 高 度 相 关 下 表 是 几 种 价 格 指 数 的 具 体 情 况 对 照 表 典 型 指 数 中 国 CPI 表 1 几 种 价 格 指 数 具 体 情 况 对 比 表 价 格 数 据 权 数 资 料 典 型 指 数 指 数 计 算 方 法 获 取 方 式 获 取 方 式 中 国 国 家 统 城 乡 居 民 家 庭 消 人 工 采 价 链 式 拉 式 公 式 计 局 费 支 出 调 查 获 取 数 据 量 定 时 调 查 淘 宝 ispi 淘 宝 网 内 部 数 据 库 内 部 精 确 销 量 链 式 拉 式 公 式 全 时 间 段 数 据 BPP 价 格 指 数 美 国 麻 省 理 工 学 院 网 络 爬 虫 抓 取 数 据 参 照 美 国 劳 工 局 相 关 权 数 资 料 链 式 拉 式 公 式 某 时 间 点 价 格 从 上 表 可 以 看 出, 基 本 上 指 数 编 制 方 法 都 是 基 于 链 式 拉 式 指 数, 主 要 区 别 在 价 格 和 权 数 数 据 获 取 方 式 鉴 于 官 方 统 计 部 门 难 以 获 得 电 商 详 细 数 据, 参 照 BPP 指 数 编 制 方 法, 采 取 外 部 数 据 获 取 方 式 是 一 种 合 理 的 选 择 二 基 于 网 络 爬 虫 技 术 的 价 格 指 数 计 算 模 型 1921 年 美 国 劳 工 统 计 局 发 布 美 国 城 市 平 均 价 格 指 数 以 来, CPI 编 制 已 经 有 接 近 100 年 的 历 史 为 坚 持 科 学 性 和 延 续 性, 价 格 统 计 部 门 利 用 大 数 据 技 术 编 制 价 格 指 数 必 须 结 合 实 际, 参 照 现 3

有 的 编 制 方 法, 客 观 评 估 数 据 获 取 手 段 和 数 据 质 量, 设 计 具 体 的 计 算 方 法 ( 一 ) 系 统 架 构 结 合 我 国 实 际, 参 照 BPP 架 构, 设 计 了 基 于 网 络 爬 虫 技 术 的 消 费 价 格 指 数 计 算 模 型 的 整 体 系 统 架 构 如 图 3 所 示 基 于 网 络 爬 虫 技 术 抓 取 网 络 电 商 数 据 从 非 结 构 化 数 据 中 提 取 结 构 化 数 据 计 算 基 本 分 类 日 度 价 格 指 数 图 3 系 统 架 构 CPI 价 格 调 查 中 采 价 工 作 以 人 工 为 主, 遵 循 三 定 一 直 ( 定 人 定 时 定 点, 直 接 调 查 ) 原 则 由 于 程 序 具 有 客 观 性, 隐 含 着 定 人, 定 点 和 直 接 调 查 的 原 则, 并 且 可 通 过 定 时 抓 取 网 络 数 据, 确 保 定 时 要 求 综 上, 通 过 网 络 爬 虫 技 术 可 确 保 采 价 的 三 定 一 直 原 则 ( 二 ) 基 于 网 络 爬 虫 技 术 抓 取 网 络 电 商 数 据 网 络 爬 虫 (Network Spider) 技 术 已 经 在 以 Google 百 度 为 代 表 的 网 络 搜 索 业 中 取 得 广 泛 应 用, 获 得 了 巨 大 成 功 网 络 爬 虫 其 实 是 基 于 网 络 的 程 序, 从 指 定 的 网 页 出 发, 通 过 分 析 网 页 内 的 标 记 结 构, 获 取 指 向 其 它 页 面 的 超 级 链 接, 然 后 通 过 既 定 的 搜 索 策 略 选 择 下 一 个 要 访 问 的 站 点 理 论 上, 如 果 指 定 适 当 的 初 始 页 面 集 和 网 络 搜 索 策 略, 网 络 爬 虫 就 可 以 遍 历 整 个 网 络 下 图 是 网 络 爬 虫 处 理 流 程 4

图 4 网 络 爬 虫 处 理 流 程 ( 三 ) 从 非 结 构 化 文 本 中 提 取 结 构 化 数 据 由 于 关 系 型 数 据 库 的 广 泛 应 用, 结 构 化 数 据 的 处 理 已 经 获 得 了 巨 大 的 成 功, 而 半 结 构 化 数 据 ( 网 页 非 结 构 化 文 本 ) 和 非 结 构 化 数 据 ( 视 频 音 频 等 多 媒 体 数 据 ) 尚 未 取 得 突 破 性 进 展 工 程 实 践 中, 大 数 据 处 理 的 数 据 中 半 结 构 化 和 非 结 构 化 数 据 占 据 95% 以 上 比 例, 客 观 上 给 大 数 据 的 应 用 带 来 了 实 际 困 难 鉴 于 电 商 网 站 均 是 通 过 HTML 类 型 的 网 页 文 件 发 布 信 息, 所 以 可 通 过 应 用 正 则 表 达 式 处 理 此 类 非 结 构 化 数 据 正 则 表 达 式 使 用 单 个 字 符 串 来 描 述 匹 配 一 系 列 符 合 某 个 句 法 规 则 的 字 符 串 5

例 如 表 达 式 ^\d{n}$ 用 来 匹 配 n 位 数 字, 即 可 以 匹 配 108 44455 等 数 字 通 过 合 理 设 计 语 法 处 理 程 序 和 正 则 表 达 式, 可 以 实 现 从 非 结 构 化 数 据 中 提 取 出 关 键 信 息 三 实 证 分 析 在 Linux 环 境 下 采 用 Perl 编 写 网 络 爬 虫 和 指 数 计 算 程 序 程 序 设 置 每 天 上 午 9:00 定 时 运 行 为 简 化 处 理, 实 证 中 仅 处 理 京 东 商 城 中 手 机 规 格 品 价 格 数 据, 未 考 虑 促 销 等 情 况 ( 一 ) 原 始 数 据 程 序 从 5 月 12 日 -6 月 30 日 累 计 抓 取 10GB 数 据, 日 数 据 量 在 200MB 左 右 通 过 分 析, 我 们 发 现, 基 于 网 络 爬 虫 技 术 获 取 的 数 据 有 以 下 特 点 1 数 据 信 息 有 限 作 为 外 部 数 据 获 得 者, 网 络 爬 虫 技 术 获 得 的 数 据 信 息 比 较 有 限, 仅 限 于 手 机 型 号 价 格 有 无 货, 评 论 数 量 等, 无 法 获 取 关 键 的 的 销 售 量 数 据, 客 观 上, 计 算 价 格 指 数 存 在 巨 大 困 难 表 2 是 程 序 抓 取 的 京 东 商 城 6 月 30 日 手 机 销 售 信 息 表 2 网 络 爬 虫 抓 取 的 6 月 30 日 京 东 商 城 手 机 销 售 信 息 序 号 手 机 型 号 价 格 ( 元 ) 有 无 货 好 评 中 评 差 评 1 2 3 三 星 B309i 电 信 手 机 ( 黑 色 )CDMA 苹 果 iphone4s 8GB 版 白 色 三 星 Galaxy S4 I9300 云 石 白 168.00 有 26939 1415 428 2448.00 有 54243 2453 1822 1899.00 有 39131 1873 982 2 商 品 数 量 丰 富 通 过 长 期 跟 踪, 我 们 认 为 京 东 商 城 销 售 的 手 机 规 格 品 数 量 极 为 丰 富, 且 数 量 波 动 极 为 剧 烈 日 均 销 售 的 6

日 期 2014/5/13 2014/5/15 2014/5/17 2014/5/19 2014/5/21 2014/5/23 2014/5/25 2014/5/27 2014/5/29 2014/5/31 2014/6/2 2014/6/4 2014/6/6 2014/6/8 2014/6/10 2014/6/12 2014/6/14 2014/6/16 2014/6/18 2014/6/20 2014/6/22 2014/6/24 2014/6/26 2014/6/28 日 期 2014/5/13 2014/5/15 2014/5/17 2014/5/19 2014/5/21 2014/5/23 2014/5/25 2014/5/27 2014/5/29 2014/5/31 2014/6/2 2014/6/4 2014/6/6 2014/6/8 2014/6/10 2014/6/12 2014/6/14 2014/6/16 2014/6/18 2014/6/20 2014/6/22 2014/6/24 2014/6/26 2014/6/28 手 机 类 型 在 3000 款 左 右, 基 本 涵 盖 市 场 上 出 现 的 各 种 手 机 型 号 图 5 是 5 月 13 日 -6 月 30 日 销 售 数 量 图 单 位 ( 个 ) 4000 5 月 13 日 -6 月 30 日 有 挂 牌 价 格 的 手 机 数 量 3500 3000 2500 2000 1500 1000 500 0 图 5 5 月 13 日 -6 月 30 日 有 挂 牌 价 格 的 手 机 数 量 3 价 格 波 动 剧 烈 和 消 费 者 感 受 一 致, 电 商 销 售 价 格 波 动 极 为 剧 烈 图 6 是 一 段 时 间 内 京 东 商 城 的 手 机 算 术 平 均 价 单 位 ( 元 ) 1040 1020 1000 980 960 940 920 900 880 860 840 5 月 13 日 -6 月 30 日 京 东 商 城 手 机 算 术 平 均 值 图 6 5 月 13 日 -6 月 30 日 京 东 商 城 手 机 算 术 平 均 价 4 缺 货 现 象 严 重 区 别 于 传 统 实 体 店, 由 于 电 商 销 售 采 取 预 定 等 销 售 策 略, 通 过 控 制 供 应 链, 库 存 管 理 极 为 灵 活, 经 常 出 现 缺 货 现 象 以 2014 年 7 月 1 日 为 例, 当 天 全 部 销 售 的 手 机 3655 款, 其 中 2477 款 手 机 有 货,1178 款 手 机 无 货 波 动 也 极 为 剧 烈, 以 2014 年 7 月 12 日 为 例, 上 午 有 2424 款 手 机 有 货, 而 下 午 则 7

变 成 2399 款 手 机 有 货 综 合 以 上 特 点, 我 们 认 为, 基 于 网 络 爬 虫 抓 取 的 价 格 数 据 呈 现 出 和 传 统 人 工 采 集 的 数 据 截 然 不 同, 有 明 显 的 大 数 据 特 征, 客 观 上 要 求 我 们 采 取 全 新 的 方 法 进 行 指 数 计 算 ( 二 ) 价 格 数 据 分 布 检 验 设 计 价 格 指 数 前 提 是 研 究 对 象 的 分 布 以 京 东 商 城 2014 年 6 月 1 日 当 天 的 手 机 销 售 价 格 作 为 研 究 对 象, 当 天 手 机 品 种 共 3655 种 1 分 位 比 较 图 检 验 (Quantile-quantile plot) 采 用 QQ 图 检 验, 如 果 样 本 数 据 服 从 正 态 分 布, 则 样 本 点 应 该 围 绕 在 第 一 象 限 的 对 角 线 上, 对 角 线 为 标 准 正 态 分 布 理 论 线, 否 则 不 符 合 正 态 分 布 图 7 是 采 用 R 语 言 生 成 的 当 天 价 格 分 布 QQ 图 图 7 6 月 1 日 京 东 商 城 手 机 价 格 QQ 图 从 QQ 图 分 析, 由 于 样 本 点 明 显 不 在 一 条 直 线 上, 所 以 当 天 的 手 机 价 格 无 法 通 过 正 态 分 布 检 验 2 Shapiro Wilk 检 验 S.S.Shapiro 与 M.B.Wilk 提 出 用 8

顺 序 统 计 量 W 来 检 验 分 布 的 正 态 性, 对 研 究 的 对 象 总 体, 先 提 出 假 设 认 为 总 体 服 从 正 态 分 布, 再 将 样 本 量 为 n 的 样 本 按 大 小 顺 序 排 列 编 秩, 然 后 由 确 定 的 显 著 性 水 平 α, 以 及 根 据 样 本 量 为 n 时 所 对 应 的 系 数 αi, 根 据 特 定 公 式 计 算 出 检 验 统 计 量 W 最 后 查 特 定 的 正 态 性 W 检 验 临 界 值 表, 比 较 它 们 的 大 小, 满 足 条 件 则 接 受 假 设, 认 为 总 体 服 从 正 态 分 布, 否 则 拒 绝 假 设, 认 为 总 体 不 服 从 正 态 分 布 计 算 结 果 是,W = 0.6442, p-value < 2.2e-16 由 于 p-value 远 小 于 0.05, 可 认 为 京 东 商 城 当 天 的 手 机 销 售 价 格 无 法 通 过 正 态 分 布 检 验 综 合 两 种 检 验, 可 得 出 结 论, 同 一 天 内 的 京 东 手 机 价 格 无 法 通 过 正 态 分 布 检 验, 有 明 显 的 偏 度 特 征 ( 三 ) 日 度 价 格 指 数 算 法 初 级 指 数 算 法 的 设 计 目 标 是 尽 量 无 偏, 典 型 的 初 级 指 数 算 法 有 算 术 平 均 值 几 何 平 均 值 中 位 数 中 位 数 和 加 权 算 术 平 均 值 等 不 同 的 算 法 其 中 几 何 平 均 数 对 大 量 样 本 的 无 偏 效 果 最 好 鉴 于 同 一 天 的 手 机 价 格 无 法 通 过 正 态 分 布 检 验, 有 明 显 的 偏 度 特 征 综 合 考 虑 各 种 因 素, 以 几 何 平 均 数 算 法 为 基 础, 参 照 我 国 CPI 制 度, 设 计 了 日 度 价 格 指 数 算 法, 先 计 算 每 一 规 格 品 ( 下 面 以 手 机 为 例 ) 的 价 格 变 化, 再 用 无 加 权 的 几 何 平 均 方 法 计 算 整 体 基 本 分 类 价 格 变 化 1 计 算 手 机 每 天 价 格 变 动 相 对 数 9

(1) 计 算 每 天 手 机 商 品 的 平 均 价 格, 即 把 从 不 同 电 商 网 站 采 集 的 同 一 手 机 产 品 价 格 简 单 平 均 p i t p p p i i i t,1 t,2 t, n n 其 中, p i t 为 手 机 产 品 i 在 第 t i 天 的 平 均 价 格, p, 在 某 一 电 商 网 站 的 价 格, n 为 电 商 网 站 的 数 量 (2) 计 算 第 t 天 的 手 机 产 品 价 格 变 动 相 对 数 tn 为 手 机 产 品 i 第 t 天 R i tt, 1 P P i t i t 1 i Rtt 其 中,, 1 为 手 机 产 品 i 在 第 t 天 的 价 格 变 动 相 对 数, i t 分 别 为 手 机 产 品 i 在 第 t 天 和 第 t 1的 平 均 价 格 均 2 计 算 手 机 某 日 环 比 价 格 指 数 P 和 P i t 1 即 是 把 所 有 手 机 产 品 某 天 的 价 格 变 动 相 对 数 无 加 权 几 何 平 R R R R m t 1 2 i t, t 1 t, t 1 t, t 1 t, t 1 R 其 中, tt, 1 为 手 机 在 第 t m 天 的 环 比 价 格 指 数, 为 第 t 天 样 本 中 手 t 机 产 品 的 数 量 3 计 算 手 机 月 度 平 均 定 基 价 格 指 数 (1) 计 算 第 t 天 的 手 机 定 基 价 格 指 数 L L R t,0 t 1,0 t, t 1 L 其 中, t,0 Lt 1,0 和 为 第 t 和 t 1天 的 手 机 定 基 价 格 指 数 (2) 计 算 手 机 的 月 度 平 均 定 基 价 格 指 数 10

L k L t,0 1 0 k 其 中, L 0 为 月 度 平 均 定 基 价 格 指 数, k 为 一 个 月 内 的 天 数 4 指 数 的 换 算 本 月 定 基 指 数 I环 比 100% 上 月 定 基 指 数 本 月 定 基 指 数 I同 比 100% 上 年 同 月 定 基 指 数 本 年 各 月 定 基 指 数 的 简 单 算 术 平 均 值 I 100% 年 度 上 年 各 月 定 基 指 数 的 简 单 算 术 平 均 值 ( 四 ) 数 据 计 算 结 果 传 统 CPI 计 算 中, 选 择 基 本 分 类 下 具 有 代 表 性 的 商 品 进 行 指 数 计 算, 例 如 在 手 机 分 类 下 选 择 当 地 销 量 最 好 的 5 款 手 机 纳 入 指 数 计 算 由 于 我 们 无 法 获 取 电 商 的 销 售 数 据, 只 能 通 过 评 论 数 来 近 似 认 为 高 评 论 数 的 手 机 即 是 销 量 较 好 的 手 机 产 品 为 做 好 对 比, 具 体 计 算 过 程, 采 取 以 下 两 种 方 案 : 1 按 照 每 天 评 论 数 排 名 前 5 的 手 机 产 品 计 算 指 数 按 照 每 天 评 论 数 排 名 前 5 的 手 机 产 品 计 算 指 数 得 出 5 月 13 日 -6 月 30 日 的 日 度 环 比 指 数 和 定 基 序 列, 如 图 8 和 图 9 所 示 11

日 期 2014/5/13 2014/5/15 2014/5/17 2014/5/19 2014/5/21 2014/5/23 2014/5/25 2014/5/27 2014/5/29 2014/5/31 2014/6/2 2014/6/4 2014/6/6 2014/6/8 2014/6/10 2014/6/12 2014/6/14 2014/6/16 2014/6/18 2014/6/20 2014/6/22 2014/6/24 2014/6/26 2014/6/28 日 期 2014/5/14 2014/5/17 2014/5/20 2014/5/23 2014/5/26 2014/5/29 2014/6/1 2014/6/4 2014/6/7 2014/6/10 2014/6/13 2014/6/16 2014/6/19 2014/6/22 2014/6/25 2014/6/28 100.8 100.6 100.4 100.2 100.0 99.8 99.6 99.4 99.2 99.0 图 8 京 东 每 天 评 论 排 名 前 5 的 手 机 规 格 品 日 度 价 格 环 比 100.2 100.0 99.8 99.6 99.4 99.2 99.0 98.8 图 9 京 东 评 论 最 高 的 五 个 手 机 规 格 品 日 度 价 格 定 基 图 根 据 算 法,5 月 份 的 月 度 定 基 是 99.94940863,6 月 份 的 月 度 定 基 是 99.6763147, 月 度 环 比 是 99.7( 保 留 1 位 小 数 ) 2 将 京 东 商 城 全 部 手 机 产 品 纳 入 指 数 计 算 将 京 东 商 城 全 部 手 机 产 品 纳 入 指 数 计 算, 得 出 5 月 13 日 -6 月 30 日 的 日 度 环 比 指 数 和 定 基 序 列, 如 图 10 和 图 11 所 示 12

日 期 2014/5/14 2014/5/17 2014/5/20 2014/5/23 2014/5/26 2014/5/29 2014/6/1 2014/6/4 2014/6/7 2014/6/10 2014/6/13 2014/6/16 2014/6/19 2014/6/22 2014/6/25 2014/6/28 日 期 2014/5/14 2014/5/17 2014/5/20 2014/5/23 2014/5/26 2014/5/29 2014/6/1 2014/6/4 2014/6/7 2014/6/10 2014/6/13 2014/6/16 2014/6/19 2014/6/22 2014/6/25 2014/6/28 101.0 100.5 100.0 99.5 99.0 98.5 98.0 97.5 97.0 图 10 全 部 手 机 规 格 品 的 日 度 价 格 环 比 指 数 图 102.0 100.0 98.0 96.0 94.0 92.0 90.0 88.0 86.0 84.0 图 11 全 部 手 机 规 格 品 日 度 价 格 定 基 图 根 据 算 法,5 月 份 的 月 度 定 基 是 98.26692055,6 月 份 的 月 度 定 基 是 93.38144937, 月 度 环 比 是 95.0( 保 留 1 位 小 数 ) 3 官 方 月 度 环 比 和 两 种 环 比 指 数 的 比 较 官 方 数 据 显 示 2014 年 6 月 全 国 移 动 电 话 价 格 总 水 平 环 比 是 99.8 下 表 是 三 个 指 数 对 照 表 官 方 手 机 月 度 环 比 指 数 表 3 三 个 月 度 环 比 指 数 对 照 表 京 东 评 论 前 5 名 手 机 月 度 环 比 指 数 京 东 全 部 手 机 月 度 环 比 指 数 99.8 99.7 95.0 13

通 过 对 比 三 个 指 数 和 具 体 运 行 情 况, 得 出 以 下 结 论 : (1) 上 述 指 数 计 算 方 案 总 体 可 行 官 方 CPI 指 数 和 以 5 个 规 格 品 为 样 本 的 指 数 结 果 相 差 较 小, 证 明 了 基 于 网 络 爬 虫 技 术 进 行 价 格 指 数 计 算 总 体 是 可 行 的 (2) 将 全 部 手 机 产 品 纳 入 指 数 计 算 并 不 科 学 将 全 部 手 机 价 格 纳 入 指 数 计 算, 月 度 环 比 跌 幅 远 大 于 官 方 CPI 和 5 个 规 格 品 的 月 度 指 数 具 体 从 单 品 价 格 序 列 看, 某 些 销 量 不 佳 的 产 品 通 过 快 速 降 价 抢 占 份 额, 而 受 消 费 者 欢 迎 的 产 品 ( 如 iphone 5S) 价 格 则 长 期 保 持 不 动, 结 果 代 表 性 不 佳 的 规 格 品 反 而 拉 低 了 月 度 环 比 价 格 指 数 (3) 日 度 价 格 指 数 具 有 高 灵 敏 度 从 日 度 价 格 环 比 指 数 来 看, 京 东 举 办 的 6.18 促 销 活 动 当 天, 两 个 日 度 环 比 指 数 数 值 (99.6 和 98.3) 分 别 为 各 自 区 间 内 的 最 低 值, 而 月 度 价 格 指 数 无 法 反 映 出 这 一 市 场 情 况 四 问 题 及 下 一 步 打 算 从 初 步 计 算 结 果 看, 基 于 网 络 爬 虫 技 术 的 消 费 价 格 指 数 计 算 模 型 总 体 可 行, 但 还 需 要 通 过 更 长 时 间 的 试 算 来 深 入 研 究 该 方 法 的 科 学 性, 具 体 评 估 参 数 的 设 置 ( 一 ) 存 在 的 问 题 1 页 面 解 析 复 杂 近 年 来 由 于 技 术 高 度 发 展, 网 络 电 商 采 用 的 网 络 技 术 复 杂 晦 涩, 信 息 高 度 冗 余 例 如, 京 东 商 品 页 面 大 小 平 均 为 4500KB, 有 用 信 息 仅 几 百 个 字 节, 提 取 出 有 用 信 息 极 14

为 困 难 同 时, 部 分 网 站 通 过 设 计 价 格 标 签 图 片 等 手 段 防 止 第 三 方 机 构 获 取 数 据 总 体 上 看, 技 术 门 槛 是 采 用 网 络 爬 虫 技 术 面 临 的 最 主 要 障 碍 2 网 站 频 繁 改 版 电 商 竞 争 激 烈, 经 常 通 过 网 站 改 版 等 技 术 手 段 吸 引 客 流 由 于 爬 虫 技 术 高 度 依 赖 于 文 本 解 析 策 略, 经 常 造 成 要 跟 随 网 站 的 新 版 面 设 计 新 的 解 析 策 略 实 践 中, 京 东 网 站 在 今 年 5 月 份 上 线 了 新 的 商 品 推 荐 系 统, 导 致 了 我 们 设 计 了 新 的 解 析 策 略 3 信 息 不 完 整 外 部 数 据 使 用 者 永 远 无 法 获 得 电 商 的 完 整 数 据 集 合, 例 如 无 法 获 取 真 实 的 销 售 量 就 给 计 算 价 格 指 数 带 来 了 无 法 克 服 的 困 难 同 时, 由 于 网 络 阻 塞, 网 站 安 全 策 略 技 术 屏 蔽 等 原 因, 客 观 上 导 致 使 用 网 络 爬 虫 获 取 的 数 据 完 整 性 缺 失 ( 二 ) 下 一 步 打 算 1 进 行 模 型 改 进 从 实 践 中 来 看, 上 述 模 型 中 的 等 权 计 算 方 法 需 要 改 进 尽 管 大 数 据 技 术 能 够 获 取 尽 可 能 多 的 商 品 信 息, 但 由 于 无 法 获 取 精 确 销 售 量, 所 以 等 权 计 算 方 法 存 在 失 真 下 一 步 工 作 中, 我 们 要 重 点 研 究 如 何 通 过 引 入 其 他 参 数 替 代 销 售 量, 逐 步 改 进 现 有 模 型 2 纳 入 质 量 调 整 价 格 指 数 工 作 中 最 核 心 的 工 作 是 质 量 调 整 查 阅 相 关 资 料, 我 们 发 现, 包 括 麻 省 理 工 学 院 在 内 的 学 术 界 对 大 数 据 下 价 格 指 数 的 质 量 调 整 方 法 都 语 焉 不 详, 阿 里 巴 巴 等 电 商 对 此 也 无 具 体 考 虑 下 一 步 工 作 中, 我 们 将 研 究 如 何 将 15

Hedonic 模 型 等 质 量 调 整 办 法 应 用 到 大 数 据 条 件 下 的 价 格 指 数 计 算 参 考 文 献 [1] 国 际 劳 工 组 织 国 际 货 币 基 金 等 组 织. 消 费 者 价 格 指 数 手 册 理 论 与 实 践. 中 国 财 政 经 济 出 版 社,2008 [2]Jeffery E.F. Friedl 著, 余 晟 译. 精 通 正 则 表 达 式 ( 第 3 版 ). 电 子 工 业 出 版 社,2008 [3]Mark Jason Dominus 著, 滕 家 海 译. 高 阶 Perl. 机 械 工 业 出 版 社,2013 [4] 薛 涌 陈 丽 萍 著. 统 计 建 模 与 R 软 件. 清 华 大 学 出 版 社, 2006 [5] 中 华 人 民 共 和 国 国 家 统 计 局 编. 中 国 主 要 统 计 指 标 诠 释 ( 第 2 版 ). 中 国 统 计 出 版 社,2013 16