清 华 大 学

Transcription

1 清 华 大 学 综 合 论 文 训 练 题 目 : 基 于 网 络 用 户 行 为 分 析 的 传 染 病 发 病 趋 势 研 究 系 专 姓 别 : 计 算 机 科 学 与 技 术 业 : 计 算 机 科 学 与 技 术 名 : 许 丹 青 指 导 教 师 : 刘 奕 群 助 理 研 究 员 2010 年 6 月 27 日

2

3

4

5 中 文 摘 要 近 年 来, 传 染 病 的 传 播 与 流 行 已 经 对 公 众 健 康 造 成 了 越 来 越 大 的 威 胁, 因 此, 对 传 染 病 发 病 趋 势 的 分 析 与 预 测 研 究 越 来 越 受 到 广 泛 的 重 视 随 着 互 联 网 的 广 泛 使 用, 搜 索 引 擎 已 经 成 为 当 今 获 取 信 息 的 主 要 渠 道 之 一, 而 搜 索 引 擎 用 户 行 为 也 相 应 的 成 为 人 们 分 析 社 会 热 点 事 件 和 群 体 用 户 兴 趣 的 重 要 载 体 传 染 病 传 播 作 为 一 种 社 会 性 的 事 件, 不 可 避 免 的 也 会 在 搜 索 用 户 行 为 中 有 所 反 映 本 文 基 于 某 中 文 商 业 搜 索 引 擎 收 集 的 海 量 规 模 用 户 查 询 日 志 与 万 维 网 访 问 日 志 对 用 户 行 为 中 反 映 的 传 染 病 传 播 事 件 进 行 分 析, 通 过 对 与 传 染 病 相 关 的 用 户 查 询 行 为 网 络 资 源 访 问 行 为 媒 体 报 道 行 为 等 的 挖 掘 实 现 来 对 传 染 病 发 病 趋 势 的 预 测 针 对 北 京 地 区 手 足 口 病 和 全 国 范 围 艾 滋 病 发 病 趋 势 的 预 测 实 验 说 明, 基 于 用 户 行 为 分 析 的 方 法 能 够 较 为 准 确 的 实 现 对 一 段 时 间 内 发 病 趋 势 的 预 测 这 一 研 究 成 果 将 会 对 一 些 季 节 性 传 染 病 和 慢 性 传 染 病 的 传 播 预 测 有 一 定 的 指 导 意 义 关 键 词 : 网 络 用 户 行 为 ; 传 染 病 预 测 ; 数 据 挖 掘 ; 搜 索 引 擎 I

6

7 ABSTRACT In recent years, seasonal epidemics have a tremendous threat on public health and predicting epidemic tendency by web information as a new method has received increasing attentions. With the widespread use of search engines, search engines has become an information acquisition portal, lots of information about user interests and social events including epidemic spreading can always be tracked from search engine user behaviors. Based on massive size of user query logs and web access logs from a widely-used Chinese commercial search engine, user search behavior reflecting epidemic spreading is analyzed. Here we present a method of mining user search behavior and predicting the future tendency of epidemic occurrences. These user behaviors mainly include search queries, web resources and web news. In our experiment, we establish appropriate models to predict the tendencies of HFMD and AIDS diseases. Our experimental result shows our method is effective in predicting some epidemics activities based on user behaviors analysis. We hope that the result may guide some seasonal or chromic epidemics studies. Keywords:User search behavior; Epidemic prediction; Data mining; Search engines II

8

9 目 录 第 1 章 引 言 研 究 背 景 研 究 现 状...4 第 2 章 基 于 特 征 选 取 的 前 期 研 究 数 据 集 的 选 取 特 征 的 前 期 研 究 特 征 描 述 特 征 提 取 特 征 之 间 的 关 系 第 3 章 基 于 模 型 拟 合 的 研 究 数 学 推 导 数 学 建 模 手 足 口 病 预 测 模 型 艾 滋 病 的 及 时 发 现 模 型 第 4 章 基 于 测 试 集 的 效 果 评 估 特 征 评 估 拟 合 效 果 评 估 简 单 的 流 程 系 统 的 搭 建 第 5 章 讨 论 和 总 结 讨 论 总 结 未 来 展 望 插 图 索 引 表 格 索 引 参 考 文 献 III

10 致 谢 声 明 附 录 A 外 文 资 料 的 书 面 翻 译 IV

11 第 1 章 引 言 1.1 研 究 背 景 近 年 来, 传 染 病 的 传 播 与 流 行 对 公 众 健 康 已 经 引 来 了 越 来 越 大 的 威 胁, 每 年 都 会 有 数 以 百 万 计 的 人 死 于 各 种 传 染 病 有 些 传 染 病 由 于 潜 伏 期 较 长 且 传 染 性 较 强, 发 病 现 象 比 较 严 重, 防 疫 卫 生 部 门 必 须 及 时 掌 握 其 发 病 情 况, 并 随 时 采 取 相 应 的 防 治 对 策 我 国 目 前 的 法 定 传 染 病 分 为 甲 乙 丙 3 类, 共 有 35 种 [1] 在 某 些 传 染 病 发 病 人 群 较 多 的 时 期, 卫 生 部 或 是 各 地 方 卫 生 防 疫 部 门 都 会 对 相 应 的 传 染 病 的 就 医 情 况 进 行 相 应 数 据 的 统 计, 使 得 人 们 可 以 了 解 当 前 的 发 病 数 据, 并 提 前 做 好 相 应 的 准 备 提 到 传 染 病, 不 论 是 2003 年 的 非 典 型 性 肺 炎 的 突 然 爆 发, 还 是 2009 年 甲 型 H1N1 流 感 的 大 规 模 流 行, 都 对 世 界 范 围 内 的 经 济 和 社 会 发 展 造 成 了 严 重 的 影 响, 引 起 了 人 们 的 恐 慌 此 外, 一 些 慢 性 传 染 病, 如 艾 滋 病 和 病 毒 性 肝 炎 等 传 染 病 由 于 其 传 播 途 径 的 多 样 性 和 早 期 症 状 的 隐 蔽 性 等 特 点, 目 前 的 医 学 水 平 还 不 能 对 其 进 行 根 治, 所 以 这 些 慢 性 疾 病, 一 旦 患 者 染 上, 可 能 就 会 有 声 明 危 险 等 情 况 的 发 生 这 些 传 染 病 也 多 年 来 成 为 了 传 染 病 研 究 界 的 难 题 由 于 其 具 有 的 不 确 定 性 和 危 害 性, 我 国 卫 生 部 已 经 将 这 些 传 染 病 的 防 治 列 入 了 十 二 五 科 技 重 大 专 项 多 年 来, 传 染 病 流 行 机 理 的 研 究 一 直 是 生 命 科 学 数 学 社 会 科 学 等 学 科 研 究 的 热 点, 前 人 的 研 究 主 要 集 中 在 对 传 播 方 式 进 行 数 学 建 模, 他 们 根 据 各 个 地 区 的 人 口 密 度 分 布 等 特 点, 对 不 同 传 染 病 进 行 不 同 传 播 方 式 的 建 模, 最 终 从 传 染 病 的 发 病 途 径, 传 播 方 式 上 对 传 染 病 的 传 播 加 以 控 制 [2] 随 着 互 联 网 的 快 速 发 展, 用 户 只 需 要 输 入 若 干 个 查 询 关 键 词, 搜 索 引 擎 就 会 返 回 一 系 列 相 关 的 网 络 资 源 供 用 户 参 考 和 选 择, 这 样 的 方 式 使 得 搜 索 引 擎 成 为 了 现 如 今 一 种 快 捷 的 获 取 信 息 的 一 种 方 式 与 此 同 时, 利 用 搜 索 引 擎 的 网 络 用 户 行 为 分 析 社 会 事 件 作 为 一 门 新 兴 学 科, 得 到 了 越 来 越 多 的 重 视, 计 算 社 会 学 应 运 而 生 现 如 今, 搜 索 引 擎 已 经 成 为 了 当 今 大 众 获 取 信 息 的 主 要 渠 道 之 一 很 多 的 网 络 用 户 当 遇 到 问 题 时 往 往 都 会 求 助 于 搜 索 引 擎 获 取 相 应 的 信 息, 因 此, 用 户 网 络 行 为 中 包 含 着 大 量 的 反 映 用 户 兴 趣 和 社 会 热 点 的 信 息, 通 过 对 用 户 行 为 日 志 进 行 提 取 和 挖 掘, 我 们 可 以 得 到 某 些 社 会 热 点 的 一 些 重 要 特 征 或 是 其 他 因 素 近 几 年, 越 来 越 多 的 学 者 致 力 于 社 会 热 点 挖 掘 的 研 究, 如 2003 年 李 晓 明 等 人 提 出 了 一 种 1

12 互 联 网 上 主 题 信 息 的 收 集 和 挖 掘 模 型, 运 用 这 个 模 型, 其 对 十 六 大 时 期 附 近 的 网 络 资 源 进 行 了 跟 踪 研 究, 并 得 出 了 对 社 会 科 学 类 研 究 具 有 一 定 的 参 考 价 值 的 结 论 [3] 由 于 传 染 病 的 传 播 也 可 以 作 为 一 个 社 会 事 件, 因 此, 其 的 传 播 途 径 或 是 其 他 特 征 也 应 该 会 在 用 户 网 络 行 为 中 有 所 反 映 例 如, 很 多 在 潜 伏 期 表 现 出 轻 微 类 症 状 的 潜 在 患 者 都 会 倾 向 于 首 先 在 互 联 网 上 查 询 该 症 状 反 映 的 病 情 以 及 治 疗 方 式 等, 这 种 用 户 行 为 信 息 也 成 为 我 们 发 现 乃 至 预 测 传 染 病 发 病 与 流 行 趋 势 的 重 要 依 据 从 医 学 角 度 而 言, 传 染 病 的 发 病 主 要 分 为 潜 伏 期 和 发 病 期 两 个 阶 段 潜 伏 期 是 指 病 原 体 侵 入 人 体 到 出 现 临 床 症 状 的 时 期, 各 种 传 染 病 的 潜 伏 期 都 不 相 同, 有 的 只 需 要 数 小 时, 有 的 可 能 会 达 到 几 年 以 上 例 如 季 节 性 传 染 病 手 足 口 病 的 潜 伏 期 是 2-7 天, 而 艾 滋 病 的 潜 伏 期 是 平 均 潜 伏 期 为 10 年 本 文 中, 我 们 将 开 始 出 现 临 床 症 状 的 那 段 时 期 称 为 潜 伏 期 晚 期, 一 般 情 况 下 病 人 在 刚 出 现 这 样 的 症 状 时, 不 会 立 即 就 医 确 诊, 而 是 患 者 会 根 据 目 前 的 发 病 情 况, 提 交 相 应 的 症 状 查 询 词 给 搜 索 引 擎, 从 而 了 解 此 类 症 状 的 基 本 情 况 和 治 疗 方 式 等, 之 后 再 决 定 是 否 要 到 医 院 进 行 治 疗 下 面 借 助 于 一 个 手 足 口 病 的 病 例 来 分 析 传 染 病 患 者 由 潜 在 期 到 最 终 确 诊 的 整 个 流 程 : 如 某 幼 儿 出 现 了 轻 微 的 类 手 足 口 病 症 状 ( 我 们 称 其 为 一 个 潜 在 患 者 ), 他 / 她 父 母 很 焦 虑, 将 第 一 时 间 通 过 搜 索 引 擎 获 取 该 症 状 的 相 关 信 息 及 其 治 疗 方 式 等, 一 段 时 间 之 后, 如 果 症 状 加 重, 他 / 她 父 母 决 定 去 医 院 进 行 治 疗, 随 后 该 幼 儿 被 确 诊 为 手 足 口 病 病 例, 这 样, 医 院 将 该 病 例 报 告 给 当 地 的 收 集 传 染 病 数 据 的 疾 病 控 制 中 心, 控 制 中 心 经 过 一 段 时 间 的 统 计 之 后 在 官 方 网 站 上 给 出 当 期 的 发 病 人 数 图 1.1 显 示 了 一 个 潜 在 患 者 ( 或 是 其 家 属 ) 与 搜 索 引 擎 交 互 的 整 个 过 程 图 1.1 中, 我 们 主 要 将 用 户 的 交 互 过 程 分 为 了 两 部 分 : 潜 伏 期 ( 图 1.1 标 为 紫 色 的 部 分 ), 发 病 期 ( 图 1.1 标 为 红 色 的 部 分 ) 通 过 图 1.1 可 以 看 到, 在 潜 伏 期, 当 用 户 患 有 某 些 传 染 病 疑 似 症 状 时, 大 多 数 情 况 下 用 户 将 首 先 通 过 搜 索 引 擎 获 取 部 分 信 息, 如 基 本 情 况, 治 疗 方 式 等, 之 后 的 一 段 时 间, 用 户 会 自 己 对 进 行 观 察, 有 的 患 者 不 属 于 此 传 染 病 的 范 畴 或 是 病 原 体 没 有 侵 入 很 深, 则 直 接 痊 愈, 而 另 外 的 真 正 的 患 者 继 续 出 现 该 症 状 甚 至 症 状 严 重, 这 时 候 他 们 将 重 新 到 搜 索 引 擎 进 行 查 询 2

13 患 有 轻 微 类 症 状 使 用 搜 索 引 擎 获 得 信 息 ( 如 治 疗 方 式, 症 状 情 况 等 ) 病 情 好 转 病 情 加 重 痊 愈 再 次 使 用 搜 索 引 擎 获 得 信 息 到 医 院 进 行 就 医 得 到 确 诊 报 告 给 当 地 的 卫 生 官 方 部 门 卫 生 官 方 网 站 公 布 统 计 图 1.1 潜 在 用 户 与 搜 索 引 擎 的 交 互 整 个 过 程 然 而, 从 某 种 意 义 上 讲, 这 两 次 查 询 的 意 图 是 不 同 的, 用 户 第 二 次 查 询 更 希 望 可 以 通 过 搜 索 引 擎 得 到 该 传 染 病 的 目 前 情 况 是 否 严 峻, 或 是 寻 找 就 近 医 院 的 相 关 信 息 当 患 者 被 医 院 确 诊 之 后, 医 院 会 同 时 将 该 患 者 数 据 汇 报 给 当 地 的 官 方 卫 生 统 计 部 门, 官 方 统 计 人 员 进 行 一 段 时 间 的 数 据 整 理 和 统 计, 在 其 官 方 网 站 或 者 通 过 其 他 方 式 给 出 目 前 疫 情 的 发 展 趋 势 通 常 情 况 下, 官 方 网 站 给 出 疫 情 数 据 要 延 迟 2 周 左 右, 再 加 之, 一 般 用 户 有 某 种 发 病 潜 在 症 状 时 并 没 有 直 接 到 医 院 接 收 诊 断, 而 是 在 经 过 一 段 时 间 之 后, 如 果 病 情 加 重 才 会 选 择 就 医 这 样 的 因 素 也 在 一 定 程 度 上 导 致 卫 生 官 方 部 门 当 期 的 统 计 数 据 相 对 于 疫 情 发 展 情 况 更 大 的 延 迟 通 过 图 1.1 我 们 可 以 看 到, 使 用 搜 索 引 擎 行 为 对 于 疫 情 进 行 发 现 在 时 间 上 可 以 远 3

14 早 于 确 诊 点 的 病 情 汇 报 而 且 网 络 日 志 的 延 迟 很 小 ( 至 多 延 迟 一 天 用 户 对 整 天 用 户 查 询 词 的 统 计 ), 因 此, 我 们 可 以 通 过 对 网 络 日 志 进 行 有 效 的 特 征 提 取, 从 而 对 疫 情 做 到 及 时 发 现 或 是 提 前 预 测 对 于 传 染 病 而 言, 越 早 发 现, 越 容 易 控 制, 所 以 提 早 对 疫 情 趋 势 进 行 预 测 有 着 很 重 要 的 意 义 1.2 研 究 现 状 随 着 互 联 网 在 中 国 的 蓬 勃 发 展, 越 来 越 多 的 人 利 用 互 联 网 得 到 自 己 需 要 的 信 息 据 统 计, 直 至 2010 年 初, 中 国 网 民 已 达 到 了 3.84 亿, 位 于 全 球 首 位 [4] 搜 索 引 擎 作 为 网 民 最 主 要 的 获 取 信 息 的 途 径 之 一, 其 包 含 的 信 息 资 源 也 成 为 了 研 究 用 户 交 互 行 为 的 一 种 重 要 的 资 源 搜 索 引 擎 根 据 用 户 输 入 的 少 数 关 键 词 来 为 用 户 提 供 尽 可 能 多 的 信 息, 其 用 户 交 互 行 为 也 成 为 了 当 今 研 究 的 热 点 前 人 曾 经 采 用 搜 [5] 索 查 询 词 日 志 对 用 户 需 求 进 行 了 详 细 的 分 析, 分 析 结 果 显 示 查 询 词 日 志 对 用 户 需 求 的 分 类 等 有 比 较 显 著 的 效 果, 这 样 搜 索 引 擎 后 续 可 以 根 据 用 户 输 入 的 查 询 词 来 判 断 用 户 的 输 入 需 求, 并 根 据 需 求 给 用 户 提 供 更 适 宜 的 查 询 词 这 部 分 目 前 最 典 型 的 应 用 就 是 查 询 推 荐 和 查 询 纠 错, 搜 索 引 擎 可 以 根 据 用 户 输 入 的 查 询 词, 调 用 一 定 的 意 图 相 似 度 计 算 等 算 法, 给 出 较 为 接 近 的 查 询 词 集 合 基 于 这 样 的 思 路, 这 样 我 们 可 以 根 据 搜 索 引 擎 的 用 户 查 询 日 志 对 某 个 主 题 的 查 询 词 集 合 进 行 提 取, 这 就 是 查 询 意 图 聚 类 2009 年,Google 科 学 家 Ginsberg 等 人 利 用 Google 查 询 日 志 对 季 节 性 流 感 的 发 病 趋 势 进 行 了 评 估 [6] 他 们 选 取 了 每 年 最 常 被 用 户 查 询 的 5000 万 查 询 词, 分 别 将 其 查 询 频 度 和 当 期 对 应 的 流 感 发 病 比 例 进 行 拟 合, 选 取 出 拟 合 度 得 分 较 高 的 一 批 查 询 集 合 作 为 流 感 相 关 查 询 集 合, 根 据 这 些 相 关 查 询 词 的 变 化 情 况 来 跟 踪 当 期 流 感 的 发 展 趋 势 他 们 采 用 了 这 样 的 假 设 : 对 于 一 个 与 流 感 相 关 的 查 询 词 而 言, 流 感 患 者 对 其 的 查 询 频 率 在 一 定 程 度 上 是 大 于 非 流 感 患 者 的 查 询 频 度 的 这 样 就 可 以 根 据 当 前 流 感 发 病 趋 势 的 拟 合 曲 线 提 取 了 出 一 些 与 其 趋 势 相 似 的 查 询 词, 之 后 对 这 些 查 询 词 在 某 个 时 段 的 用 户 点 击 的 总 频 度 进 行 统 计, 并 对 当 期 的 流 感 发 病 趋 势 和 所 有 相 关 集 合 的 总 频 度 进 行 了 线 性 拟 合 实 验 结 果 表 明 通 过 他 们 抽 取 出 来 的 查 询 词 集 合 频 度 和 当 期 的 美 国 疾 病 控 制 与 预 防 中 心 的 官 方 发 病 数 据 (CDC) 有 较 高 的 相 关 性 通 过 这 样 的 方 法, 我 们 就 可 以 用 即 时 更 新 的 查 询 日 志 即 时 发 现 当 期 传 染 病 的 发 病 趋 势, 从 而 可 以 减 少 官 方 网 站 由 于 人 工 统 计 等 因 素 而 造 成 的 疫 情 4

15 数 据 的 延 迟 公 布 这 样 的 研 究 对 于 公 众 健 康 的 传 染 病 预 防 有 着 重 要 的 意 义, 其 可 以 为 官 方 部 门 提 供 一 个 很 好 的 参 考, 使 得 人 们 能 够 即 时 的 做 好 防 控 措 施 Ginsberg [6] 等 人 的 研 究 为 传 染 病 发 病 趋 势 的 研 究 开 辟 了 一 个 新 的 领 域 基 于 他 [7] 们 的 工 作, 孔 维 泽 等 人 采 用 了 不 同 的 传 染 病 相 关 查 询 词 的 提 取 方 法, 他 们 对 某 中 文 搜 索 引 擎 的 用 户 查 询 词 进 行 相 应 的 分 词, 根 据 查 询 聚 类 的 实 现 方 法 来 提 取 某 些 传 染 病 对 应 的 相 关 高 频 分 词 结 果, 并 采 用 线 性 拟 合 的 方 法 对 提 取 出 来 的 高 频 词 当 期 查 询 的 总 频 度 与 卫 生 部 门 的 官 方 公 布 发 病 数 据 进 行 了 对 比 分 析, 结 果 研 究 发 现, 采 用 高 频 分 词 结 果 的 查 询 频 度 比 之 前 的 基 于 单 查 询 词 频 度 的 变 化 趋 势 要 更 加 接 近 官 方 发 病 数 据 前 人 的 研 究 主 要 集 中 在 病 人 的 发 病 期 ( 图 1.1 中 标 为 红 色 的 部 分 ) 分 析, 主 要 是 患 者 有 很 明 显 的 症 状, 到 医 院 接 受 确 诊 治 疗 等 阶 段, 他 们 通 过 这 个 阶 段 的 用 户 查 询 行 为 来 对 当 期 传 染 病 的 趋 势 进 行 及 时 发 现 显 然, 这 相 对 于 官 方 网 站 的 两 周 的 发 布 延 迟 已 经 跨 进 了 一 大 步 然 而, 对 于 一 些 季 节 性 传 染 病, 其 传 染 性 相 对 较 强, 同 时 初 期 症 状 不 容 易 引 起 人 们 的 注 意, 如 果 我 们 仅 仅 只 对 到 医 院 确 诊 就 医 那 些 病 人 及 时 发 现 的 话, 这 些 病 人 已 经 成 为 了 新 的 传 染 源 这 样, 如 果 我 们 对 这 些 病 人 更 提 早 一 些 出 现 的 话, 他 们 对 周 围 环 境 造 成 的 传 播 和 损 失 就 会 更 小 于 是 我 们 尝 试 将 用 户 行 为 分 析 由 患 者 的 发 病 期 ( 图 1.1 的 红 色 ) 提 前 到 潜 伏 期 ( 图 1.1 的 紫 色 ) 进 行 研 究, 希 望 可 以 根 据 一 些 特 征 对 传 染 病 潜 在 患 者 加 以 挖 掘, 这 样 我 们 就 会 到 未 来 的 确 诊 发 病 趋 势 有 一 个 大 概 的 评 估, 同 时 可 以 真 正 意 义 的 实 现 传 染 病 的 预 测, 以 使 人 们 做 出 更 充 足 的 准 备 另 外, 之 前 的 研 究 主 要 集 中 在 对 传 染 病 相 关 查 询 词 的 挖 掘 和 统 计, 而 没 有 考 虑 到 网 络 资 源 和 新 闻 媒 体 等 对 网 络 用 户 带 来 的 限 制 或 影 响 事 实 上, 查 询 词 只 是 用 户 和 搜 索 引 擎 交 互 的 一 个 桥 梁, 网 络 用 户 真 正 关 注 的 是 搜 索 引 擎 所 提 供 的 网 络 资 源 ; 与 此 同 时, 当 期 的 新 闻 媒 体 对 某 件 事 情 的 关 注, 也 在 很 大 程 序 上 影 响 着 用 户 对 相 关 查 询 词 的 查 询 频 度 如 某 段 时 间 某 传 染 病 处 于 发 病 高 峰 期, 这 段 时 间 各 大 门 户 网 站 和 卫 生 官 方 网 站 都 会 给 出 相 对 较 多 的 新 闻, 从 而 会 有 很 多 的 用 户 通 过 对 提 交 相 应 的 查 询 词 对 这 些 新 闻 进 行 获 取 和 了 解, 这 些 用 户 中 当 然 也 包 含 了 一 定 的 未 患 病 的 正 常 用 户, 这 些 正 常 的 用 户 对 于 我 们 潜 在 患 者 的 统 计 在 一 定 程 度 上 可 以 算 作 数 据 噪 音, 会 对 潜 在 患 者 的 统 计 产 生 一 定 的 影 响 可 以 这 样 说, 查 询 词 只 是 搜 索 用 户 和 网 络 资 源 的 桥 梁, 其 可 以 在 一 定 程 度 上 反 映 着 用 户 的 查 询 需 求, 但 是 用 户 所 点 击 的 网 络 资 源 可 以 更 进 一 步 的 体 现 出 用 户 的 需 求, 而 当 期 某 话 题 的 相 关 新 闻 的 增 多 会 在 一 定 程 度 上 引 导 用 户 对 此 话 题 的 关 注 5

16 基 于 这 样 的 考 虑, 我 们 在 进 行 实 验 时, 除 了 前 人 所 用 到 的 传 染 病 相 关 查 询 集 合 ( 下 面 我 们 将 简 称 为 ERQs), 我 们 引 入 了 两 个 新 的 特 征 传 染 病 相 关 网 页 集 合 (ERPs) 和 传 染 病 相 关 新 闻 集 合 (ERNs) 毋 庸 置 疑,ERQs 是 估 测 潜 在 患 者 的 一 个 最 重 要 的 特 征,ERPs 则 是 估 测 用 户 查 询 意 图 的 一 个 很 好 的 评 估 特 征, 而 ERNs 的 引 入 是 为 了 减 少 非 潜 在 患 者 对 当 前 的 ERPs 和 ERQs 统 计 带 来 的 影 响 通 过 对 这 三 个 的 特 征 变 化 趋 势 进 行 估 测 和 拟 合, 我 们 希 望 可 以 对 当 前 潜 在 患 者 的 趋 势 有 一 个 大 概 的 了 解, 并 根 据 实 际 情 形 将 其 转 化 为 对 未 来 的 确 诊 就 医 患 者 的 一 个 趋 势 评 估, 从 而 可 以 为 人 们 提 供 更 多 的 参 考 以 及 做 好 预 防 准 备, 如 提 前 注 射 疫 苗 等 当 然, 我 们 希 望 我 们 的 研 究 可 以 为 官 方 卫 生 统 计 部 门 提 供 一 定 的 参 考, 可 以 引 导 人 们 对 突 发 传 染 病 能 够 更 快 的 做 出 相 应 的 应 对 措 施 6

17 第 2 章 基 于 特 征 选 取 的 前 期 研 究 2.1 数 据 集 的 选 取 传 染 病 是 危 害 人 民 身 体 健 康 的 严 重 疾 病, 其 可 以 通 过 不 同 方 式, 直 接 或 者 间 接 地 进 行 传 播, 在 人 群 范 围 内 引 起 流 行 在 后 续 的 研 究 中, 我 们 将 主 要 对 两 类 危 害 较 大 的 常 见 传 染 病 进 行 分 析 第 一 类 : 季 节 性 传 染 病, 典 型 代 表 有 手 足 口 病 和 麻 疹 等, 这 类 病 的 共 同 特 点 在 于 潜 伏 期 都 比 较 短, 且 一 般 在 某 个 季 节 期 间 发 病 人 数 会 达 到 顶 峰 当 然, 这 类 传 染 病 之 间 也 有 一 些 区 别, 如 目 前 由 于 麻 疹 疫 苗 的 普 及, 麻 疹 的 发 病 人 数 较 之 手 足 口 病 已 经 少 很 多, 同 时 媒 体 对 麻 疹 的 关 注 也 不 及 手 足 口 病 因 此, 在 我 们 的 研 究 中, 我 们 将 手 足 口 病 作 为 季 节 性 传 染 病 的 研 究 重 点 进 行 进 一 步 分 析 之 所 以 选 择 手 足 口 病 的 原 因 如 下 : 手 足 口 病 是 一 种 典 型 的 季 节 性 传 染 病, 同 时 潜 伏 期 较 短, 易 于 研 究 目 前, 手 足 口 病 已 经 成 为 了 0-3 岁 婴 儿 的 常 见 疾 病, 婴 儿 的 身 体 免 疫 能 力 都 比 较 薄 弱, 如 果 没 有 及 时 的 治 疗 的 话, 一 般 会 比 较 危 险 而 且 直 到 现 在, 还 没 有 研 发 出 适 合 的 手 足 口 病 疫 苗 今 年 春 季, 我 国 的 手 足 口 病 发 病 人 数 一 再 增 加, 曾 经 引 起 了 一 定 的 恐 慌 第 二 类 : 慢 性 传 染 病, 主 要 代 表 有 艾 滋 病 和 乙 型 肝 炎 等, 它 们 的 潜 伏 期 都 比 较 长, 且 早 期 症 状 极 其 不 明 显, 不 容 易 观 察 其 发 病 人 群 不 受 季 节 和 时 间 的 限 制, 而 且 随 着 近 些 年 公 众 卫 生 等 问 题 的 增 多, 这 类 传 染 病 发 病 人 群 日 益 增 多, 受 到 了 越 来 越 多 的 关 注 在 后 续 研 究 中, 我 们 将 选 用 艾 滋 病 作 为 慢 性 传 染 病 类 的 研 究 重 点 分 析 众 所 周 知, 艾 滋 病 一 直 是 困 扰 着 全 球 的 重 大 疾 病, 每 年 致 使 全 球 范 围 内 数 百 万 的 人 死 亡, 目 前 还 没 有 适 宜 的 治 疗 方 法 1 对 于 手 足 口 病, 我 们 选 择 北 京 市 疾 病 控 制 与 预 防 中 心 的 某 官 方 网 站 的 每 周 统 计 数 据 作 为 我 们 的 官 方 拟 合 数 据, 考 虑 对 数 据 的 完 整 性 和 连 续 性, 我 们 选 用 2009 年 3 月 2 日 2009 年 6 月 21 日 的 数 据 作 为 我 们 的 训 练 集, 选 用 2010 年 2 月 22 日 2010 年 5 月 9 日 的 数 据 作 为 我 们 的 测 试 集 统 计 周 期 以 周 为 单 位 图 2.1 是 手 足 口 病 的 训 练 集 和 测 试 集 数 据 1 7

18 2 对 于 艾 滋 病, 我 们 选 用 全 国 卫 生 部 官 方 网 站 的 每 月 统 计 数 据 作 为 我 们 的 目 标 拟 合 数 据 我 们 选 用 2009 年 1 月 -12 月 的 数 据 作 为 实 验 的 训 练 集,2010 年 1 月 -5 月 的 数 据 作 为 我 们 的 测 试 集, 统 计 周 期 以 月 为 单 位 图 2.2 显 示 了 艾 滋 病 的 训 练 和 测 试 集 的 发 病 趋 势 图 2.1 手 足 口 病 的 训 练 集 和 测 试 集 趋 势 图 2.2 艾 滋 病 数 据 的 训 练 集 和 测 试 集 趋 势 另 外, 在 某 中 文 搜 索 引 擎 的 帮 助 下, 我 们 搜 集 到 了 2009 年 至 今 的 该 搜 索 引 擎 的 用 户 查 询 日 志 和 点 击 日 志 出 于 对 用 户 隐 私 的 考 虑, 我 们 只 是 对 以 下 的 几 个 特 征 进 行 了 提 取 日 志 的 提 取 信 息 详 见 表 wsb/index.htm 8

19 ID Time Position Query URL 表 2.1 日 志 提 取 的 特 征 信 息 系 统 分 配 给 用 户 的 标 识 号 用 户 提 交 查 询 词 的 时 间 用 户 所 在 的 省 市 地 点 信 息 用 户 提 交 的 查 询 词 用 户 点 击 的 相 关 网 页 2.2 特 征 的 前 期 研 究 我 们 的 研 究 主 要 是 基 于 现 有 的 查 询 点 击 日 志 和 点 击 日 志 提 取 一 些 与 传 染 病 流 行 的 相 关 特 征, 之 后 通 过 分 析 这 些 特 征 的 变 化 对 当 前 有 某 传 染 病 症 状 的 患 者 进 行 评 估, 从 而 进 一 步 了 解 未 来 就 医 确 诊 患 者 的 大 致 发 展 趋 势 例 如, 某 人 在 潜 伏 期 表 现 出 了 某 种 传 染 病 相 似 的 症 状, 他 很 有 可 能 会 提 交 此 症 状 相 关 的 查 询 词 在 搜 索 引 擎 中 进 行 相 应 的 查 询 这 种 查 询 行 为 已 经 成 为 了 通 过 用 户 网 络 行 为 对 潜 在 患 者 的 趋 势 分 析 的 重 要 依 据 在 我 们 的 后 续 研 究 中, 除 了 前 人 已 经 提 到 的 传 染 病 相 关 查 询 集 合 (ERQs) 之 外, 我 们 还 将 引 入 相 关 网 页 集 合 (ERPs) 和 相 关 新 闻 集 合 (ERNs) 这 两 个 特 征, 它 们 也 在 一 定 程 度 上 影 响 用 户 的 搜 索 行 为 接 下 来, 我 们 将 会 对 这 三 个 特 征 逐 一 展 开 分 析 特 征 描 述 ERQs( 传 染 病 症 状 相 关 集 合 ): 类 症 状 查 询 词 是 连 接 潜 在 患 者 和 互 联 网 资 源 的 桥 梁, 其 是 衡 量 搜 索 用 户 行 为 的 一 个 非 常 重 要 因 素 不 同 于 已 被 确 诊 的 患 者 的 搜 索 查 询 用 户 行 为, 早 期 的 潜 在 患 者 更 倾 向 于 使 用 症 状 查 询 词 进 行 查 询 如 某 潜 在 患 者 出 现 了 皮 疹 或 是 水 疱, 但 是 患 者 不 确 定 自 己 患 了 哪 些 疾 病, 在 这 种 情 况 下 会 使 用 症 状 查 询 词 进 行 查 询 因 此, 在 我 们 的 实 验 中, 我 们 着 重 对 那 些 症 状 相 关 的 查 询 词 集 合 进 行 处 理 ERPs( 传 染 病 症 状 相 关 网 页 集 合 ): 显 然, 传 染 病 潜 在 患 者 通 过 向 搜 索 引 擎 提 交 症 状 相 关 查 询 词 来 获 取 自 己 希 望 的 信 息, 他 们 关 注 的 是 描 述 相 关 症 状 网 页 的 或 是 症 状 相 对 应 的 治 疗 方 式 的 官 方 医 学 网 页 或 是 基 本 情 况, 而 非 查 询 词 本 身 而 且 这 样 的 网 页 集 合 是 受 网 络 资 源 限 制 的 对 于 非 潜 在 患 者, 他 们 通 过 提 交 相 应 的 9

20 查 询 词, 来 其 他 网 络 资 源, 如 传 染 病 当 前 的 严 峻 性 等 这 样,ERPs 的 点 击 情 况 可 以 成 为 我 们 区 分 潜 在 患 者 和 非 潜 在 患 者 的 一 个 重 要 指 标 ERNs( 传 染 病 相 关 新 闻 集 合 ): 从 某 种 意 义 上 讲, 一 部 分 非 潜 在 患 者 提 交 症 状 相 关 的 查 询 词 是 因 为 当 前 新 闻 媒 体 对 此 传 染 病 的 关 注 造 成 的 一 般 而 言, 新 闻 媒 体 对 搜 索 用 户 有 一 定 的 引 导 作 用 因 此, 为 了 更 准 确 的 对 当 期 潜 在 患 者 进 行 统 计 和 挖 掘, 我 们 需 要 去 除 当 前 非 潜 在 患 者 的 影 响, 这 里 我 们 主 要 考 虑 了 当 期 的 相 关 新 闻 的 展 现 频 度 对 非 潜 在 患 者 的 引 导 作 用 在 我 们 的 实 验 中, 我 们 通 过 对 当 期 的 用 户 查 询 日 志 基 于 查 询 点 击 情 况 建 立 二 分 图, 并 根 据 一 定 的 迭 代 算 法 进 行 挖 掘, 从 而 得 到 当 期 的 症 状 相 关 查 询 词 集 合 (ERQs) 和 网 页 集 合 (ERPs), 同 时, 我 们 利 用 某 中 文 搜 索 引 擎 的 新 闻 高 级 搜 索 功 能 对 特 定 时 段 的 相 关 新 闻 (ERNs) 进 行 统 计 下 面, 我 们 将 详 细 的 介 绍 各 个 特 征 的 提 取 方 法 特 征 提 取 在 某 种 意 义 上, 如 果 某 个 搜 索 用 户 提 交 了 某 个 查 询 词, 并 点 击 了 一 系 列 相 应 的 网 页, 我 们 可 以 将 这 个 查 询 词 看 作 为 这 些 被 点 击 网 页 的 标 签, 同 时 将 这 些 点 击 网 页 看 作 为 这 个 查 询 词 的 具 体 表 现 形 式 因 此, 我 们 可 以 假 定, 如 果 某 个 网 页 被 若 干 个 查 询 词 同 时 点 击, 则 这 若 干 个 查 询 词 都 可 以 看 为 这 个 网 页 的 标 签, 这 些 查 询 词 在 某 种 查 询 上 的 查 询 意 图 是 相 似 的, 而 这 个 网 页 是 这 个 查 询 意 图 的 直 接 表 现 [8,9] 形 式 基 于 这 样 的 思 路, 我 们 可 以 通 过 查 询 日 志 建 立 查 询 词 和 网 页 之 间 的 查 询 点 击 图, 图 2.3 是 一 个 简 单 的 查 询 点 击 图 图 2.3 一 个 简 单 的 查 询 点 击 图 样 例 10

21 在 图 2.3 中, 用 户 在 使 用 查 询 词 q1 和 q0 进 行 查 询 的 时 候 都 点 击 了 网 页 p1, 这 意 味 着 p1 的 网 页 内 容 和 q1 和 q0 之 间 存 在 着 一 定 的 关 联, 我 们 可 以 称 q1 和 q0 的 查 询 意 图 是 类 似 的 在 这 里, 如 果 p1 是 一 个 传 染 病 症 状 相 关 的 网 页, 则 q1 和 q0 在 很 大 程 度 上 是 与 传 染 病 相 关 的 查 询 词 这 样, 我 们 可 以 通 过 对 查 询 日 志 建 立 查 询 点 击 图, 然 后 利 用 上 述 的 思 路 对 具 有 相 似 查 询 意 图 的 查 询 词 和 网 页 进 行 聚 类 在 我 们 的 实 验 中, 我 们 重 点 对 手 足 口 病 症 状 和 艾 滋 病 症 状 的 相 关 查 询 意 图 进 行 了 聚 类, 采 用 的 思 路 是 寻 找 某 个 查 询 类 别 的 最 大 连 通 子 图, 具 体 方 法 如 下 : Step1: 分 别 对 两 个 相 关 集 合 Q,P 进 行 初 始 化, 其 中 Q 代 表 症 状 相 关 查 询 词 集 合 (ERQs), P 代 表 症 状 相 关 网 页 集 合 (ERPs) 在 初 始 化 操 作 中,Q 为 一 些 种 子 查 询 词,P 为 空 Step2: 对 于 Q 集 合 中 的 任 一 查 询 词 q 1, 找 出 查 询 点 击 图 中 所 有 与 之 相 连 的 网 页 p i, 并 按 照 一 定 的 规 则, 计 算 q 1 与 p i 之 间 的 权 重, 如 果 权 重 大 于 我 们 既 定 的 权 重 阈 值, 则 将 p i 加 到 P 集 合 中 Step3: 对 于 P 集 合 中 的 任 一 网 页 p 1, 找 出 查 询 点 击 图 中 所 有 与 之 相 连 的 查 询 词 q i, 并 按 照 一 定 的 规 则, 计 算 p 1 与 q i 之 间 的 权 重, 如 果 权 重 大 于 我 们 既 定 的 权 重 阈 值, 则 将 q i 加 到 Q 集 合 中 Step4: 跳 转 到 Step2 继 续 执 行, 直 到 当 前 的 P 集 合 或 是 Q 集 合 保 持 不 变 或 是 递 归 次 数 达 到 我 们 既 定 的 阈 值 在 我 们 的 实 验 中, 我 们 主 要 对 手 足 口 病 症 状 的 相 关 集 合 和 艾 滋 病 症 状 的 相 关 集 合 进 行 了 提 取 和 分 析 在 对 手 足 口 病 症 状 相 关 集 合 进 行 处 理 时, 我 们 选 用 手 足 口 病 症 状 作 为 Step1 的 查 询 词 种 子 ; 在 对 艾 滋 病 症 状 相 关 集 合 进 行 处 理 时, 我 们 选 用 艾 滋 病 症 状 作 为 Step1 的 查 询 词 种 子 另 外, 考 虑 到 查 询 词 和 网 页 的 查 询 和 点 击 频 率 是 符 合 幂 律 分 布 的, 通 常 高 频 的 查 询 词 和 网 页 涉 及 的 话 题 都 比 较 宽 泛, 会 将 很 多 不 同 的 话 题 联 系 到 了 一 起, 这 样 的 高 频 查 询 词 集 合 和 网 页 集 合 会 对 我 们 的 权 重 计 算 和 集 合 统 计 产 生 一 定 的 影 响, 所 以 在 我 们 实 验 的 预 处 理 阶 段, 我 们 根 据 查 询 点 击 频 度 对 相 关 集 合 进 行 排 序, 并 将 高 频 查 询 词 和 网 页 集 合 进 行 了 相 应 的 过 滤 经 过 上 述 的 预 处 理 过 滤 算 法 和 构 建 最 大 连 通 子 图 的 方 法, 最 终 我 们 完 成 了 对 手 足 口 病 症 状 和 艾 滋 病 症 状 的 相 关 集 合 的 提 取 表 2.2 分 别 显 示 了 手 足 口 病 和 艾 滋 病 相 关 集 合 的 个 数, 我 们 对 抽 取 出 来 的 相 关 集 合 进 行 观 察, 发 现 这 些 集 合 和 相 关 症 状 都 有 较 强 的 相 关 性 11

22 表 2.2 两 类 传 染 病 相 关 集 合 情 况 传 染 病 类 型 ERQs 集 合 个 数 ERPs 集 合 个 数 手 足 口 病 症 状 艾 滋 病 症 状 在 我 们 后 续 的 实 验 中, 我 们 主 要 通 过 对 相 关 集 合 在 某 个 时 段 的 查 询 点 击 频 度 进 行 跟 踪 统 计 来 对 相 应 的 特 征 进 行 量 化 为 了 可 以 和 官 方 数 据 实 现 更 好 的 拟 合, 我 们 选 用 了 和 官 方 数 据 统 计 相 同 的 时 段, 其 中 手 足 口 病 以 周 为 单 位, 艾 滋 病 以 月 为 单 位, 且 初 始 时 段 统 计 也 与 官 方 统 计 相 同 另 外, 除 了 对 上 述 的 ERPs 和 ERNs 特 征 的 量 化 统 计, 我 们 还 要 对 ERNs 进 行 量 化 ERNs 表 示 的 是 某 个 时 段 整 个 网 络 展 现 给 所 有 用 户 的 与 此 传 染 病 相 关 的 新 闻, 我 们 对 某 搜 索 引 擎 的 新 闻 搜 索 进 行 定 期 抓 取, 从 而 对 此 时 段 的 ERNs 特 征 根 据 展 现 频 度 进 行 量 化 特 征 之 间 的 关 系 在 上 一 小 节 中, 我 们 通 过 高 频 过 滤 和 预 处 理 等 方 法 完 成 了 对 3 个 特 征 的 提 取 和 量 化 ERQs 集 合 的 总 频 度 变 化 情 况 直 接 反 映 了 当 期 潜 在 患 者 的 用 户 行 为, 而 ERPs 和 ERNs 的 变 化 会 对 用 户 行 为 产 生 一 个 较 为 间 接 的 影 响 下 面 我 们 选 用 手 足 口 病 相 关 特 征 情 况 来 对 特 征 之 间 的 关 系 进 行 一 下 简 单 的 分 析 同 时 还 需 要 将 各 个 特 征 之 间 和 官 方 数 据 进 行 比 较, 以 挖 掘 各 个 特 征 和 最 终 拟 合 目 标 之 间 的 关 系 为 了 便 于 我 们 的 分 析 和 观 察, 我 们 对 所 有 特 征 和 官 方 数 据 进 行 了 相 应 的 归 一 化 ( 归 一 化 是 通 过 当 前 值 除 以 整 个 数 据 集 中 各 个 集 合 对 应 的 最 大 值 实 现 ) 表 2.3 显 示 了 各 个 归 一 化 比 率 之 间 的 相 关 性, 图 2.4 是 归 一 化 相 关 性 的 图 形 表 现 形 式 表 2.3 各 个 特 征 和 官 方 数 据 的 归 一 化 相 关 性 比 较 ( 手 足 口 病 ) ERQs ERPs ERNs 官 方 发 病 数 据 ERQs ERPs ERNs 官 方 发 病 数 据 平 均 值

23 图 2.4 官 方 确 诊 数 据 和 各 个 特 征 归 一 化 的 变 化 情 况 ( 手 足 口 病 ) 通 过 对 表 2.3 和 图 2.4 的 结 果 观 察, 我 们 可 以 很 明 显 的 看 出 : 各 个 特 征 之 间 均 有 着 较 高 的 相 关 性, 平 均 在 0.90 左 右, 但 是 各 个 特 征 和 官 方 发 病 数 据 的 相 关 性 却 很 低 然 而, 在 图 2.4 中, 我 们 发 现 了 一 个 有 趣 的 现 象 : 第 6 周 是 官 方 发 布 的 确 诊 数 据 的 一 个 拐 点, 发 病 曲 线 由 之 前 的 指 数 增 长 转 化 为 了 后 期 的 线 性 增 长 同 时, 我 们 发 现, 我 们 提 取 的 3 个 量 化 特 征 同 时 在 第 6 周 达 到 了 最 大 值 这 样 的 比 较 结 果 显 示 : 当 患 者 人 数 由 指 数 增 长 转 变 为 线 性 增 长 时, 我 们 提 取 的 各 个 特 征 量 化 之 后 均 达 到 了 最 大 值, 即 当 患 者 的 趋 势 曲 线 的 斜 率 ( 增 长 率 ) 达 到 最 大 时, 各 个 特 征 同 时 达 到 了 最 大 这 样, 我 们 将 换 一 个 角 度 对 上 述 特 征 重 新 进 行 量 化 和 分 析, 我 们 将 采 用 增 长 率 作 为 新 的 量 度 并 重 新 进 行 分 析, 增 长 率 的 分 析 结 果 可 见 表 2.4 和 图 2.5 表 2.4 各 个 特 征 和 官 方 数 据 的 增 长 率 相 关 性 分 析 ( 手 足 口 病 ) 相 关 性 ERQs ERPs ERNs 官 方 发 病 数 据 ERQs ERPs ERNs 官 方 发 病 数 据 平 均 值

24 图 2.5 官 方 确 诊 数 据 和 各 个 特 征 的 增 长 率 变 化 情 况 ( 手 足 口 病 ) 通 过 对 3 个 特 征 量 化 指 标 的 转 变 ( 由 归 一 率 转 化 为 增 长 率 ), 三 个 特 征 和 官 方 确 诊 数 据 的 平 均 相 关 性 由 之 前 的 已 经 增 加 到 了 因 此, 特 征 量 化 的 改 进 也 是 我 们 本 次 实 验 的 一 个 比 较 重 要 的 改 进 点, 前 人 的 研 究 几 乎 都 是 采 用 特 征 的 归 一 化 结 果 直 接 进 行 统 计 或 是 拟 合 [6,7] 量 化 指 标 转 化 使 得 各 个 特 征 与 官 方 确 诊 数 据 的 平 均 相 关 性 获 得 较 大 提 高, 于 是, 我 们 在 后 续 的 研 究 中 将 采 用 各 个 特 征 的 增 长 率 作 为 特 征 量 化 的 方 法, 而 不 再 是 前 人 研 究 时 所 使 用 的 归 一 化 量 化 方 法 在 接 下 来 的 研 究 中, 我 们 将 使 用 这 个 量 化 方 法 分 析 和 建 立 相 应 的 拟 合 模 型, 评 估 当 期 的 潜 在 患 者 变 化 趋 势, 对 未 来 某 传 染 病 的 确 诊 病 人 趋 势 进 行 评 估 14

25 第 3 章 基 于 模 型 拟 合 的 研 究 在 上 一 个 章 节 中, 我 们 对 现 有 的 官 方 数 据 进 行 了 整 理, 同 时 基 于 现 有 收 集 到 的 日 志 通 过 一 定 的 查 询 聚 类 的 算 法 对 ERQs, ERPs 和 ERNs 这 三 个 特 征 进 行 了 提 取, 量 化 和 比 较 接 下 来, 我 们 将 会 分 析 这 些 量 化 指 标 的 变 化 情 况, 并 对 其 反 映 出 的 当 期 潜 在 患 者 进 行 估 计 这 一 章 主 要 分 为 两 部 分 : 首 先, 我 们 将 考 虑 这 些 特 征 引 入 的 物 理 含 义 并 用 数 学 公 式 加 以 推 导 ; 之 后, 我 们 将 选 用 不 同 的 特 征 组 合 对 官 方 确 诊 数 据 进 行 建 模, 从 中 选 出 拟 合 结 果 最 好 的 模 型 作 为 我 们 最 后 的 拟 合 模 型 3.1 数 学 推 导 我 们 选 用 的 3 个 特 征 都 有 着 明 显 的 物 理 意 义,ERQs 代 表 着 用 户 对 相 关 查 询 的 关 注 情 况,ERPs 代 表 着 传 染 病 相 关 网 页 的 关 注 情 况,ERNs 则 是 当 期 新 闻 媒 体 对 当 前 网 络 的 搜 索 行 为 的 影 响 因 此,ERQs 和 ERPs 存 在 一 定 的 重 复 用 户, 而 ERNs 的 引 入 是 为 了 减 小 非 潜 在 患 者 对 ERQs 与 ERPs 的 统 计 噪 声 接 下 来, 我 们 通 过 对 当 期 的 相 关 查 询 词 集 合 和 网 页 集 合 的 提 交 点 击 概 率 用 全 概 率 公 式 进 行 展 开 ( 见 3-1), 最 终 运 用 这 些 特 征 对 我 们 的 模 型 进 行 相 应 的 建 模 P q, p ) P( q, p d ) P( d ) P( q, p d ) P( d ) (3-1) ( t t t t t t t t t t 公 式 3.1 中,P(q t ) 表 示 t 时 刻 的 网 络 用 户 提 交 传 染 病 相 关 查 询 词 集 合 (ERQs) 的 概 率,P(p t ) 则 表 示 t 时 刻 传 染 病 相 关 网 页 集 合 (ERPs) 的 关 注 概 率 因 此,P(q t,p t ) 表 示 t 时 刻 用 户 提 交 了 传 染 病 相 关 查 询 词 后 继 续 点 击 了 传 染 病 症 状 相 关 网 页 的 概 率 另 外, 在 公 式 3-1 中,P(d t ) 是 t 时 刻 潜 在 传 染 病 患 者 的 概 率, 而 P d ) 则 是 t 时 刻 非 潜 在 患 者 的 概 率 显 然, ( d ) P( d ) 1 P t 我 们 将 P ( d ) P( d ) 1这 个 等 式 代 入 到 公 式 3-1 中, 我 们 可 以 得 到 如 下 的 公 式 3-2 t t t ( t P( q, ) (, ) ( ) t p t P q p d P d t t t t P( q t, p t d t ) P( q t, p t d t ) (3-2) 15

26 P ( qt, pt dt ) 代 表 的 是 潜 在 患 者 对 于 相 关 查 询 集 合 和 网 页 集 合 的 关 注 概 率, 其 由 一 般 情 况 下 的 搜 索 引 擎 的 网 络 用 户 习 惯 决 定 的, 这 样, 我 们 可 以 将 一 个 潜 在 患 者 关 注 相 关 集 合 的 概 率 定 义 为 一 个 常 数 γ 1 P q, p d ) 是 非 潜 在 患 者 对 于 相 关 集 合 的 关 注 ( t t t 程 度, 这 个 概 率 在 一 定 程 度 上 是 由 当 前 的 相 关 新 闻 媒 体 的 引 导 决 定 的, 于 是 我 们 这 个 概 率 用 一 个 函 数 f 进 行 表 示, 即 P( qt, pt dt ) f ( ERNst ) 另 外, 所 有 网 络 用 户 对 相 关 集 合 的 关 注 概 率 P q t, p ) 是 由 两 个 相 关 集 合 的 关 注 概 率 ( t 一 起 组 成 的, 其 可 以 用 两 个 相 关 概 率 的 函 数 关 系 g 来 表 示, 即 P( qt, pt ) g( ERQs t, ERPst ) 通 过 对 各 项 相 关 概 率 的 不 同 表 示, 我 们 将 公 式 3-2 进 一 步 表 示 为 公 式 3-3 P( d ) t g( ERQs t, ERPst ) f ( ERNst ) f ( ERNs ) 1 t (3-3) 其 中 γ 1 表 示 的 是 潜 在 患 者 对 相 关 集 合 的 关 注 程 度, 而 f ERNs ) 表 示 的 则 是 当 期 非 ( t 潜 在 患 者 对 相 关 集 合 的 关 注 情 况 根 据 网 络 用 户 行 为 习 惯, 我 们 可 以 假 设 对 于 传 染 病 相 关 查 询 词 和 网 页 集 合, 潜 在 患 者 的 关 注 概 率 要 远 远 大 于 非 潜 在 患 者 的 关 注 概 率, 于 是 我 们 可 以 得 到 如 下 不 等 式 f ( ERNs 1 t ) 这 样, 我 们 就 可 以 用 γ 1 来 代 替 f ( ERNs ), 从 而 可 以 由 公 式 3-3 转 变 为 公 式 t P( d ) h ( ERQs 1 t g( ERQs t t, ERPs, ERPs t t 1, ERNs ) t ) f ( ERNs t ) (3-4) 通 过 上 述 一 系 列 的 转 换, 我 们 就 可 以 将 t 时 刻 的 潜 在 患 者 的 概 率 P(d t ) 表 示 成 3 个 特 征 概 率 的 函 数 形 式 另 外, 我 们 假 设 t 时 刻 的 潜 在 患 者 在 经 过 一 段 的 潜 伏 时 期 δ t 之 后, 转 化 为 真 实 确 诊 患 者 的 概 率 为 α, 即 P ill ) * P( d ) ( t t t 另 外, 为 了 使 得 我 们 的 研 究 更 加 严 谨, 我 们 将 历 史 发 病 率 P(ill t ) 也 列 为 我 们 的 一 个 特 征 进 行 建 模 分 析 这 样 我 们 在 公 式 3-4 的 基 础 上 构 建 新 的 公 式 3-5 P( ill 2 t t ) h h3( ERNs t 1 h ( h1( ERNs ( P( d t, ERPs, ERPs t t ), P( ill t, ERQs, ERQs t t )) t, ill ), P( ill t ) t 16 )) (3-5)

27 3.2 数 学 建 模 由 于 手 足 口 病 和 艾 滋 病 本 身 存 在 着 明 显 的 差 异, 如 手 足 口 病 潜 伏 期 较 短, 一 般 在 2-7 天, 而 艾 滋 病 潜 伏 期 在 数 年 以 上 另 外, 手 足 口 病 是 季 节 性 传 染 病, 在 春 夏 季 发 病 人 数 达 到 顶 峰, 在 春 夏 季 的 新 闻 关 注 和 用 户 关 注 也 达 到 顶 峰 ; 而 艾 滋 病 是 全 年 慢 性 传 染 病, 发 病 人 群 不 随 季 节 和 时 间 的 变 化 而 变 化 出 于 我 们 这 样 的 研 究, 我 们 对 手 足 口 病 和 艾 滋 病 分 别 建 立 不 同 的 模 型 进 行 研 究 另 外, 在 建 立 模 型 时, 我 们 将 分 别 采 用 一 元 拟 合, 二 元 拟 合 和 三 元 拟 合 的 方 法 对 我 们 选 用 的 各 个 特 征 和 官 方 确 诊 数 据 进 行 拟 合, 最 终 选 取 预 测 效 果 最 好 的 模 型 作 为 我 们 最 终 实 验 的 预 测 模 型 手 足 口 病 预 测 模 型 在 医 学 角 度 而 言, 手 足 口 病 的 潜 伏 期 是 2-7 天, 考 虑 到 其 他 的 一 些 人 为 因 素, 我 们 假 设 一 个 手 足 口 病 潜 在 患 者 转 变 为 确 诊 患 者 的 过 渡 期 为 1 周 ( 官 方 数 据 统 计 和 各 个 特 征 提 取 均 以 周 为 单 位 ), 即 δ t=1 接 下 来, 我 们 基 于 现 有 查 询 日 志 下 提 取 到 的 各 个 特 征 对 未 来 一 周 的 确 诊 发 病 患 者 逐 一 进 行 分 析 单 个 特 征 的 一 元 拟 合 表 2.4 的 相 关 性 结 果 显 示, 就 单 个 特 征 而 言,ERQs 和 官 方 数 据 有 着 最 高 的 相 关 性, 达 到 了 因 此, 我 们 选 用 ERQs 的 量 化 结 果 进 行 单 个 特 征 进 行 一 元 拟 合 我 们 选 用 常 见 的 线 性 拟 合 对 ERQs(t) 和 P(ill t+1 ) 之 间 的 关 系 进 行 拟 合 [10,11], 拟 合 结 果 见 下 面 的 模 型 1( 公 式 3-6) ILL(t 1) * ERQs(t) (3-6) 接 下 来, 我 们 采 用 模 型 1 的 公 式, 对 t 时 刻 的 ERQs 特 征 变 化 情 况 对 t+1 时 刻 的 确 诊 发 病 数 据 进 行 了 拟 合 我 们 使 用 特 征 增 长 率 对 发 病 数 据 增 长 率 进 行 拟 合 为 了 使 得 我 们 的 结 果 观 察 的 更 清 晰 明 了, 我 们 最 后 将 增 长 率 指 标 转 化 为 归 一 化 指 标 图 3.1 和 图 3.2 分 别 显 示 了 训 练 集 上 的 增 长 率 拟 合 比 较 和 归 一 化 拟 合 比 较 17

28 图 3.1 一 元 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 增 长 率 ) 图 3.2 一 元 拟 合 结 果 与 官 方 确 诊 结 果 的 比 较 ( 数 据 归 一 化 之 后 ) 通 过 对 图 3.2 的 拟 合 结 果 和 官 方 发 布 结 果 的 归 一 率 进 行 相 关 度 计 算, 模 型 1 拟 合 结 果 与 官 方 确 诊 结 果 的 拟 合 程 度 达 到 了 0.87 通 过 对 两 者 的 趋 势 进 行 比 较, 我 们 发 现 使 用 单 一 特 征 ERQs 的 增 长 率 已 经 可 以 取 得 一 个 较 好 的 预 测 效 果 另 外, 图 3.2 的 趋 势 曲 线 也 反 映 了 模 型 1 存 在 的 两 大 不 足 : 整 个 官 方 发 病 人 数 在 第 12 周 的 时 候 已 经 达 到 了 顶 峰, 而 我 们 预 测 数 据 却 是 在 逐 周 增 加 18

29 仔 细 观 察 图 3.2 的 官 方 分 布 发 病 曲 线, 不 难 发 现 第 6 周 是 真 实 曲 线 的 一 个 拐 点, 发 病 趋 势 也 由 之 前 的 指 数 增 长 变 为 了 后 期 的 线 性 增 长 ; 而 我 们 的 拟 合 发 病 曲 线 却 一 直 处 于 指 数 增 长 的 状 态 这 样, 为 了 改 进 模 型 1 中 存 在 的 问 题, 使 得 我 们 的 预 测 效 果 更 加 准 确, 我 们 将 逐 个 另 外 的 新 特 征 对 模 型 1 进 行 适 当 的 修 改 和 完 善 两 个 特 征 的 模 型 拟 合 基 于 上 述 的 模 型 1 分 析, 接 下 来, 我 们 逐 一 引 入 其 他 特 征 (ERPs, ERNs, ill t) 对 模 型 1 进 行 补 充 和 修 正 下 述 的 模 型 分 别 表 示 了 ERQs 与 其 他 不 同 的 特 征 进 行 组 合 之 后 的 二 元 一 次 拟 合 结 果 其 中 模 型 2( 公 式 3-7) 表 示 ERQs 和 ERPs 的 二 元 拟 合 模 型, 模 型 3( 公 式 3-8) 表 示 ERQs 和 ERNs 的 拟 合 模 型, 模 型 4( 公 式 3-9) 则 是 ERQs 和 ill t 的 拟 合 模 型 各 个 模 型 之 间 的 增 长 率 和 归 一 率 的 拟 合 结 果 分 别 见 图 3.3 和 图 3.4 ILL ( t 1) * ERQs ( t) * ERPs( t) (3-7) ILL ( t 1) * ERQs ( t) * ERNs( t) (3-8) ILL ( t 1) * ERQs ( t) * ILL( t) (3-9) 模 型 2 是 在 模 型 1 的 基 础 上 加 入 了 ERPs 这 个 特 征 因 素,ERPs 代 表 当 期 传 染 病 相 关 网 页 集 合 被 关 注 的 概 率, 显 然 大 多 数 相 关 网 页 被 点 击 行 为 都 是 通 过 提 交 相 关 查 询 词 集 合 造 成 的, 因 此 ERPs 和 ERQs 之 间 在 预 测 潜 在 患 者 中 有 一 定 的 重 复 度, 模 型 2 中 的 ERQs 和 ERPs 的 拟 合 系 数 符 号 相 反, 可 以 在 一 定 程 度 上 减 少 这 种 重 复 患 者 的 计 算, 即 模 型 2 的 公 式 可 以 较 好 的 处 理 这 两 个 特 征 带 来 的 重 复 度 模 型 3 是 在 模 型 1 的 基 础 上 加 入 了 ERNs 这 个 特 征 因 素,ERNs 是 当 期 传 染 病 相 关 新 闻 展 现 总 数, 相 关 新 闻 会 在 一 定 程 度 上 引 导 一 些 非 潜 在 患 者 对 ERQs 的 关 注, 这 样 导 致 了 我 们 ERQs 对 拟 合 结 果 存 在 着 一 定 的 偏 置, 所 以 我 们 引 入 ERNs 来 减 少 非 潜 在 患 者 的 这 个 偏 置 带 来 的 影 响 然 而, 模 型 3 中 的 ERNs 和 ERQs 的 作 用 却 是 相 互 加 强 的, 这 样 和 我 们 的 引 入 初 衷 是 矛 盾 的, 我 们 推 断 模 型 3 的 拟 合 效 果 应 该 不 会 特 别 理 想 ( 拟 合 效 果 可 以 参 见 图 3.3 和 图 3.4) 接 着, 模 型 4 引 入 了 历 史 发 病 率 对 当 期 潜 在 患 者 的 影 响 上 个 发 病 周 期 确 诊 的 患 者 很 可 能 会 成 为 当 期 潜 在 患 者 的 传 染 源, 所 以 其 对 当 期 的 潜 在 患 者 的 统 计 和 挖 掘 也 会 产 生 一 定 的 影 响 与 模 型 2 和 模 型 3 不 同, 历 史 发 病 率 的 引 入 是 从 传 染 19

30 病 理 学 的 角 度, 而 非 网 络 用 户 行 为 特 征 图 3.3 的 增 长 率 趋 势 线 不 是 很 易 于 观 察, 我 们 将 着 重 对 图 3.4 的 归 一 率 趋 势 比 较 进 行 分 析 图 3.3 两 个 特 征 的 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 增 长 率 ) 图 3.4 二 元 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 数 据 归 一 化 之 后 ) 20

31 由 图 3.4 的 归 一 率 的 趋 势 比 较 可 以 看 出, 较 之 ERQs 单 特 征 的 拟 合 结 果,ERQs 和 ERPs 的 结 果 趋 势 更 加 接 近 于 官 方 数 据, 这 说 明 ERPs 特 征 的 引 入 可 以 更 好 的 对 之 前 的 预 测 模 型 进 行 补 充 另 外,ERQs 与 ill t 的 拟 合 模 型 较 之 单 特 征 一 元 拟 合 效 果 更 差, 在 一 定 程 度 上 说 明 ill t 和 ERQs 不 能 单 纯 的 进 行 二 元 组 合, 可 能 与 两 者 的 引 入 类 别 属 性 有 一 定 的 关 系 另 外, 二 元 一 次 拟 合 模 型 与 官 方 数 据 的 相 关 性 数 据 比 较 见 表 3.1 表 3.1 二 元 一 次 拟 合 相 关 性 效 果 分 析 ( 手 足 口 病 ) 特 征 拟 合 增 长 率 归 一 化 之 后 的 数 据 ERQs 单 个 特 征 ERQs and ERPs 组 合 ERQs and ERNs 组 合 ERQs and ill t 组 合 表 3.1 显 示, ERQs 和 ERPs 的 二 元 模 型 的 拟 合 效 果 较 之 单 特 征 一 元 拟 合 有 了 一 定 的 提 高, 归 一 率 的 相 关 性 已 经 达 到 0.90, 这 个 结 果 表 明 我 们 使 用 ERPs 和 ERQs 两 个 特 征 进 行 拟 合 时 效 果 要 优 于 使 用 单 一 的 ERQs 特 征, 即 模 型 2 效 果 要 优 于 模 型 1, 接 下 来, 我 们 将 在 模 型 2 的 基 础 上 进 一 步 对 模 型 进 行 改 进 三 个 特 征 的 线 性 拟 合 在 两 个 特 征 组 合 的 基 础 上, 我 们 看 到 ERQs 和 ERPs 的 二 元 特 征 组 合 的 拟 合 结 果 要 优 于 之 前 的 单 个 特 征 拟 合 在 下 面 的 实 验 中, 我 们 将 ERQs 和 ERPs 组 合 作 为 基 础, 分 别 加 入 剩 余 的 其 他 特 征, 进 行 三 元 一 次 拟 合, 并 观 察 不 同 模 型 的 效 果 模 型 5( 公 式 3-10) 中 我 们 加 入 了 ERNs, 而 模 型 6( 公 式 3-11) 则 是 ill t 被 引 入 三 个 特 征 的 三 元 拟 合 模 型 的 增 长 率 和 归 一 率 的 趋 势 比 较 分 别 见 图 3.5 和 图 3.6 ILL ( t 1) * ERQs ( t) * ERPs( t) * ERNs( t) (3-10) ILL ( t 1) * ERQs ( t) * ERPs( t) * ILL( t) (3-11) 21

32 图 3.5 三 特 征 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 增 长 率 ) 图 3.6 三 特 征 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 数 据 归 一 化 后 ) 通 过 对 图 3.6 和 表 3.2 的 结 果 观 察, 我 们 发 现 使 用 ERQs,ERPs 和 ERNs 的 三 元 拟 合 在 相 关 性 方 面 收 到 了 一 个 很 好 的 效 果 在 图 3.6 中, 显 然 这 个 模 型 5(ERQs, ERPs 与 ERNs 的 组 合 ) 拟 合 曲 线 更 加 接 近 真 实 发 病 曲 线 这 个 拟 合 曲 线 与 之 前 的 单 调 上 升 的 曲 线 不 同, 它 还 可 以 对 手 足 口 病 的 下 降 趋 势 ( 如 图 3.6 的 第 13 周 ) 给 出 准 确 的 预 测 另 外, 我 们 将 会 模 型 5 公 式 中 的 各 个 系 数 进 行 简 单 的 分 析 在 模 型 5 中,ERQs, ERPs 和 ERNs 前 面 的 对 应 的 系 数 分 别 为 , ,

33 ERQs 相 应 的 系 数 是 正 的,ERPs 和 ERNs 的 相 关 系 数 是 负 的, 这 和 他 们 所 代 表 的 物 理 意 义 在 一 定 程 度 上 是 符 合 的 ERPs 和 ERQs 的 用 户 群 是 有 一 定 的 重 叠 的, 所 以 其 对 应 的 符 号 不 同, 这 样 可 以 使 得 我 们 的 预 测 效 果 更 加 准 确 下 面, 我 们 重 点 分 析 为 什 么 ERNs 的 系 数 为 负 ERNs 这 个 特 征 的 引 入 是 为 了 去 除 当 期 的 新 闻 媒 体 对 非 潜 在 患 者 的 搜 索 行 为 的 引 导 趋 势 例 如, 春 季 是 手 足 口 病 爆 发 的 高 峰 期, 很 多 的 潜 在 患 者 ( 患 有 轻 微 前 期 症 状 的 用 户 ) 通 过 提 交 手 足 口 病 症 状 相 关 的 查 询 词 到 搜 索 引 擎 来 获 取 信 息 随 着 这 段 时 间 手 足 口 病 的 急 剧 增 加, 相 应 的 卫 生 健 康 部 门 会 发 布 相 应 的 一 些 新 闻 来 加 强 公 众 防 范 意 识, 这 些 新 闻 会 对 一 些 没 有 症 状 的 网 络 用 户 产 生 一 定 的 引 导 作 用, 他 们 也 会 通 过 提 交 手 足 口 病 相 关 的 查 询 词 来 获 取 相 关 数 据 或 是 新 闻 基 于 这 种 因 素 的 考 虑, 我 们 可 以 运 用 ERNs 这 个 特 征 对 非 潜 在 患 者 进 行 一 定 程 度 上 的 去 除, 所 以 ERNs 的 系 数 应 该 为 负, 这 样 模 型 5 的 拟 合 公 式 和 我 们 所 引 入 的 特 征 的 物 理 意 义 大 致 相 同, 所 以 模 型 5 的 效 果 较 好 各 个 三 元 拟 合 模 型 的 相 关 性 数 据 通 过 表 3.2 可 以 看 到 表 3.2 三 特 征 拟 合 相 关 性 效 果 分 析 ( 手 足 口 病 ) 三 特 征 组 合 增 长 率 归 一 化 数 据 ERQs &ERPs 组 合 ERQs&ERPs& ERNs 组 合 ERQs&ERPs &ill t 组 合 四 个 特 征 的 线 性 拟 合 通 过 之 前 的 模 型 的 不 断 改 进,ERQs,ERPs 和 ERNs 的 三 元 组 合 取 得 了 较 好 的 预 测 效 果 为 了 使 我 们 的 研 究 更 完 整, 我 们 也 引 入 了 历 史 发 病 率 ill t 的 影 响 模 型 7( 公 式 3-12) 是 结 合 了 4 个 特 征 之 后 的 拟 合 模 型 图 3.7 显 示 了 加 入 历 史 发 病 率 前 后 的 拟 合 结 果 的 比 较 ILL( t 1) * ERQs ( t) * ERPs ( t) * ERNs ( t) 0.385* ill ( t) (3-12) 23

34 图 3.7 历 史 发 病 率 加 入 前 后 的 比 较 ( 归 一 化 ) 通 过 图 3.7 可 以 看 出, 如 果 我 们 将 历 史 发 病 率 加 入 到 之 前 的 三 元 模 型 ( 模 型 5) 中, 预 测 效 果 反 而 变 得 很 差, 这 应 该 和 ill t 和 另 外 三 个 特 征 的 类 别 属 性 等 有 一 定 的 关 系 历 史 发 病 率 ill t 与 其 他 的 三 个 特 征 有 所 不 同,ERQs,ERPs 和 ERNs 属 于 网 络 用 户 特 征, 而 ill t 是 一 个 传 染 病 理 学 的 特 征 这 样, 两 种 不 同 特 征 属 性 如 果 仅 仅 靠 简 单 的 线 性 拟 合 或 许 不 能 收 到 较 好 的 效 果, 也 许 两 者 之 间 需 要 一 个 更 强 的 拟 合 方 式, 这 也 是 我 们 未 来 的 工 作 任 务 之 一 通 过 上 述 的 不 同 模 型 的 相 关 性 对 比, 我 们 选 用 了 ERQs,ERPs 和 ERNs 的 三 元 拟 合 模 型 作 为 我 们 最 后 的 预 测 模 型, 下 一 章 我 们 将 在 测 试 集 上 对 这 个 预 测 模 型 的 准 确 性 和 相 关 性 进 行 验 证 艾 滋 病 的 及 时 发 现 模 型 通 过 上 述 的 对 于 手 足 口 病 的 模 型 改 进, 我 们 知 道 ERQs, ERPs 和 ERNs 的 三 元 组 合 对 确 诊 病 人 的 趋 势 有 较 好 的 挖 掘 效 果 因 此, 对 于 艾 滋 病 的 趋 势 研 究, 我 们 将 直 接 采 用 这 个 三 元 组 合 进 行 拟 合 另 外, 由 于 艾 滋 病 的 传 染 机 理 更 加 复 杂, 其 潜 伏 期 从 数 月 到 数 一 年 不 等, 潜 在 病 人 到 医 院 进 行 检 查 和 确 诊 过 渡 期 也 很 是 不 同, 所 以 要 做 到 对 艾 滋 病 的 提 前 预 测 比 较 困 难, 我 们 接 下 来 将 着 重 对 艾 滋 病 的 及 时 发 现 进 行 研 究 我 们 主 要 建 立 了 两 种 模 型 对 其 进 行 研 究, 第 一 种 模 型 是 三 元 线 性 拟 合 模 型, 第 二 种 模 型 是 慢 性 传 染 病 研 究 最 常 用 的 Logistics Model 模 型 艾 滋 病 的 三 个 特 征 和 官 方 数 据 之 间 的 比 较 24

35 图 3.8 各 个 特 征 与 官 方 数 据 的 比 较 ( 增 长 率 ) 通 过 图 3.8 的 观 察, 我 们 可 以 看 到 ERQs, ERPs 两 个 特 征 和 发 病 人 数 的 趋 势 基 本 拟 合, 而 且 两 个 特 征 的 趋 势 变 动 相 对 于 官 方 数 据 相 对 更 大 如 对 于 上 图 的 第 3 点, 发 病 人 数 的 增 长 率 达 到 了 一 个 波 峰, 值 大 概 得 到 了 0.3 左 右, 同 时 ERQs 和 ERPs 也 都 达 到 了 顶 峰, 它 们 的 增 长 率 均 达 到 了 4 以 上 另 外, 特 征 ERNs 表 现 出 了 一 定 的 引 导 作 用, 如 其 在 第 2 周 达 到 一 次 顶 峰, 而 其 他 特 征 均 在 第 3 周 达 到 顶 峰 这 说 明 特 征 的 变 化 相 对 于 真 实 就 医 数 据 更 加 清 晰, 同 时 我 们 也 需 要 将 我 们 的 量 化 特 征 在 一 定 的 基 础 上 进 行 压 缩 和 去 除 三 元 线 性 拟 合 根 据 上 面 的 一 些 分 析, 我 们 对 艾 滋 病 进 行 三 元 线 性 拟 合 模 型, 得 到 模 型 8 Ill ( t) * ERQs ( t) * ERPs ( t) * ERNs ( t) (3-13) 图 3.9 是 模 型 8 的 拟 合 结 果 与 官 方 结 果 之 间 的 比 较, 通 过 计 算 可 知, 拟 合 数 据 和 官 方 数 据 的 相 关 性 在 0.90 左 右 通 过 图 3.9 的 归 一 化 趋 势 比 较, 模 型 8 在 整 体 趋 势 上 是 比 较 准 确 的, 而 且 其 相 关 性 也 在 0.90 左 右 然 而, 对 于 具 体 到 某 个 数 值, 模 型 8 还 存 在 着 一 定 的 偏 差 25

36 另 外,Logistics 模 型 是 研 究 慢 性 传 染 病 的 最 重 要 的 模 型, 我 们 将 引 入 Logistics 模 型 进 一 步 进 行 研 究, 希 望 可 以 使 得 拟 合 趋 势 更 加 准 确 图 3.9 拟 合 数 据 与 真 实 数 据 的 比 较 ( 三 元 线 性 拟 合 ) Logistics Model Logistics 模 型 是 前 人 用 于 研 究 慢 性 传 染 病 的 一 个 很 重 要 的 模 型 为 了 对 Logistics 模 型 有 个 全 面 的 了 解, 我 们 首 先 来 介 绍 Logistics 函 数 Logistics 函 数 如 下 : 1 f ( z) 1 z e (3-14) 随 着 z 变 量 由 - 变 化 为 +,f(z) 的 值 域 在 0 到 1 之 间 变 化 对 于 慢 性 传 染 病 的 研 究 而 言,f(z) 表 示 的 是 患 者 患 有 传 染 病 的 概 率, 是 必 然 是 0 到 1 之 间 的 一 个 值, 且 f(z) 随 着 z 是 一 个 递 增 的 函 数, 这 个 模 型 在 一 定 程 度 上 和 艾 滋 病 的 发 病 概 率 研 究 是 符 合 的 下 面 我 们 z 转 换 为 我 们 的 3 个 网 络 特 征, 并 运 用 Logistics 模 型 对 其 进 行 拟 合 最 终 的 拟 合 模 型 如 模 型 9( 公 式 3-15) Ill ( t) 1 e 1 (0.1735* ERNs( t) 0.528* ERQs( t)/ ERPs( t) ) (3-15) 26

37 接 着, 我 们 在 训 练 集 上 对 模 型 9 进 行 了 相 关 性 的 比 较, 得 到 的 结 果 如 图 3.10, 其 相 关 性 达 到 了 0.98 图 3.10 拟 合 数 据 与 真 实 数 据 的 比 较 (Logistics 模 型 ) 图 3.10 的 拟 合 曲 线 较 之 图 3.9 变 得 更 加 光 滑, 幅 度 变 化 更 加 接 近 官 方 数 据 同 时, 我 们 发 现 其 相 关 性 也 由 0.90 提 升 到 了 0.98 因 此, 我 们 最 终 选 用 了 Logistics 模 型 ( 模 型 9) 作 为 艾 滋 病 及 时 发 现 模 型, 在 下 一 章 将 会 在 测 试 集 上 对 其 的 准 确 性 和 相 关 性 进 行 验 证 27

38 第 4 章 基 于 测 试 集 的 效 果 评 估 4.1 特 征 评 估 在 第 3 章, 我 们 运 用 不 同 个 数 的 特 征 组 合 逐 一 对 我 们 的 预 测 模 型 进 行 评 估 和 改 进 首 先, 就 单 一 的 特 征 而 言,ERQs 和 实 际 发 病 情 况 之 间 有 着 最 高 的 相 关 性, 因 此, 在 模 型 1 中 我 们 使 用 ERQs 进 行 一 元 一 次 拟 合 并 作 为 我 们 实 验 的 基 础, 图 4.1 显 示 了 使 用 不 同 个 数 特 征 拟 合 的 归 一 化 比 较 的 结 果 图 4.1 不 同 特 征 个 数 的 相 关 性 结 果 比 较 ( 归 一 化 ) 在 图 4.1 中, 蓝 色 的 曲 线 代 表 了 官 方 手 足 口 病 的 发 病 趋 势, 其 他 曲 线 分 别 表 示 基 于 不 同 特 征 组 合 拟 合 之 后 的 结 果 在 我 们 的 实 验 中, 我 们 首 先 用 ERQs 作 为 单 一 变 量 对 其 进 行 了 一 元 线 性 拟 合, 其 在 训 练 集 上 的 拟 合 结 果 在 图 4.1 中 用 红 线 表 示 基 于 ERQs 的 单 一 线 性 拟 合, 我 们 可 以 对 官 方 发 病 数 据 进 行 大 概 的 估 计, 但 是 相 关 性 还 不 是 很 令 我 们 满 意 于 是 在 模 型 1 的 基 础 上, 我 们 加 入 了 ERPs 特 征 ERPs 是 当 期 网 络 用 户 对 症 状 相 关 网 页 集 合 的 关 注 程 度 的 量 化 特 征, 其 在 一 定 程 度 上 比 ERQs 对 于 潜 在 患 者 的 挖 掘 更 加 可 靠, 从 图 4.1 的 ERPs 和 ERQs 的 二 元 组 合 结 果 ( 绿 线 ), 我 们 可 以 看 到 ERPs 的 引 入 对 于 我 们 的 预 测 起 到 了 一 定 的 作 用,ERQs 和 ERPs 的 组 合 曲 线 比 起 ERQs 曲 线 在 相 关 性 和 准 确 性 要 更 加 接 近 真 实 数 据 28

39 接 着, 我 们 在 ERQs 和 ERPs 二 元 组 合 的 基 础 上 引 入 另 一 个 新 的 特 征 ERNs ERNs 是 当 期 网 络 用 户 可 以 看 到 的 该 传 染 病 的 相 关 新 闻 的 一 个 量 化 指 标, 当 期 的 新 闻 在 一 定 程 度 上 会 到 网 络 用 户 搜 索 行 为 有 一 定 的 引 导 作 用 如 某 段 时 间 关 于 艾 滋 病 的 新 闻 增 多, 那 么 搜 索 查 询 日 志 中 关 于 艾 滋 病 的 相 关 查 询 词 提 交 比 例 也 会 增 加, 但 是 当 期 不 一 定 艾 滋 病 人 的 发 病 率 增 多 了, 仅 仅 是 因 为 一 些 非 艾 滋 病 人 对 这 些 新 闻 的 关 注 程 度 上 增 多 了 因 此, 相 关 新 闻 ERNs 的 引 入 主 要 是 为 了 去 除 某 段 时 间 新 闻 对 非 潜 在 患 者 的 引 导 对 我 们 的 挖 掘 统 计 所 带 来 的 影 响 从 图 4.1 中 可 以 看 出,ERQs, ERPs 和 ERNs 的 三 元 组 合 取 得 了 一 个 不 错 的 预 测 效 果, 其 组 成 的 拟 合 模 型 更 加 接 近 真 实 数 据 这 个 三 元 组 合 可 以 对 传 染 病 发 病 人 数 的 下 滑 趋 势 作 出 比 较 好 的 预 测, 这 在 之 前 的 模 型 中 是 做 不 到 的, 所 以 ERNs 的 作 用 对 于 我 们 的 挖 掘 潜 在 患 者 的 正 确 性 还 是 起 到 了 一 定 的 作 用 的 然 而, 当 我 们 在 上 述 的 三 元 组 合 的 基 础 上 加 入 历 史 发 病 率 的 影 响 之 后, 拟 合 效 果 变 得 很 差, 拟 合 结 果 变 成 了 一 条 近 似 指 数 增 长 的 发 病 曲 线 ( 图 4.1 的 黑 色 线 条 ) 这 可 能 是 因 为 历 史 发 病 率 和 之 前 的 三 个 特 征 属 于 不 同 特 征 类 别 造 成 的, 之 前 的 三 个 特 征 是 用 户 查 询 日 志 挖 掘 的 比 较 重 要 的 特 征, 历 史 发 病 率 的 确 会 对 未 来 的 发 病 曲 线 产 生 一 定 的 影 响, 这 是 从 传 染 病 理 学 的 角 度 出 发 的, 这 两 个 类 别 特 征 的 跨 度 比 较 大, 所 以 采 用 单 一 的 线 性 拟 合 的 效 果 并 不 是 很 好 在 实 验 中, 我 们 最 终 选 用 了 ERQs, ERPs 和 ERNs 的 三 元 拟 合 模 型 作 为 我 们 最 后 的 预 测 模 型 4.2 拟 合 效 果 评 估 在 我 们 的 实 验 中, 我 们 对 手 足 口 病 提 出 了 提 前 一 周 预 测 的 预 测 模 型, 并 在 此 基 础 上 进 行 了 一 定 的 改 进, 实 现 了 艾 滋 病 的 及 时 发 现 模 型 手 足 口 病 和 艾 滋 病 是 属 于 不 同 类 别 的 传 染 病, 它 们 之 间 存 在 着 太 多 的 差 别, 因 此, 我 们 建 立 的 模 型 也 是 不 同 的 为 了 对 我 们 的 模 型 进 行 验 证, 我 们 选 用 了 官 方 网 站 上 比 较 适 宜 的 数 据 作 为 我 们 的 测 试 集, 手 足 口 病 选 用 了 2010 年 2 月 22 到 5 月 9 日 的 北 京 官 方 发 病 数 据 ( 以 周 为 单 位 进 行 统 计 ), 而 艾 滋 病 选 用 的 则 是 2010 年 1 月 到 5 月 份 的 数 据 ( 以 月 为 单 位 进 行 统 计 ) 图 4.2 显 示 了 手 足 口 病 的 预 测 模 型 在 测 试 集 上 的 评 估 正 确 性 结 果, 图 4.3 显 示 的 是 艾 滋 病 的 及 时 发 现 模 型 在 测 试 集 上 的 评 估 结 果 29

40 图 4.2 预 测 模 型 的 拟 合 结 果 与 真 实 结 果 的 比 较 ( 手 足 口 病 ) 图 4.3 及 时 发 现 模 型 的 拟 合 结 果 与 真 实 结 果 的 比 较 ( 艾 滋 病 ) 经 过 测 试 集 上 的 验 证, 基 于 手 足 口 病 的 预 测 模 型 和 基 于 艾 滋 病 的 及 时 发 现 模 型 都 收 到 了 不 错 的 成 效, 两 者 的 拟 合 结 果 和 官 方 实 际 数 据 都 达 到 了 0.95 左 右 的 相 关 性 为 了 使 得 我 们 的 研 究 对 用 户 有 一 定 的 帮 助, 我 们 将 我 们 的 整 个 实 验 流 程 形 成 了 一 个 完 整 的 流 程 体 系 下 面 我 们 将 对 我 们 的 这 个 流 程 体 系 进 行 简 单 的 介 绍 30

41 4.3 简 单 的 流 程 系 统 的 搭 建 基 于 我 们 提 出 的 实 验 方 法, 我 们 搭 建 了 一 套 自 动 的 流 程 系 统 3 整 个 自 动 流 程 的 步 骤 如 下 : 选 择 一 个 月 的 查 询 日 志 ( 既 不 属 于 训 练 集, 也 不 属 于 测 试 集 ) 进 行 分 析 和 特 征 的 提 取, 这 里 的 特 征 提 取 主 要 是 针 对 传 染 病 的 相 关 查 询 集 合 和 相 关 网 页 集 合 对 于 某 段 时 期 的 查 询 日 志, 统 计 相 关 查 询 集 合 的 总 频 度 ERQs 和 相 关 网 页 集 合 的 总 频 度 ERPs, 同 时 通 过 某 个 搜 索 引 擎 的 新 闻 高 级 搜 索 来 得 到 当 期 的 新 闻 总 数 ERNs 将 当 期 统 计 的 各 个 频 度 和 前 期 的 频 度 转 化 为 各 个 特 征 的 增 长 率 指 标 将 当 期 的 各 个 特 征 增 长 率 代 入 到 我 们 最 终 的 预 测 模 型 中, 得 到 我 们 的 预 测 结 果 之 后, 我 们 将 预 测 结 果 与 真 实 结 果 进 行 了 对 比 这 样, 用 户 可 以 更 方 便 的 对 我 们 的 预 测 结 果 进 行 评 估 下 面 的 截 图 是 我 们 的 自 动 流 程 系 统 的 一 部 分 图 4.4 自 动 流 程 网 页 截 图

42 第 5 章 讨 论 和 总 结 5.1 讨 论 基 于 不 同 传 染 病 对 应 的 不 同 的 特 点, 我 们 选 用 了 两 种 典 型 的 传 染 病 对 其 进 行 了 主 要 的 分 析, 并 建 立 了 相 应 的 模 型 对 其 发 病 情 况 进 行 评 估 对 于 手 足 口 病, 患 者 潜 伏 期 一 般 固 定 在 2-7 天 左 右, 且 爆 发 时 期 比 较 集 中, 前 期 症 状 比 较 明 显 等, 我 们 可 以 通 过 对 在 潜 伏 期 表 现 出 前 期 症 状 的 潜 在 患 者 进 行 挖 掘, 从 而 对 一 周 之 外 的 真 实 确 诊 数 据 进 行 一 个 大 致 的 评 估, 这 也 是 传 染 病 趋 势 预 测 的 一 种 新 的 尝 试 ; 而 对 于 艾 滋 病, 由 于 其 和 患 者 本 身 的 体 质 有 很 大 的 关 联, 患 者 的 潜 伏 期 从 数 月 到 十 几 年 都 可 能 出 现, 而 且 属 于 慢 性 传 染 病, 所 以 对 其 潜 在 患 者 的 挖 掘 工 作 会 相 对 困 难, 在 我 们 的 实 验 中 我 们 对 艾 滋 病 这 类 慢 性 传 染 病 采 用 的 是 及 时 发 现 的 模 型 近 几 年, 随 着 互 联 网 的 发 展, 使 用 网 络 查 询 日 志 对 传 染 病 趋 势 进 行 评 估 得 到 了 越 来 越 多 的 重 视 本 文 中, 除 了 采 用 前 人 用 到 的 ERQs( 传 染 病 相 关 查 询 词 集 合 ) 特 征 之 外, 我 们 还 引 入 了 两 个 新 的 特 征 ERPs 和 ERNs, 其 中 ERPs 是 传 染 病 相 关 网 页 集 合 的 特 征 指 标, 而 ERNs 表 示 的 是 某 时 段 的 某 传 染 病 相 关 新 闻 的 展 现 比 例 这 两 个 特 征 的 引 入 都 在 一 定 程 度 上 对 ERQs 做 了 一 个 很 好 的 补 充 ERPs 结 合 了 整 个 互 联 网 资 源 和 用 户 的 点 击 信 息, 其 用 户 行 为 信 息 和 用 户 查 询 意 图 较 之 ERQs 更 加 清 晰 化 ;ERNs 是 主 要 考 虑 了 新 闻 媒 体 对 搜 索 用 户 的 引 导 作 用 和 统 计 带 来 的 偏 置 我 们 的 模 型 较 之 前 人 的 研 究 在 一 些 方 面 作 出 了 相 应 的 改 进, 然 而, 在 我 们 的 方 法 中 还 是 存 在 着 一 些 不 足 和 局 限 性 的 我 们 目 前 实 现 的 模 型, 不 论 是 手 足 口 病 的 预 测 模 型 还 是 艾 滋 病 的 及 时 发 现 模 型, 都 只 能 对 未 来 的 发 病 就 医 趋 势 进 行 大 致 的 评 估 和 预 测 如 果 某 段 时 期 由 于 其 他 因 素 的 变 化, 如 手 足 口 病 的 新 药 被 研 发 等, 导 致 了 我 们 预 测 评 估 结 果 的 错 误, 这 样 的 预 测 错 误 结 果 我 们 还 是 无 法 去 除 的 因 此, 我 们 目 前 的 预 测 模 型 只 能 为 官 方 卫 生 部 门 的 对 未 来 确 诊 就 医 病 人 的 趋 势 估 计 提 供 一 定 的 参 考 作 用 我 们 的 实 验 中, 我 们 对 ERQs, ERPs 等 特 征 的 提 取 粒 度 还 是 相 对 较 大 的, 很 多 的 用 户 可 靠 性 信 息 没 有 被 考 虑 例 如, 可 能 在 特 征 提 取 的 过 程 中 存 在 一 定 的 数 据 噪 声, 这 些 噪 声 可 能 在 一 定 程 度 上 会 对 我 们 最 终 模 型 产 生 一 定 的 影 响 32

43 我 们 最 终 的 趋 势 发 现 模 型 是 一 个 三 个 网 络 用 户 特 征 的 简 单 线 性 拟 合, 如 果 我 们 可 以 分 析 更 多 的 网 络 特 征 或 是 建 立 一 个 相 对 复 杂 的 模 型, 或 许 我 们 的 趋 势 发 现 模 型 将 会 与 实 际 趋 势 更 加 吻 合 另 外, 我 们 按 照 我 们 的 实 验 流 程 搭 建 了 一 个 完 整 的 手 足 口 病 的 预 测 自 动 流 程 4 在 得 到 全 周 的 查 询 日 志 之 后, 我 们 就 会 启 动 我 们 的 自 动 预 测 流 程, 得 到 相 应 的 手 足 口 病 预 测 结 果 现 在 我 们 的 流 程 还 处 在 测 试 阶 段, 同 时 我 们 也 希 望 更 多 的 用 户 可 以 更 早 的 对 当 期 的 手 足 口 病 趋 势 有 一 定 的 了 解 而 对 于 艾 滋 病 的 及 时 发 现 模 型, 我 们 尝 试 了 三 元 一 次 拟 合 和 传 染 病 常 用 的 Logistics 模 型 两 种 方 法,Logistics 模 型 在 相 关 性 方 面 收 到 了 更 好 的 效 果 接 下 来, 我 们 会 进 一 步 了 解 网 络 用 户 行 为 的 用 户 行 为 特 点, 挖 掘 更 多 有 用 的 特 征, 继 续 对 我 们 的 模 型 进 行 改 进 5.2 总 结 在 整 个 实 验 中, 我 们 主 要 提 出 了 一 种 基 于 网 络 用 户 行 为 对 几 种 重 要 法 定 传 染 病 趋 势 评 估 的 方 法 在 我 们 的 实 验 中, 我 们 主 要 就 两 种 类 别 的 传 染 病 进 行 分 析, 其 中 手 足 口 病 是 季 节 性 传 染 病 的 研 究 实 例, 而 对 于 危 害 重 大 的 慢 性 传 染 病, 我 们 选 择 了 艾 滋 病 进 行 研 究 在 我 们 研 究 的 前 期, 我 们 对 这 两 类 疾 病 的 医 学 常 识 进 行 了 一 些 调 研, 如 潜 伏 期 特 点, 早 期 症 状 等, 然 后 在 这 些 医 学 特 点 的 基 础 上 对 其 详 细 的 分 析 我 们 发 现 手 足 口 病 的 潜 伏 期 一 般 在 2-7 天, 同 时 早 期 症 状 明 显 易 观 察, 而 艾 滋 病 的 潜 伏 期 长 短 很 不 均, 病 人 通 常 也 不 是 特 别 容 易 发 现 自 己 的 早 期 症 状, 所 以 我 们 选 择 对 手 足 口 病 进 行 提 前 一 周 预 测 的 模 型, 而 对 于 艾 滋 病 我 们 目 前 单 单 只 能 在 一 定 程 度 上 当 前 病 情 进 行 及 时 发 现 之 前 的 研 究 多 半 是 集 中 在 传 染 病 理 学 或 是 传 染 病 扩 散 等 角 度 对 传 染 病 趋 势 进 行 评 估, 随 着 互 联 网 的 广 泛 使 用, 研 究 人 员 开 始 通 过 对 网 络 日 志 的 挖 掘 对 传 染 病 趋 势 进 行 分 析, 在 本 文 中, 我 们 延 续 了 这 样 的 研 究 思 路, 通 过 对 网 络 日 志 相 关 信 息 的 挖 掘 进 行 潜 在 患 者 的 行 为 研 究, 并 最 终 对 未 来 的 就 医 确 诊 患 者 趋 势 进 行 评 估 除 了 采 用 传 染 病 相 关 查 询 集 合 (ERQs) 这 个 特 征 之 外, 我 们 还 从 其 他 角 度 出 发 引 入 了 其 他 两 个 新 的 特 征

44 用 户 提 交 给 搜 索 引 擎 的 查 询 词 是 用 户 查 询 意 图 的 最 直 接 的 表 现 形 式, 这 里 我 们 首 先 对 与 某 种 传 染 病 之 间 查 询 词 集 合 进 行 了 聚 类, 聚 类 的 思 想 主 要 基 于 共 享 同 一 网 页 的 查 询 词 之 间 可 能 存 在 着 语 义 上 的 相 似 性 这 个 事 实, 具 体 的 方 法 在 前 面 已 经 详 细 的 介 绍 过 了 除 了 用 户 查 询 意 图 之 外, 网 络 资 源 和 当 期 新 闻 媒 体 也 会 对 潜 在 患 者 或 是 非 潜 在 患 者 的 搜 索 行 为 产 生 一 定 的 影 响 在 我 们 的 实 验 中, 我 们 用 当 期 某 传 染 病 相 关 网 页 集 合 (ERPs) 的 被 点 击 总 频 度 作 为 衡 量 潜 在 患 者 的 一 个 重 要 特 征 ; 另 外, 我 们 引 入 了 相 关 新 闻 总 数 (ERNs), 其 可 以 在 一 定 程 度 上 反 映 当 期 的 非 潜 在 患 者 对 当 前 趋 势 的 一 个 关 注 情 况 此 外, 我 们 还 从 以 上 特 征 的 物 理 意 义 的 角 度 出 发, 对 当 前 的 潜 在 患 者 的 总 概 率 进 行 了 简 单 的 数 学 推 导, 我 们 通 过 不 同 个 数 的 特 征 组 合 的 方 式 对 实 际 数 据 进 行 拟 合, 最 终 根 据 相 关 性 评 估, 确 定 了 我 们 最 终 的 预 测 模 型 或 是 及 时 发 现 模 型 我 们 首 先 选 用 前 人 常 用 的 特 征 ERQs 作 为 单 一 变 量, 和 实 际 确 诊 数 据 进 行 一 元 一 次 拟 合, 最 终 可 以 得 到 0.85 左 右 的 相 关 性, 接 着 我 们 逐 一 加 入 ERPs 和 ERNs, 拟 合 效 果 越 来 越 好, 最 终 在 测 试 集 上 的 相 关 性 达 到 了 0.95 这 也 从 另 一 个 侧 面 反 映 了 这 两 个 特 征 的 引 入 对 我 们 的 拟 合 模 型 的 重 要 性 最 后, 基 于 我 们 整 个 实 验 的 流 程, 我 们 初 步 搭 建 了 手 足 口 病 的 自 动 预 测 系 统, 这 个 系 统 可 以 对 搜 索 引 擎 即 时 收 集 到 的 用 户 日 志 进 行 处 理, 提 取 相 应 的 特 征 并 进 行 量 化, 最 终 得 到 未 来 一 周 的 预 测 结 果 当 然 目 前 的 预 测 结 果 还 处 在 测 试 阶 段, 性 能 等 可 能 还 不 是 很 稳 定 我 们 开 发 这 个 系 统 的 目 的, 并 不 是 为 了 取 代 卫 生 官 方 数 据 的 统 计, 我 们 只 是 希 望 可 以 为 官 方 部 门 或 者 广 泛 的 用 户 提 供 一 个 更 快 更 及 时 的 发 病 趋 势 的 参 考, 使 得 他 们 能 对 突 发 的 疫 情 做 好 充 分 的 准 备 5.3 未 来 展 望 我 们 这 次 的 研 究 主 要 是 通 过 前 期 的 一 些 调 研 工 作, 提 出 了 一 些 可 能 反 映 传 染 病 流 行 趋 势 的 特 征, 通 过 这 些 特 征 的 变 化 情 况 来 对 当 期 潜 在 患 者 的 趋 势 进 行 评 估 当 然, 现 在 的 特 征 和 模 型 等 均 不 是 特 别 完 善, 我 们 还 是 需 要 尝 试 很 多 不 同 的 方 法 首 先, 这 次 的 实 验 中, 我 们 只 是 采 用 了 简 单 的 多 元 一 次 拟 合 的 方 式 对 各 个 特 征 进 行 评 估 之 后, 我 们 会 继 续 调 研 各 个 特 征 之 间 的 潜 在 关 系, 通 过 不 同 的 关 系, 使 用 不 同 的 拟 合 方 式, 或 许 效 果 会 更 好 34

45 这 次 的 实 验 中, 并 没 有 重 点 考 虑 用 户 的 可 靠 性 等 因 素 搜 索 日 志 中 的 很 多 数 据 的 噪 声 可 能 会 对 我 们 的 统 计 和 建 模 产 生 一 定 的 影 响, 下 一 步, 我 们 将 会 将 用 户 可 靠 性 概 率 等 加 入 进 来 另 外, 我 们 会 对 更 多 的 网 络 用 户 行 为 进 行 一 定 的 分 析, 希 望 可 以 找 到 更 多 有 用 的 网 络 特 征 为 我 们 模 型 所 用 总 之, 这 个 新 兴 的 领 域 还 有 很 多 需 要 我 们 去 探 索, 我 们 希 望 我 们 的 研 究 可 以 为 传 染 病 理 学 的 传 播 预 防 等 有 一 定 的 启 示 作 用 35

46 插 图 索 引 图 1.1 潜 在 用 户 与 搜 索 引 擎 的 交 互 整 个 过 程...3 图 2.1 手 足 口 病 的 训 练 集 和 测 试 集 趋 势...8 图 2.2 艾 滋 病 数 据 的 训 练 集 和 测 试 集 趋 势...8 图 2.3 一 个 简 单 的 查 询 点 击 图 样 例 图 2.4 官 方 确 诊 数 据 和 各 个 特 征 归 一 化 的 变 化 情 况 ( 手 足 口 病 ) 图 2.5 官 方 确 诊 数 据 和 各 个 特 征 的 增 长 率 变 化 情 况 ( 手 足 口 病 ) 图 3.1 一 元 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 增 长 率 ) 图 3.2 一 元 拟 合 结 果 与 官 方 确 诊 结 果 的 比 较 ( 数 据 归 一 化 之 后 ) 图 3.3 两 个 特 征 的 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 增 长 率 ) 图 3.4 二 元 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 数 据 归 一 化 之 后 ) 图 3.5 三 特 征 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 增 长 率 ) 图 3.6 三 特 征 拟 合 结 果 与 官 方 确 诊 数 据 的 比 较 ( 数 据 归 一 化 后 ) 图 3.7 历 史 发 病 率 加 入 前 后 的 比 较 ( 归 一 化 ) 图 3.8 各 个 特 征 与 官 方 数 据 的 比 较 ( 增 长 率 ) 图 3.9 拟 合 数 据 与 真 实 数 据 的 比 较 ( 三 元 线 性 拟 合 ) 图 3.10 拟 合 数 据 与 真 实 数 据 的 比 较 (Logistics 模 型 ) 图 4.1 不 同 特 征 个 数 的 相 关 性 结 果 比 较 ( 归 一 化 ) 图 4.2 预 测 模 型 的 拟 合 结 果 与 真 实 结 果 的 比 较 ( 手 足 口 病 ) 图 4.3 及 时 发 现 模 型 的 拟 合 结 果 与 真 实 结 果 的 比 较 ( 艾 滋 病 ) 图 4.4 自 动 流 程 网 页 截 图

47 表 格 索 引 表 2.1 日 志 提 取 的 特 征 信 息...9 表 2.2 两 类 传 染 病 相 关 集 合 情 况 表 2.3 各 个 特 征 和 官 方 数 据 的 归 一 化 相 关 性 比 较 ( 手 足 口 病 ) 表 2.4 各 个 特 征 和 官 方 数 据 的 增 长 率 相 关 性 分 析 ( 手 足 口 病 ) 表 3.1 二 元 一 次 拟 合 相 关 性 效 果 分 析 ( 手 足 口 病 ) 表 3.2 三 特 征 拟 合 相 关 性 效 果 分 析 ( 手 足 口 病 )

48 参 考 文 献 [1] 中 国 人 民 共 和 国 卫 生 行 业 标 准 法 定 传 染 病 诊 断 标 准. 河 南 省 焦 作 市 疾 病 控 制 中 心 [2] David E, Jon K. Networks, crowds, and markets: reasoning about a highly connected world. Not yet published, 2010, Hardback. ISBN-13: [3] 李 晓 明, 朱 家 稷, 闫 宏 飞. 互 联 网 上 主 题 信 息 的 一 种 收 集 与 处 理 模 型 及 其 应 用. 计 算 机 研 究 与 发 展, [4] 第 25 次 中 国 互 联 网 络 发 展 状 况 统 计 报 告, 中 国 互 联 网 络 信 息 中 心 (CNNIC), 2010 年 1 月 [5] Downey D, et al. Understanding the relationship between searcher s queries and information goals. CIKM, 2008, [6] Jeremy G, et al. Detecting influenza epidemics using search engine query data. Nature457, 2009, [7] Weize K, et al. Detecting epidemic tendency by mining search logs. In Proceeding of the 19 th international Conference on World Wide Web. WWW 10, ACM, [8] Ji-Rong W, et al. Clustering user queries of a search engine. ACM TOIS, 20(1), [9] Zhiyuan L, Maosong S. Asymmetrical query recommendation method based on bipartite network resource allocation. In Proceeding of the 17 th international Conference on World Wide Web. WWW 08,ACM, [10] Ronald C. Log-linear models and Logistic regression. 2 nd Ed. published by Springer-Verlag in 1997(ISBN ). [11] David G.K, Mitchel K. Logistic regression: a self-learning text. 2 nd published by Springer in 2002(ISBN ). 38

49 致 谢 感 谢 刘 奕 群 老 师 在 整 个 毕 设 过 程 中 对 我 的 耐 心 细 致 的 指 导 感 谢 马 少 平 老 师, 张 敏 老 师 和 金 奕 江 老 师 在 我 毕 业 研 究 过 程 提 出 的 宝 贵 意 见 感 谢 实 验 室 师 兄 们 一 直 以 来 给 予 我 的 帮 助 39

50

51

52

53 附 录 A 外 文 资 料 的 书 面 翻 译 使 用 搜 索 查 询 日 志 实 现 流 感 病 情 的 及 时 发 现 季 节 性 流 感 目 前 已 经 成 为 了 威 胁 公 众 健 康 的 一 个 重 要 因 素, 每 年 致 使 引 起 全 球 范 围 内 将 有 250,000 到 500,000 的 人 死 亡 除 了 季 节 性 流 感 之 外, 今 年 出 现 了 一 种 新 型 的, 人 类 尚 没 有 免 疫 能 力 的 流 感 病 毒, 这 种 病 毒 可 以 在 人 与 人 之 间 通 过 空 气 等 直 接 进 行 传 播 引 起 了 全 球 范 围 巨 大 的 恐 慌 众 所 周 知, 对 病 情 趋 势 发 现 的 越 早, 人 们 就 能 越 早 的 对 病 情 作 出 反 应, 从 而 可 以 在 一 定 程 度 上 减 少 其 对 经 济 发 展 等 带 来 的 影 响 一 种 及 时 发 现 病 情 的 方 法 是 根 据 搜 索 引 擎 用 户 对 健 康 相 关 的 查 询 词 的 关 注 情 况 进 行 实 时 监 测 本 文 中, 我 们 将 提 出 一 种 基 于 大 规 模 搜 索 日 志 对 类 流 感 发 病 趋 势 进 行 即 时 发 现 的 方 法 我 们 的 研 究 时 基 于 这 样 的 假 设 : 流 感 患 者 在 搜 索 引 擎 中 提 交 流 感 相 关 的 查 询 词 进 行 查 询 的 概 率 要 相 对 高 于 非 患 者, 所 以 通 过 这 种 方 法, 我 们 可 以 较 及 时 发 现 当 期 的 流 感 发 病 情 况, 当 然 这 个 要 考 虑 到 网 络 日 志 一 天 的 搜 集 延 迟 这 种 方 法 使 得 我 们 可 以 通 过 大 规 模 网 络 查 询 日 志 对 各 地 的 流 感 趋 势 进 行 评 估 传 统 的 疫 情 监 测 系 统, 包 括 美 国 的 疾 病 预 防 与 控 制 中 心 (CDC) 或 是 欧 洲 的 流 感 监 测 中 心 (EISS), 主 要 都 是 依 赖 于 病 理 学 和 医 学 诊 断 的 数 据, 类 流 感 患 者 的 就 医 人 数 是 一 个 重 要 的 考 量 指 标 国 家 疾 病 预 防 与 控 制 中 心 每 周 都 从 这 些 监 控 系 统 中 统 计 全 国 和 地 区 性 的 流 感 数 据, 但 是 由 于 统 计 等 因 素 的 影 响, 将 会 造 成 1-2 周 的 发 布 延 迟 为 了 尝 试 更 快 的 对 病 情 作 出 及 时 评 估, 一 些 监 测 系 统 尝 试 对 一 些 流 感 发 病 的 间 接 信 号 进 行 监 控, 例 如 对 流 感 健 康 咨 询 电 话 的 流 量 变 化 监 测, 或 是 对 当 期 治 疗 流 感 的 药 物 的 销 售 情 况 进 行 实 时 记 录 据 统 计, 每 年 大 概 有 9000 万 人 会 通 过 搜 索 引 擎 对 疾 病 或 是 其 他 医 学 问 题 进 行 查 询, 因 此, 网 络 查 询 日 志 对 于 健 康 趋 势 的 估 计 是 非 常 重 要 的 资 源 前 人 曾 经 尝 试 通 过 对 某 瑞 典 医 学 网 站 某 些 特 定 网 页 的 用 户 访 问 情 况 和 特 定 广 告 词 点 击 情 况 进 行 跟 踪, 从 而 对 流 感 发 病 趋 势 进 行 实 时 监 控 另 外, 另 一 对 于 雅 虎 搜 索 日 志 的 统 计, 发 现 那 些 包 含 流 感 或 是 流 感 病 毒 的 查 询 词 的 访 问 量 和 实 际 的 确 诊 数 据 有 较 高 的 相 关 性 基 于 这 些 前 人 的 工 作, 我 们 将 实 现 基 于 搜 索 日 志 的 流 感 相 关 查 询 词 的 自 动 挖 掘 工 作 我 们 的 研 究 数 据 集 是 最 近 5 年 的 谷 歌 用 户 查 询 集 合, 由 于 数 据 集 和 用 户 群 的 庞 大, 我 们 将 会 美 国 的 整 个 类 流 感 发 病 趋 势 进 行 分 析 由 于 谷 歌 搜 索 引 擎 的 全 球 广 泛 使 用, 我 们 的 系 统 和 模 型 在 一 定 程 度 上 是 全 球 通 用 的 41

54 我 们 对 2003 年 到 2008 年 的 历 史 线 上 查 询 日 志 进 行 了 整 合, 并 以 周 为 单 位 统 计 了 最 常 被 访 问 的 前 5000 万 查 询 词, 考 虑 到 用 户 信 息 的 隐 私 性, 我 们 没 有 提 取 任 何 与 用 户 有 关 的 信 息 另 外, 每 个 时 间 系 列 的 统 计 我 们 都 进 行 了 归 一 化, 归 一 化 的 方 法 是 该 查 询 词 的 提 交 次 数 除 以 当 期 的 所 有 查 询 词 的 提 交 总 和, 整 个 查 询 词 的 分 布 见 图 6.1 图 6.1 较 高 得 分 的 查 询 词 中 多 少 与 流 感 相 关 的 评 估 另 外, 我 们 尝 试 用 一 种 简 单 的 数 学 模 型 来 分 析 任 何 一 个 到 医 院 就 诊 的 病 人 患 有 类 流 感 的 概 率 有 多 大, 这 个 也 等 同 于 类 流 感 病 人 到 医 院 就 诊 的 概 率 对 这 个 概 率 的 计 算, 我 们 可 以 用 这 个 变 量 任 一 用 户 搜 索 词 与 类 流 感 相 关 的 概 率 来 表 示 我 们 使 用 双 对 数 线 性 模 型 对 类 流 感 病 人 就 医 概 率 和 类 流 感 查 询 词 提 交 概 率 进 行 拟 合, 在 这 个 公 式 中,I(t) 代 表 类 流 感 病 人 就 医 概 率,Q(t) 表 示 t 时 间 内 类 流 感 查 询 词 的 查 询 比 例, 其 中 a 是 一 个 多 线 性 系 数, 而 e 是 误 差 项,logit(p) 和 ln(p/(1-p)) 等 价 同 时, 我 们 也 引 入 了 CDC 的 历 史 官 方 数 据 来 改 进 我 们 的 模 型, 对 于 每 个 美 国 监 控 地 区,CDC 官 方 网 站 统 计 并 分 布 流 感 病 人 的 就 医 确 诊 平 均 情 况, 统 计 结 果 以 周 为 单 位 另 外, 在 每 年 的 非 流 感 季 节,CDC 等 官 方 网 站 没 有 对 当 段 时 间 的 数 据 进 行 统 计, 因 此, 尽 管 我 们 的 模 型 也 能 对 这 段 时 间 的 数 据 进 行 大 概 的 预 测, 但 是 由 于 没 有 实 际 数 据 用 于 验 证, 所 以 我 们 在 拟 合 模 型 中 去 除 了 该 时 间 段 拟 合 数 据 我 们 设 计 了 一 个 自 动 的 获 取 流 感 相 关 查 询 词 集 合 的 流 程, 而 不 需 要 流 感 的 任 何 先 验 知 识 如 果 我 们 仅 仅 使 用 一 个 单 一 的 查 询 词 作 为 拟 合 变 量, 我 们 来 对 42

55 我 们 的 模 型 效 果 进 行 评 估, 对 现 有 数 据 库 的 5000 万 条 候 选 查 询 词 运 用 这 种 方 法 分 别 进 行 测 试, 从 而 选 出 那 些 具 有 较 好 的 拟 合 效 果 较 好 查 询 词 集 合 在 我 们 的 方 法 中, 如 果 一 个 查 询 词 在 我 们 的 模 型 拟 合 到 的 地 区 越 多, 我 们 将 给 这 个 查 询 词 赋 予 越 高 的 权 重 因 为 一 个 能 拟 合 到 全 部 9 个 地 区 的 查 询 词 的 出 现 概 率 要 远 小 于 只 是 拟 合 到 1 个 地 区 的 查 询 词 概 率 ( 见 图 6.2) 图 6.2 我 们 的 模 型 预 测 和 官 方 数 据 之 间 的 比 较 这 样 的 查 询 词 自 动 筛 选 流 程 生 成 了 一 系 列 的 得 分 较 高 的 查 询 词 集 合, 这 些 查 询 词 用 9 个 地 区 的 平 均 Z 转 换 相 关 性 进 行 了 排 序 为 了 确 定 对 流 感 相 关 查 询 词 的 分 布, 我 们 考 虑 选 定 不 同 的 得 分 较 高 的 查 询 词 组 合 基 于 各 个 集 合 的 查 询 词 总 数 我 们 衡 量 不 同 模 型 的 性 能, 最 后 选 择 最 符 合 官 方 分 布 数 据 的 前 n 条 查 询 词 作 为 进 行 性 能 评 估 ( 图 6.1) 经 过 最 终 的 性 能 评 估, 选 取 n=45 的 得 分 较 高 的 查 询 词 获 得 了 最 好 的 拟 合 效 果 这 45 个 搜 索 查 询 词, 尽 管 是 被 自 动 选 取 的, 但 是 却 和 类 流 感 症 状 有 着 较 高 的 相 关 性 得 分 较 高 的 前 100 条 中 的 另 外 一 些 不 包 含 在 我 们 模 型 中 的 查 询 词, 比 如 高 中 生 篮 球, 在 美 国 刚 好 和 季 节 性 流 感 季 节 在 时 间 上 有 一 定 的 重 叠 性 使 用 流 感 症 状 查 询 词 比 例 作 为 单 独 的 考 察 变 量, 我 们 选 用 一 个 最 终 的 线 性 拟 合 函 数 对 2003 年 2007 年 的 类 流 感 发 病 趋 势 进 行 拟 合, 最 终 达 到 了 唯 一 且 地 区 独 立 的 系 数 我 们 的 模 型 最 终 能 和 CDC 官 方 分 布 数 据 得 到 更 好 的 拟 合 效 果, 平 均 相 关 性 达 到 0.90 ( 最 小 值 =0.80, 最 大 值 =0.96,n=9 地 区 图 6.2) 最 终 的 模 型 选 取 了 各 个 地 区 年 的 42 个 没 有 经 过 测 试 的 点 进 行 验 证, 这 些 点 在 之 前 的 所 有 步 骤 中 都 被 直 接 移 除 这 42 点 获 得 了 平 均 0.97 的 相 关 性 ( 最 小 值 =0.92, 最 大 值 =0.99,n=9 地 区 ) 接 下 来, 我 们 使 用 我 们 的 模 型 来 对 流 感 季 节 来 对 类 流 感 症 状 进 行 估 计, 同 时 把 每 周 的 结 果 放 在 CDC 的 流 感 传 染 病 的 防 治 网 站 来 评 估 我 们 结 果 的 43