中 国 中 文 信 息 学 会 2014 战 略 研 讨 会 基 于 NLP 的 多 领 域 异 构 信 息 处 理 王 晓 龙 哈 尔 滨 工 业 大 学 2014/4/21
主 要 内 容 概 述 金 融 信 息 处 理 问 答 系 统 与 知 识 服 务 跨 语 言 分 析 生 物 医 药 2
破 题 : 自 顶 向 下 VS 自 底 向 上 未 来 十 年 中 文 信 息 处 理 的 主 要 着 眼 点 和 着 力 点 应 该 在 哪 里? 国 际 上 自 然 语 言 处 理 领 域 近 年 来 有 哪 些 最 新 的 前 沿 进 展? 中 文 信 息 处 理 的 重 要 原 始 创 新 可 能 在 哪 里? 中 文 信 息 处 理 相 关 产 业 发 展 的 重 要 方 向 是 什 么? 如 何 推 动 中 文 信 息 处 理 进 入 国 家 重 大 科 研 计 划?
前 沿 进 展 基 础 资 源 建 设 大 规 模 知 识 图 谱 (Knowledge Graph) 实 现 语 义 理 解 资 源 相 关 的 构 建 和 管 理 方 法 新 方 法 深 度 学 习 词 的 分 布 式 语 义 表 示 并 行 自 然 语 言 处 理 算 法 处 理 大 数 据 新 应 用 领 域 社 会 网 络 用 户 兴 趣 建 模 生 物 医 药 Watson 可 以 进 行 辅 助 医 疗 国 家 安 全
未 来 十 年 中 文 信 息 处 理 的 着 眼 点 着 力 点 中 文 知 识 图 谱 资 源 建 设 基 于 知 识 的 语 义 理 解 方 法 信 息 处 理 信 息 理 解 可 并 行 的 自 然 语 言 处 理 方 法 应 对 大 数 据 的 挑 战 能 够 造 福 民 生 的 应 用 领 域 医 疗 等 自 然 人 机 界 面
中 文 信 息 处 理 相 关 产 业 发 展 的 重 要 方 向 自 然 人 机 界 面 计 算 机 将 发 展 成 个 人 生 活 助 手 交 互 式 问 答 智 能 家 电 自 然 语 言 控 制 交 叉 应 用 领 域 健 康 信 息 学
中 文 信 息 处 理 的 重 要 原 始 创 新 可 能 在 哪 里 中 文 本 身 : 语 义 表 示 与 推 理 资 源 方 法 中 文 扩 展 : 异 构 信 息 处 理 文 本 + 数 据 + 语 音 + 图 像 + 领 域 扩 展 : 交 叉 领 域 的 中 文 信 息 处 理 该 领 域 本 体 知 识 金 融 生 物 医 药 国 家 安 全 语 言 扩 展 : 多 语 言 跨 语 言
主 要 内 容 概 述 金 融 信 息 处 理 问 答 系 统 与 知 识 服 务 跨 语 言 分 析 生 物 医 药 8
9 实 例 1 2013 年 4 月 23 日 : 一 条 据 称 来 自 美 联 社 的 推 特 消 息 23 日 下 午 13 时 07 分 50 秒 说, 白 宫 发 生 两 起 爆 炸, 美 国 总 统 奥 巴 马 受 伤 这 条 推 文 发 出 几 分 钟 后 就 令 美 国 股 指 如 疯 狂 过 山 车 般 暴 跌, 美 国 股 市 市 值 短 时 间 蒸 发 了 2000 亿 美 元 美 联 社 几 乎 立 刻 暂 停 推 特 线 路, 撤 掉 了 这 条 消 息 13 时 10 分, 第 一 条 澄 清 信 息 出 现
10 实 例 2 2013 年 1 月 24 日, 微 博 注 册 ID 为 资 深 金 融 小 邪 女 的 一 条 31 字 微 博 : 处 长 今 日 下 午 告 诉 @ 资 深 金 融 小 邪 女 一 个 重 大 消 息 : IPO 近 期 开 闸! 立 此 帖 为 证! 在 发 出 后 十 多 分 钟, 在 上 午 10 时 半 之 前 还 上 涨 超 过 40 点 的 大 盘, 犹 如 过 山 车 一 般, 从 最 高 2362 点 一 口 气 滑 到 2287 点, 落 差 达 70 点 之 多, 引 发 A 股 动 荡 财 联 社 称, 经 调 查 发 现, 此 账 号 为 微 博 营 销 账 号, 主 要 以 发 耸 人 言 论 以 吸 引 人 关 注 然 后 发 企 业 负 面 以 删 帖 赚 钱 为 业 务 经 过 财 联 社 进 一 步 确 认,IPO 暂 停 仍 延 续 2012 年 12 月 5 日, 有 博 客 上 发 消 息 指 贵 州 茅 台 检 测 结 果 已 经 出 炉, 贵 州 茅 台 股 价 应 声 一 度 跌 逾 6%, 并 带 动 板 块 内 其 他 个 股 回 落 ; 但 随 后 又 有 消 息 称 香 港 检 测 结 果 不 含 塑 化 剂, 贵 州 茅 台 随 后 反 弹, 尾 盘 跌 幅 收 窄, 最 终 收 跌 1.24% 据 新 浪 财 经 报 道, 经 证 实, 网 传 茅 台 检 测 结 果 系 造 假 中 国 香 港 负 责 食 品 安 全 检 查 的 机 构 是 食 物 环 境 卫 生 署 和 香 港 食 物 安 全 中 心 ( 负 责 检 测 ), 并 无 香 港 特 区 食 品 安 全 监 管 检 测 局 一 机 构
研 究 内 容 文 本 消 息 - 数 据 突 变 因 果 关 系 数 据 突 变 - 消 息 来 源 诊 断 关 系 文 本 数 据 的 可 信 性 和 时 间 紧 迫 性 金 融 本 体 知 识 和 NLP 的 结 合 11
主 要 内 容 概 述 金 融 信 息 处 理 问 答 系 统 与 知 识 服 务 跨 语 言 分 析 生 物 医 药 12
问 答 的 启 示 : Q & A Waston -Named after the founder of IBM --Thomas J. Waston -Won $1,000,000 in Game Jeopardy in 2011, defeated 2 human competeters -Source : encyclopaedia, wikipedia, webpages, structural data -100 algorithms, 90 servers, 3s response time Jeopardy Game Rules: -Get points for correct answers -Lose points for incorrect ones
未 来 着 眼 点 购 物 机 器 人 淘 宝 :600 万 厂 家, 需 要 1-n 个 服 务 员, 不 能 24 小 时 工 作 ; 其 他 网 点 客 服 机 器 人 各 类 领 域 如 : 银 行 电 信 等 聊 天 机 器 人 服 务 业 专 家 系 统 提 供 专 家 知 识 服 务
研 究 内 容 基 于 异 构 信 息 的 交 互 式 问 答 基 于 时 间 敏 感 的 问 句 检 索 基 于 数 据 计 算 的 答 案 生 成 基 于 上 下 文 语 境 的 连 续 问 句 理 解 基 于 用 户 意 图 多 样 化 的 问 句 推 荐
主 要 内 容 概 述 金 融 信 息 处 理 问 答 系 统 与 知 识 服 务 跨 语 言 分 析 生 物 医 药 16
gn 七 五暴力 2009-07-06 http://www 1763270 新疆 7.5暴乱 的跨语言舆情演化 ئىيۇن شىنخۇا ئاگېنتلىقى شىنجاڭ پىچان 以广东韶关 6 26 事件为 5主题在 Xabnam,Diyarim تېلېگراممىسى 26 : ئىيۇن سەھەر سائەت تۇرپان تىن 50 مىنۇت ئۆتكەندە شىنجاڭ 等维吾尔文主流网站 BBS ۋىاليىتىنىڭ پىچان ناھىيەسى لۈكچۈن بازىرىدا 个人博客等空间传播虚假信 زوراۋانلىق تېررورلۇق ھۇجۇم قىلىش 息 散发谣言 制造民族矛 دېلوسى يۈز بېرىپ توپىالڭچىالر ئىلگىرى 盾 大肆煽动民族仇视 09-6-27 كېيىن 乌鲁木齐 7.5 暴力犯罪事 件 造成197人死亡 1700余 人受伤,直接经济损失达6千 09-7-5 多万 间接损失难以统计 09-6-26 17
研 究 内 容 跨 语 言 : 多 种 语 言 之 间 的 互 动 更 加 频 繁, 不 同 语 言 的 舆 情 表 现 特 征 不 一, 舆 情 的 关 联 与 对 比 综 合 是 一 大 难 题 跨 地 域 : 一 般 不 局 限 于 单 个 空 间, 跨 度 极 大, 需 要 地 域 的 综 合 演 化 分 析 跨 社 群 : 涉 及 不 同 语 种 不 同 民 族 的 社 会 群 体, 舆 情 与 不 同 群 体 的 互 动 机 制 尚 缺 乏 研 究 18
主 要 内 容 概 述 金 融 信 息 处 理 问 答 系 统 与 知 识 服 务 跨 语 言 分 析 生 物 医 药 19
NLP 与 生 命 科 学 人 类 对 生 命 的 认 识 水 平 系 统 器 官 组 织 细 胞 分 子 医 学 及 医 学 信 息 技 术 生 物 科 学 及 生 物 信 息 技 术
基 于 NLP 的 生 物 信 息 处 理 技 术 分 子 水 平 对 生 命 的 认 识 染 色 体 : 遗 传 物 质 的 主 要 载 体 ; DNA: 主 要 遗 传 物 质, 双 螺 旋 结 构, 遗 传 信 息 的 载 体 ; 基 因 : 遗 传 物 质 的 功 能 单 位 和 结 构 单 位, 基 因 是 DNA 片 段 ; 蛋 白 质 : 特 定 的 决 定 人 体 的 特 定 细 胞 和 器 官 的 形 成 与 运 转
NLP 与 生 命 科 学 人 类 对 生 命 的 认 识 水 平 系 统 器 官 组 织 细 胞 分 子 医 学 及 医 学 信 息 技 术 生 物 科 学 及 生 物 信 息 技 术
交 叉 应 用 领 域 某 一 产 业 的 发 展 是 多 个 交 叉 领 域 共 同 发 展 的 结 果 如 在 医 药 医 疗 等 方 面, 就 涉 及 以 下 几 个 领 域 : 1. 生 物 学 2. 医 学 3. 化 学 4.? 如 何 融 合 多 个 交 叉 领 域 的 信 息 以 促 进 某 一 产 业 的 发 展 NLP 技 术, 为 什 么? 企 业 中,80% 左 右 的 信 息 是 非 结 构 化 的, 其 中 绝 大 部 分 以 文 本 的 形 式 存 在 人 类 历 史 上, 以 语 言 和 文 字 记 载 和 流 传 的 知 识 占 知 识 总 量 的 80% 以 上 医 学 相 关 领 域 : 生 物 医 学 文 献 化 学 医 学 文 献 电 子 健 康 档 案 ( 即 电 子 病 历 ) 药 物 研 制 报 告 药 物 说 明 书 药 物 监 督 管 理 局 文 档 蛋 白 质 结 构 分 子 结 构 化 学 结 构 ( 结 构 化 数 据 ) 等 23
24 传 统 的 新 药 开 发 过 程 临 床 前 研 究 和 开 发 临 床 研 究 和 开 发 新 药 申 请 上 市 后 检 测 药 物 合 成 和 特 性 研 究 I 期 II 期 副 作 用 报 告 调 查 / 抽 样 实 验 动 物 实 验 短 期 长 期 III 期 检 查 平 均 6.5 年 平 均 7 年 平 均 1.5 年 FDA( 食 品 药 品 管 理 局 ) 30 天 审 核 新 药 申 请 核 准 平 均 耗 时 15 年,65 种 合 成 物 中 仅 5 种 可 以 进 入 临 床 实 验, 20 个 候 选 药 物 中 仅 1 个 能 批 准 上 市, 耗 费 13 亿 美 元
25 NLP 技 术 对 新 药 开 发 的 影 响 临 床 前 研 究 和 开 发 临 床 研 究 和 开 发 新 药 申 请 上 市 后 检 测 从 医 学 相 关 文 献 中 发 现 新 的 合 成 化 合 物 + 生 物 结 构 + 化 学 结 构 动 物 实 验 短 期 I 期 长 期 II 期 III 期 副 作 用 报 告 调 查 / 抽 样 实 验 电 子 病 历 文 本 挖 掘 检 查 时 间 大 量 缩 短 平 均 7 年 平 均 1.5 年 FDA( 食 品 药 品 管 理 局 ) 30 天 审 核 新 药 申 请 核 准 大 量 缩 短 临 床 前 研 究 和 开 发 时 间, 大 幅 度 提 高 合 成 物 准 确 率, 提 高 药 物 上 市 率, 减 少 药 物 开 发 费 用 老 药 新 疗 效 发 现 药 物 副 作 用 发 现
26 NLP 技 术 在 新 药 开 发 产 业 的 应 用 现 状 Linguamatics 公 司 研 发 的 I2E 文 本 挖 掘 软 件 已 成 功 应 用 于 全 球 排 名 前 10 制 药 公 司 中 的 8 家 老 药 新 用 ( 疗 效 ) 案 例 :(1) 西 地 那 非 ( 也 就 是 伟 哥 ), 原 来 是 用 来 治 疗 高 血 压 的 药 物 ;(2) 阿 司 匹 林, 在 80 年 是 头 疼 脑 热 的 居 家 良 药, 目 前 它 的 使 用 范 围 已 经 逐 步 扩 大 到 了 预 防 心 肌 梗 死 中 风 静 脉 血 栓, 甚 至 一 部 分 癌 症 和 阿 尔 兹 海 默 症 ; 药 物 副 作 用 案 例 : 罗 非 考 昔 ( 一 种 在 美 国 广 泛 使 用 的 抗 关 节 炎 药 物 ) 因 能 增 加 心 脏 风 险 在 2004 年 下 市 ; 研 究 表 明, 该 药 物 在 临 床 前 研 究 阶 段 就 能 被 排 除 掉
27 NLP 技 术 用 于 药 物 相 互 作 用 信 息 抽 取 药 物 相 互 作 用 (Drug Interation) 是 指 两 种 或 两 种 以 上 的 药 物 同 时 应 用 时 所 发 生 的 药 效 变 化 即 产 生 协 同 ( 增 效 ) 相 加 ( 增 加 ) 拮 抗 ( 减 效 ) 作 用 合 理 的 药 物 相 互 作 用 可 以 增 强 疗 效 或 降 低 药 物 不 良 反 应, 反 之 可 导 致 疗 效 降 低 或 毒 性 增 加, 还 可 能 发 生 一 些 异 常 反 应, 干 扰 治 疗, 加 重 病 情 作 用 增 加 称 为 药 效 的 协 同 或 相 加, 作 用 减 弱 称 为 药 效 的 拮 抗, 亦 称 谓 配 伍 禁 忌 如 近 几 年 来, 许 多 抗 过 敏 药 如 特 非 那 定 阿 司 咪 唑 等, 与 咪 唑 类 抗 真 菌 药 大 环 内 酯 类 抗 生 素 ( 红 霉 素 等 ) 并 用 后 发 生 严 重 的 心 脏 毒 性, 少 数 人 甚 至 致 死 为 此, 要 求 生 产 厂 家 在 说 明 中 尽 把 相 互 作 用 严 格 注 明 如 何 获 取 药 物 相 互 作 用 信 息 来 指 导 用 药? 化 学 实 验 : 药 物 组 合 数 量 庞 大, 难 以 实 现 药 品 化 学 属 性 分 析 : 如 酸 性 药 物 和 碱 性 药 物 不 能 同 时 服 用 NLP 技 术 :1) 从 医 疗 文 献 中 挖 掘 ;2) 从 电 子 病 历 中 挖 掘...
28 NLP 技 术 辅 助 医 疗 自 动 分 诊 根 据 病 人 提 交 的 症 状 描 述, 自 动 确 定 所 需 进 入 的 科 室 ( 医 导 ) 辅 助 诊 断 根 据 病 人 电 子 病 历 中 的 症 状 检 测 数 据 等 信 息, 推 荐 几 种 治 疗 方 案 或 者 判 定 是 否 需 要 某 一 特 殊 处 理 ( 如 抗 感 染 治 疗 ) 疾 病 表 型 症 状 分 析 根 据 病 人 电 子 病 历 中 的 症 状 和 疾 病 数 据 等 信 息, 提 取 出 疾 病 的 表 型 症 状 ( 具 有 指 示 作 用 ), 如 肺 癌 的 表 型 症 状 分 析 等 同 类 病 人 自 动 筛 选 临 床 实 验 过 程 中 需 要 召 集 同 类 病 人 进 行 对 比 实 验, 从 电 子 病 历 库 中 自 动 筛 选 同 类 病 人
结 论 创 新 点 : 中 文 本 身 : 语 义 表 示 与 推 理 中 文 扩 展 : 异 构 信 息 处 理 领 域 扩 展 : 交 叉 领 域 的 中 文 信 息 处 理 语 言 扩 展 : 多 语 言 跨 语 言 基 于 NLP 的 跨 语 言 交 叉 领 域 异 构 信 息 处 理
谢 谢!