350 Journal of Software 软 件 学 报 Vol.21, Supplement, December 2010 随 着 经 济 的 发 展 和 人 民 生 活 水 平 的 提 高, 当 今 社 会 人 们 通 过 购 买 股 票 进 行 投 资 已 逐 渐 为 大 势 所 趋,

Transcription

1 ISSN , CODEN RUXUEW Journal of Software, Vol.21, Supplement, December 2010, pp by Institute of Software, the Chinese Academy of Sciences. All rights reserved. Tel/Fax: 面 向 股 票 新 闻 的 情 感 分 类 方 法 高 旸 1, 周 莉 1, 张 勇 1,2,3+, 邢 春 晓 1,2,3, 孙 一 钢 4 4, 朱 先 忠 1 ( 清 华 大 学 计 算 机 科 学 与 技 术 系, 北 京 ) 2 ( 清 华 大 学 信 息 技 术 研 究 院, 北 京 ) 3 ( 清 华 大 学 清 华 信 息 科 学 与 技 术 国 家 实 验 室 ( 筹 ), 北 京 ) 4 ( 国 家 图 书 馆, 北 京 ) Sentiment Classification for Stock News GAO Yang 1, ZHOU Li 1, ZHANG Yong 1,2,3+, XING Chun-Xiao 1,2,3, SUN Yi-Gang 4, ZHU Xian-Zhong 4 1 (Department of Computer Science and Technology, Tsinghua University, Beijing , China) 2 (Research Institute of Information Technology, Tsinghua University, Beijing , China) 3 (Tsinghua National Laboratory for Information Science and Technology, Tsinghua University, Beijing , China) 4 (National Library of China, Beijing , China) + Corresponding author: zhangyong05@tsinghua.edu.cn, Gao Y, Zhou L, Zhang Y, Xing CX, Sun YG, Zhu XZ. Sentiment classification for stock news. Journal of Software, 2010,21(Suppl.): Abstract: Web news articles play an important role in stock market. Sentiment classification of news articles can help the investors make investment decisions more efficiently. This paper implements an approach of Chinese new words detection by using N-gram model and applied the result for Chinese word segmentation and sentiment classification. Appraisal theory is introduced into sentiment analysis and Naïve Bayes, K-nearest Neighbor and Support Vector Machine are used as classification algorithms. This method is used for a Chinese stock news data set. The best accuracy reaches 82.9% in all experiments. Additionally, it develops a prototype system to demonstrate this work. Key words: Chinese new word detection; N-gram model; sentiment classification 摘 要 : 互 联 网 新 闻 资 讯 对 证 券 市 场 和 投 资 者 有 举 足 轻 重 的 影 响, 新 闻 进 行 情 感 分 类 后 再 展 示 给 用 户, 可 以 帮 助 投 资 者 迅 速 做 出 投 资 决 定. 从 文 本 分 类 的 基 本 方 法 出 发, 实 现 了 基 于 N-gram 统 计 模 型 的 新 词 发 现 方 法, 并 将 所 得 结 果 用 于 构 建 中 文 分 词 词 典 和 情 感 词 典. 同 时 引 入 评 价 理 论, 并 用 朴 素 贝 叶 斯 K 近 邻 和 支 持 向 量 机 3 种 方 法 进 行 股 票 新 闻 标 题 的 情 感 分 类 实 验. 所 用 实 验 数 据 来 自 2009 年 新 浪 财 经 共 计 23 万 余 条 的 新 闻 标 题, 结 果 表 明 二 分 类 的 准 确 率 最 高 可 达 82.9%. 此 外, 还 实 现 了 一 个 原 型 系 统 用 于 展 示 股 票 新 闻 的 分 类 结 果. 关 键 词 : 中 文 新 词 发 现 ;N-gram 模 型 ; 情 感 分 类 Supported by the National High-Tech Research and Development Plan of China under Grant No.2009AA01Z143 ( 国 家 高 技 术 研 究 发 展 计 划 (863)); the Research Foundation of the National Railway Ministry of China under Grant No ( 铁 道 部 研 究 基 金 ) Received ; Accepted

2 350 Journal of Software 软 件 学 报 Vol.21, Supplement, December 2010 随 着 经 济 的 发 展 和 人 民 生 活 水 平 的 提 高, 当 今 社 会 人 们 通 过 购 买 股 票 进 行 投 资 已 逐 渐 为 大 势 所 趋, 如 何 准 确 地 购 买 股 票 成 为 投 资 者 非 常 关 心 的 问 题. 炒 股 是 一 种 实 时 性 很 强 的 行 为, 因 为 股 票 的 价 格 涨 跌 买 卖 盘 等 信 息 每 时 每 刻 都 在 发 生 变 化. 这 些 信 息 不 仅 真 实 地 反 应 了 股 市 的 走 向, 而 且 会 对 股 民 的 投 资 决 策 起 到 关 键 性 影 响 [1]. 对 广 大 股 票 投 资 者 而 言, 如 果 看 到 某 些 板 块 的 正 面 新 闻 比 较 多, 那 么 投 资 相 应 板 块 股 票 的 意 愿 就 会 比 较 强 烈. 反 之, 如 果 看 到 的 负 面 新 闻 比 较 多, 那 么 就 不 太 愿 意 投 资 甚 至 抛 售 相 应 板 块 的 股 票. 因 此, 新 闻 观 点 的 正 负 倾 向 或 情 感 倾 向, 在 很 大 程 度 上 会 影 响 投 资 者 的 投 资 行 为. 如 今, 股 民 往 往 通 过 网 络 获 取 证 券 市 场 有 关 的 各 种 资 讯. 然 而 面 对 网 上 海 量 的 信 息, 传 统 基 于 手 工 的 信 息 处 理 模 式 显 得 捉 襟 见 肘, 甚 至 不 能 满 足 需 求. 这 就 对 如 何 快 速 而 准 确 地 发 现 有 用 信 息 提 出 了 一 定 的 要 求. 文 本 分 类 是 一 种 处 理 大 规 模 文 本 数 据 的 技 术, 可 以 在 较 大 程 度 上 解 决 信 息 繁 杂 的 问 题. 文 本 分 类 是 对 给 定 的 文 档, 按 照 其 文 本 内 容, 将 其 分 配 为 事 先 规 定 若 干 个 文 本 类 别 中 的 一 类 或 多 类. 传 统 的 文 本 分 类 方 法 大 多 是 基 于 文 本 外 延 的, 其 基 本 思 想 是 用 特 征 向 量 表 示 文 档, 通 过 计 算 特 征 向 量 的 相 似 度 达 到 文 本 分 类 的 目 的. 这 种 方 法 是 根 据 没 有 意 义 的 字 符 串 处 理 文 本, 虽 然 简 单 却 没 有 从 实 际 意 义 出 发, 可 能 对 分 类 效 果 造 成 一 定 的 影 响 [2,3]. 由 于 新 闻 资 讯 一 般 都 包 含 积 极 或 消 极 的 倾 向 以 及 个 人 观 点 等 信 息, 所 以 可 以 在 文 本 分 类 过 程 中 考 虑 词 本 身 的 意 义, 从 表 达 的 情 感 角 度 区 分 文 本 [4]. 现 有 的 证 券 工 具 一 般 只 给 出 了 股 票 的 相 关 信 息, 却 没 有 对 信 息 的 情 感 倾 向 给 出 提 示. 如 果 能 通 过 对 股 票 新 闻 进 行 情 感 分 类, 挖 掘 和 分 析 文 本 中 的 立 场 观 点 看 法 情 绪 等 主 观 信 息, 对 文 本 的 情 感 倾 向 做 出 类 别 判 断, 为 用 户 给 出 的 新 闻 的 正 负 性 提 示, 那 么 可 以 帮 助 投 资 者 迅 速 做 出 投 资 决 定. 本 文 第 1 节 介 绍 相 关 研 究 工 作. 第 2 节 ~ 第 4 节 介 绍 具 体 的 研 究 内 容 方 法 以 及 相 关 实 验. 第 5 节 介 绍 实 现 的 原 型 系 统, 用 于 展 示 股 票 新 闻 的 分 类 结 果. 第 6 节 总 结 全 文, 并 对 今 后 的 研 究 方 向 提 供 意 见. 1 相 关 研 究 1.1 有 效 市 场 理 论 有 效 市 场 理 论 (efficient markets hypothesis, 简 称 EMH), 又 被 称 为 有 效 市 场 假 说 或 有 效 市 场 假 设, 始 于 美 国 芝 加 哥 大 学 著 名 教 授 Eugene Fama 在 1965 年 发 表 在 商 业 学 刊 的 一 篇 名 为 股 票 市 场 价 格 走 势 的 论 文, 而 后 Eugene Fama 在 1970 年 发 表 于 金 融 的 论 文 有 效 资 本 市 场 : 理 论 与 实 践 研 究 回 顾 中 深 化 并 提 出 的. 有 效 市 场 理 论 假 定 所 有 公 开 的 信 息 都 会 反 映 到 市 场 价 格 之 中, 相 关 的 信 息 如 果 不 受 扭 曲 且 在 证 券 价 格 中 得 到 充 分 反 映, 市 场 就 是 有 效 的 [5]. 既 然 证 券 价 格 能 充 分 反 映 一 切 可 获 得 的 信 息, 那 么, 可 获 得 的 相 关 信 息 就 成 为 价 格 能 否 有 效 的 决 定 因 素. 按 照 可 获 得 的 信 息 分 类 的 不 同, 有 效 市 场 理 论 在 有 效 率 的 资 本 市 场 分 为 以 下 3 种 表 现 形 态 : 弱 式 有 效 市 场 半 强 式 有 效 市 场 和 强 式 有 效 市 场. 从 中 国 的 现 实 情 况 来 看, 国 内 多 数 学 者 支 持 中 国 股 市 是 弱 式 有 效 的 [6]. 在 弱 有 效 市 场 中, 信 息 发 布 后 需 要 一 段 时 间 才 能 反 应 到 股 价 中, 也 就 是 说 信 息 发 布 后, 股 票 会 经 过 一 段 时 间 才 能 调 整 到 合 适 的 价 位. 因 此 不 能 忽 视 股 票 新 闻 对 于 股 市 的 影 响, 新 闻 的 数 量 以 及 内 容 的 倾 向 性 在 很 大 程 度 上 也 会 左 右 投 资 者 的 购 买 行 为. 例 如, 国 务 院 将 于 2010 年 4 月 24 日 把 印 花 税 税 率 由 3 下 调 为 1 的 消 息 一 出, 沪 指 暴 涨 304 点, 千 余 个 股 涨 停 ; 又 如, 在 2010 年 年 初 的 两 会 上, 政 府 工 作 报 告 提 出 要 发 展 低 碳 经 济, 之 后 新 能 源 板 块 引 来 利 好, 逐 渐 走 强. 因 此 研 究 股 市 新 闻 的 倾 向 性, 对 辅 助 投 资 者 做 出 投 资 决 策 具 有 一 定 的 实 用 意 义. 1.2 中 文 分 词 在 自 然 语 言 中, 词 语 一 般 是 最 小 的 具 有 独 立 语 法 或 语 义 的 单 位. 因 此, 对 词 的 处 理 自 然 是 文 本 处 理 的 基 础 [4]. 在 西 方 语 言 中, 词 与 词 之 间 由 空 格 分 开, 一 目 了 然. 但 对 于 中 文, 最 小 的 语 素 是 单 个 文 字, 词 与 词 之 间 没 有 明 显 的 界 限 区 别, 所 以 如 何 分 词 是 中 文 文 本 处 理 首 先 要 解 决 的 一 项 关 键 技 术. 中 文 分 词 的 任 务 就 是 让 计 算 机 能 按 正 确 的 意 思 识 别 不 同 的 词.

3 高 旸 等 : 面 向 股 票 新 闻 的 情 感 分 类 方 法 新 词 发 现 目 前 主 要 的 分 词 方 法 分 为 3 类 : 基 于 字 典 或 词 库 的 匹 配 分 词 方 法, 基 于 统 计 的 分 词 方 法 和 基 于 理 解 的 分 词 方 法, 而 前 两 种 方 法 目 前 使 用 比 较 广 泛. 对 于 第 1 种 方 法, 词 典 的 好 坏 在 很 大 程 度 上 影 响 分 词 结 果 的 准 确 率, 尤 其 是 对 某 些 专 业 领 域 的 文 本. 对 于 第 2 种 方 法, 其 实 分 词 的 过 程 也 就 是 新 词 发 现 的 过 程. 对 于 第 3 种 方 法, 语 法 分 词 等 过 程 也 需 要 及 时 发 现 新 词. 在 中 文 分 词 领 域, 新 词 大 致 分 为 4 种 :1) 缩 略 词, 如 中 石 油 国 投 中 金 等 ;2) 专 有 名 词, 如 股 份 有 限 公 司 证 券 投 资 基 金 等 ;3) 派 生 词, 如 黑 马 股 领 涨 利 空 等 ;4) 复 合 词, 如 冲 高 回 落 分 红 派 息 等 [7,8]. 目 前, 新 词 发 现 通 常 有 以 下 两 种 做 法 [7,8] :1) 基 于 规 则 的 方 法, 即 由 专 家 归 纳 出 某 些 新 词 的 构 成 规 则 或 特 点, 猜 测 可 能 的 新 词 并 给 出 置 信 度, 之 后 再 做 进 一 步 的 鉴 定 ;2) 基 于 统 计 的 方 法, 即 利 用 一 些 统 计 策 略 和 相 关 度, 寻 找 那 些 出 现 可 能 性 最 大 词, 该 方 法 适 用 于 发 现 较 短 的 新 词. 因 为 本 文 针 对 的 对 象 主 要 是 股 票 新 闻 标 题, 其 中 的 词 多 以 简 短 的 形 式 出 现, 所 以 可 以 采 用 基 于 统 计 的 方 法, 例 如 N-gram 语 言 模 型 作 为 新 词 发 现 的 方 法 N-gram 语 言 模 型 在 自 然 语 言 中, 一 个 句 子 可 以 由 任 意 的 字 符 串 组 成, 但 它 们 出 现 的 概 率 P(s) 有 很 大 差 别. 例 如 :s 1 = A 股 股 民 失 望 告 别 2008 年,s 2 = 2008 年 告 别 失 望 股 民 A 股, 显 然 前 者 作 为 一 句 话 出 现 的 概 率 更 大, 即 P(s 1 )>P(s 2 ). 对 于 给 定 的 字 符 串,P(s) 通 常 是 未 知 的. 假 设 用 W=w 1 w 2 w n 表 示 文 本 中 的 一 个 字 符 串 序 列, 则 W 在 文 本 中 [9] 出 现 的 概 率 P(w) 为 n Pw ( ) = Pw ( i ww wi 1) (1) i= 1 通 常 为 了 简 化 模 型 和 便 于 计 算, 一 般 只 考 虑 n 1 次 构 成 的 历 史, 即 认 为 任 意 一 个 词 出 现 的 概 率 只 与 它 前 面 n 1 个 词 有 关, 这 时 的 语 言 模 型 叫 做 N-gram 语 言 模 型, 也 被 称 为 一 阶 马 尔 科 夫 链. 常 用 最 大 似 然 估 计 (maximum likelihood estimation) 的 参 数 估 计 方 法 计 算 P(w) [9 12] : Cww ( ) PMLE ( wn ww 1) = (2) Cww ( 1) 其 中,C(w 1 w 2 w n ) 表 示 该 字 符 串 在 文 本 中 出 现 的 次 数. 在 实 际 应 用 中, 最 大 似 然 估 计 无 法 避 免 由 于 训 练 样 本 不 足 而 导 致 的 数 据 稀 疏 问 题.Zipf 定 律 描 述 了 词 频 以 及 词 在 词 频 表 中 的 位 置 之 间 的 关 系, 说 明 在 自 然 语 言 中, 常 用 词 只 占 很 少 的 一 部 分, 大 部 分 词 都 是 低 频 词 [13]. 最 大 似 然 估 计 在 计 算 时 对 样 本 中 未 出 现 事 件 的 概 率 按 零 概 率 处 理, 而 Zipf 定 律 表 明, 由 于 不 可 能 存 在 一 个 足 够 大 的 训 练 预 料, 包 含 了 所 有 的 词 序 列, 因 此 数 据 稀 疏 问 题 不 可 避 免 数 据 平 滑 方 法 由 于 存 在 数 据 稀 疏 问 题, 为 了 解 决 最 大 似 然 估 计 的 零 概 率 问 题, 需 要 引 入 平 滑 技 术. 本 文 主 要 采 用 以 下 几 种 平 滑, 包 括 Add-one Add-delta 留 存 估 计 和 删 除 估 计 [11,14]. Add-one 平 滑 方 法 假 定 任 何 一 个 n-gram 的 统 计 次 数 是 其 在 训 练 语 料 中 实 际 出 现 次 数 加 1, 认 为 那 些 未 出 现 过 的 n-gram 也 在 训 练 预 料 中 出 现 了 一 次, 即 C(n-gram) new =C(n-gram) old +1. 采 用 Add-one 平 滑 方 法, 公 式 (2) 的 参 数 估 计 结 果 可 以 表 示 为 Cww ( ) + 1 PAdd -one( ww ) = (3) Cww ( 1) + N 如 果 有 大 量 的 n-gram 没 有 出 现 在 训 练 语 料 中, 用 Add-one 方 法 平 滑 后 这 些 没 有 出 现 的 n-gram 将 会 在 整 个 概 率 分 布 中 占 据 较 大 比 例, 这 是 不 太 合 理 的. 一 种 改 进 方 法 是 出 现 次 数 不 加 1, 而 是 加 上 一 个 小 于 1 的 数, 即 用 Δ 替 换 公 式 (3) 中 的 1, 用 Δ N 替 换 N, 这 就 是 Add-delta 平 滑 方 法. 留 存 估 计 (held-out estimation) 的 基 本 思 想 是, 把 全 体 语 料 分 为 训 练 语 料 和 留 存 语 料 两 个 部 分, 其 中 训 练 语 料 作 为 最 初 的 频 率 估 计, 而 留 存 语 料 用 于 改 善 最 初 的 频 率 估 计. 具 体 做 法 是 首 先 对 于 每 个 n-gram, 分 别 计 算 其 在 训

4 352 Journal of Software 软 件 学 报 Vol.21, Supplement, December 2010 练 语 料 和 留 存 语 料 中 出 现 的 频 率, 即 Ctr ( ww w n) 和 Cho( ww w n). 并 且 设 T 是 留 存 语 料 中 所 有 的 n-gram 个 数, 用 r 表 示 某 个 n-gram 在 训 练 语 料 中 出 现 的 频 率, 即 r = Ctr ( ww ), 同 时 设 Nr 表 示 在 训 练 语 料 中 出 现 了 r 次 的 不 同 的 n-gram 的 个 数,T r 表 示 所 有 在 训 练 语 料 中 出 现 了 r 次 的 n-gram 在 留 存 语 料 中 出 现 的 频 率 之 和, 即 T = C ( ww... w ). 因 此, 采 用 留 存 估 计 方 法 的 参 数 估 计 结 果 是 {(... ) (... )} r ww wn C ho n tr ww 1 2 wn Tr 1 Pho( ww ) = T N (4) 删 除 估 计 (deleted estimation) 是 把 训 练 语 料 分 为 两 部 分, 分 别 以 其 中 一 部 分 做 训 练 语 料 和 留 存 语 料, 按 留 存 估 计 方 法 计 算 一 次 后, 训 练 语 料 和 留 存 语 料 互 换 后, 再 按 留 存 估 计 方 法 计 算 一 次, 最 后 求 两 者 的 加 权 平 均, 即 r r 1 2 n = 0 1 N Nr + Nr P ( ww... w ) del r T + T ( ) 1.3 中 文 文 本 表 示 文 本 经 过 分 词 等 预 处 理 后, 还 需 要 对 其 进 行 数 学 建 模, 从 而 方 便 计 算 机 进 行 计 算. 目 前 最 常 用 的 是 向 量 空 间 模 型 (vector space model, 简 称 VSM) [15].VSM 的 基 本 方 法 是 用 特 征 空 间 中 一 组 正 交 的 特 征 词 向 量 表 示 文 本, 其 中 每 个 不 同 的 词 条 就 作 为 特 征 空 间 中 独 立 的 一 个 维 度. 在 向 量 空 间 模 型 中, 不 同 的 特 征 对 文 本 的 区 分 力 度 是 不 一 样 的, 需 要 对 不 同 特 征 进 行 加 权 处 理, 其 目 的 是 提 高 区 分 力 度 强 的 特 征 的 权 重, 而 减 弱 区 分 力 度 弱 的 特 征 的 权 重. 布 尔 权 重 是 最 简 单 的 加 权 方 法, 用 公 式 表 示 为 0, #( tk, d j) = 0 wkj = w( tk, d j ) = (6) 1, #( tk, d j) > 0 其 中,#(t k,d j ) 表 示 特 征 词 t k 的 在 文 本 d j 中 出 现 的 频 率. 布 尔 权 重 不 能 区 分 不 同 特 征 词 之 间 的 重 要 性. 在 文 本 分 类 中, 往 往 认 为 出 现 次 数 多 的 词 比 出 现 次 数 少 的 词 对 分 类 有 更 大 的 作 用, 所 以 出 现 次 数 不 一 样 的 特 征 词 的 权 重 应 该 是 不 一 样 的. 词 频 权 重 是 直 接 以 特 征 词 在 文 档 中 出 现 的 频 率 作 为 权 重. 考 虑 到 文 本 的 长 度 可 能 差 别 很 大, 为 了 让 权 重 落 入 [0,1] 的 区 间 内, 可 以 用 余 弦 标 准 化 的 方 法 对 词 频 权 重 做 归 一 化 处 理, 公 式 如 下 [2,16] : #( ts, d j) wkj = w( tk, d j ) = (7) T 2 (#( t, d )) 1.4 文 本 情 感 分 类 文 本 分 类 可 以 定 义 为 每 个 文 档 d j 和 类 别 c i 组 成 的 元 素 对 d j,c i D C 确 定 一 个 布 尔 值, 其 中 D={d 1,,d D } 表 示 文 档 的 集 合,C={c 1,,c c } 表 示 预 先 定 义 的 类 别 集 合. 如 果 d j,c i 的 值 是 T( 表 示 真 ), 表 明 文 档 d j 属 于 c i 类 ; 如 果 d j,c i 的 值 是 F( 表 示 假 ), 表 明 文 档 d j 不 属 于 c i 类 [2]. 文 本 分 类 的 过 程 一 般 分 为 一 下 几 个 步 骤 :1) 文 本 预 处 理 : 包 括 分 词 或 词 干 抽 取 去 停 用 词 等 ;2) 文 本 表 示 : 包 括 特 征 选 择 等, 将 文 本 处 理 成 计 算 机 可 以 理 解 的 形 式 ;3) 文 本 分 类 方 法 : 使 用 合 适 的 方 法 构 建 分 类 器, 对 文 本 分 类 ;4) 分 类 结 果 的 评 价 : 通 过 测 试 样 例, 评 价 分 类 器 的 结 果 和 性 能 [2]. 文 本 分 类 的 方 法 有 很 多, 其 中 朴 素 贝 叶 斯 k 近 邻 (k-nn) 和 支 持 向 量 机 (SVM) 等 方 法 比 较 成 熟 [2,16,17]. 朴 素 贝 叶 斯 的 基 本 思 想 是 先 根 据 贝 叶 斯 条 件 概 率 公 式, 计 算 在 知 道 文 档 特 征 向 量 的 条 件 下 该 文 档 属 于 某 一 类 别 的 条 件 概 率 ; 然 后 根 据 极 大 似 然 原 理 可 知, 该 文 档 应 该 属 于 使 后 验 概 率 取 最 大 值 的 那 一 类 [2,16,17].k-NN 方 法 的 基 本 原 理 是, 对 于 一 篇 待 分 类 的 文 档 d, 在 文 档 集 合 D 中 找 到 与 其 最 相 似 的 k 篇 文 档, 然 后 根 据 这 最 相 似 的 k 篇 文 档 的 类 别 来 判 断 待 分 类 的 文 档 d 的 类 别 [2,16]. 支 持 向 量 机 应 用 于 二 分 类 问 题, 基 本 思 想 是 寻 找 一 个 最 优 超 平 面 ( 曲 面 ) 作 为 决 策 平 面, 使 得 两 类 样 本 之 间 的 分 类 距 离 达 到 最 大 [2,17]. 文 本 情 感 分 类 主 要 研 究 如 何 对 文 本 所 表 达 的 情 感 等 主 观 内 容 进 行 分 类, 其 目 标 是 判 断 给 定 文 本 片 段 所 体 s= 1 s j (5)

5 高 旸 等 : 面 向 股 票 新 闻 的 情 感 分 类 方 法 353 现 的 说 话 者 的 情 感 倾 向, 并 且 根 据 作 者 的 情 感 偏 向 给 出 其 正 面 或 者 负 面 的 评 价 [18]. 文 本 情 感 分 类 不 同 于 传 统 的 基 于 主 题 自 动 文 本 分 类. 文 本 分 类 是 指 按 照 预 先 定 义 的 类 别 来 决 定 一 篇 文 本 的 归 属 的 过 程, 其 关 注 的 焦 点 是 文 本 的 主 题. 而 情 感 分 类 主 要 通 过 挖 掘 和 分 析 文 本 中 的 立 场 观 点 看 法 情 绪 等 主 观 信 息, 来 判 别 自 然 语 言 文 字 中 表 达 的 观 点 喜 好 以 及 与 感 受 和 态 度 等 相 关 的 信 息, 有 时 候 还 需 要 考 察 词 的 含 义 和 语 法 结 构 等. 文 本 情 感 分 类 是 进 行 倾 向 判 断 的 很 好 的 方 法, 在 个 性 化 推 荐 个 性 化 观 点 检 索 用 户 兴 趣 挖 掘 信 息 过 滤 邮 件 过 滤 社 会 舆 论 分 析 等 方 面 得 到 很 好 的 应 用. 目 前 对 于 文 本 情 感 分 类 的 主 要 研 究 内 容 包 括 文 章 的 情 感 倾 向 识 别 ( 即 粗 粒 度 的 识 别 出 文 本 表 现 的 情 感 是 积 极 还 是 消 极 情 感 ) 词 语 的 语 义 倾 向 性 识 别 文 本 的 主 观 性 分 析 文 本 的 情 感 极 性 分 类 观 点 提 取 等, 这 些 研 究 工 作 可 以 归 纳 为 :1) 主 客 观 分 类, 即 将 文 档 按 照 类 型 和 风 格 的 不 同, 划 分 为 主 观 和 客 观 两 类 ;2) 词 的 极 性 分 类, 即 将 文 档 划 分 为 积 极 和 消 极 两 类, 或 者 按 照 强 度 进 行 更 细 致 的 分 类 ;3) 情 感 分 类, 即 将 文 档 按 照 作 者 感 情 的 喜 怒 哀 乐 分 类 [4,19]. 文 本 情 感 分 类 需 要 有 效 的 语 言 特 征 来 表 征 文 本 的 情 感 特, 如 何 有 效 地 表 示 和 获 取 语 言 特 征 显 得 尤 为 重 要. 因 此 在 本 文 中 需 要 构 建 一 个 合 适 的 情 感 词 典, 这 也 是 情 感 分 类 中 需 要 重 点 解 决 的 问 题. 2 中 文 股 票 新 闻 分 词 2.1 ICTCLAS 中 文 文 本 预 处 理 的 第 一 步 是 分 词. 本 文 所 涉 及 的 实 际 的 分 词 过 程, 采 用 ICTCLAS [20] 作 为 分 词 工 具. 该 系 统 的 主 要 功 能 包 括 中 文 分 词, 词 性 标 注, 同 时 支 持 用 户 词 典.ICTCLAS 对 一 般 文 本 的 分 类 准 确 率 可 达 98.45%, 但 由 于 缺 少 相 关 的 词 典, 不 能 直 接 用 于 股 票 领 域. 因 此 可 以 采 用 第 1.2 节 所 述 方 法, 构 建 股 票 领 域 的 分 词 词 典. 2.2 数 据 集 通 常 股 票 新 闻 标 题 带 有 情 感 倾 向, 可 以 反 映 出 股 票 的 涨 跌 趋 势. 本 文 选 取 2009 年 新 浪 财 经 股 票 新 闻 的 标 题, 共 计 条 作 为 原 始 语 料 数 据 集, 用 于 构 建 股 票 词 典. 2.3 子 串 过 滤 首 先 在 原 始 语 料 上 建 立 N-gram 模 型. 理 论 上,n 较 大 时, 提 供 的 语 境 信 息 较 多, 语 境 更 具 区 别 性, 但 计 算 量 也 较 大, 参 数 估 计 较 不 可 靠 ; 而 n 较 小 时 提 供 的 语 境 信 息 较 少, 语 境 区 别 性 较 小, 但 计 算 量 也 较 小, 参 数 估 计 较 可 靠. 因 此, 在 实 际 应 用 中 需 要 合 理 地 选 择 n 的 大 小. 如 果 一 个 长 度 为 L 的 字 符 串, 建 立 模 型 后 可 得 L n+1 个 子 串. 考 虑 到 新 闻 标 题 中 的 词 多 以 简 称 缩 略 语 等 短 语 形 式 出 现, 因 此 n 的 取 值 范 围 是 2 n 6, 即 n=2,3,4,5,6. 同 时 采 用 的 平 滑 方 法 包 括 Add-one Add-delta( 实 验 中 取 delta=0.5) 留 存 估 计 和 删 除 估 计. 通 过 实 验 可 以 发 现,Add-delta 和 留 存 估 计 的 效 果 较 好, 但 采 用 这 两 种 方 法 的 结 果 仍 不 能 直 接 利 用. 这 是 因 为 在 实 际 应 用 中 存 在 很 多 常 用 词, 组 成 这 些 词 的 若 干 子 串 往 往 只 能 在 这 些 词 中 出 现, 很 难 单 独 作 为 一 个 词 出 现. 例 如, 股 份 有 限 公 司 是 一 个 父 串, 份 有 限 公 则 是 它 的 一 个 子 串. 通 常 即 使 一 些 子 串 不 能 单 独 成 词, 它 们 的 出 现 的 频 率 却 与 其 父 串 基 本 相 同. 在 一 般 的 统 计 语 言 模 型 中, 这 样 的 子 串 和 父 串 的 参 数 估 计 结 果 很 接 近, 但 子 串 往 往 是 没 有 用 的, 因 而 成 为 了 干 扰 项, 需 要 对 它 们 进 行 过 滤. 观 察 发 现, 那 些 没 有 用 的 子 串 与 其 父 串 的 概 率 之 差 往 往 很 小. 所 以 过 滤 无 用 子 串 的 基 本 思 想 是, 对 于 一 个 字 符 串 的 所 有 父 串, 如 果 该 字 符 串 与 其 父 串 的 概 率 之 差 小 于 某 个 值, 并 且 该 字 符 串 与 其 父 串 的 长 度 之 差 小 于 某 个 值 时, 可 以 将 该 子 串 过 滤. 本 文 正 是 采 用 这 种 方 法 进 行 过 滤, 其 中 概 率 差 值 取 , 而 长 度 差 值 取 分 词 结 果 原 始 语 料 经 过 上 述 处 理 过 程, 取 出 高 频 词 即 可 以 作 为 股 票 领 域 的 新 词, 其 结 果 可 以 分 为 4 种 ( 见 表 1), 即 用 来 构 建 股 票 分 词 词 典 :

6 354 Journal of Software 软 件 学 报 Vol.21, Supplement, December 2010 表 1 股 票 领 域 新 词 发 现 结 果 举 例 专 有 名 词 证 券 投 资 基 金 黑 马 股 权 重 股 中 小 板 缩 略 词 中 金 国 投 沪 指 深 指 股 改 情 感 词 谨 慎 推 荐 利 空 利 多 看 高 描 述 股 市 行 为 冲 高 回 落 定 向 增 发 分 红 派 息 震 荡 上 行 减 持 股 票 分 词 词 典 的 另 一 部 分 由 股 票 的 名 称 代 码 主 营 业 务 相 应 的 公 司 和 板 块 名 称 等 组 成. 最 终 实 验 所 用 的 用 户 词 典 包 含 个 词, 当 然 词 典 条 目 也 可 以 由 用 户 手 工 添 加.ICTCLAS 系 统 根 据 该 词 典 对 原 始 文 本 进 行 分 词, 效 果 比 没 有 使 用 用 户 词 典 的 分 词 效 果 好 很 多, 见 表 2. 使 用 前 使 用 后 表 2 股 票 新 闻 分 词 结 果 权 /n 重 /a 股 /n 萎 靡 不 振 /v 两 /m 市 /n 早 /a 盘 /qv 冲 /v 高 /a 回 落 /v 权 重 股 /n 萎 靡 不 振 /v 两 市 /n 早 盘 /n 冲 高 回 落 /n 2.5 停 用 词 过 滤 为 方 便 文 本 表 示 及 后 续 处 理, 还 需 要 对 分 词 后 的 结 果 进 行 去 停 用 词 的 处 理. 停 用 词 是 指 一 些 出 现 频 率 比 较 高, 却 没 有 太 多 实 际 意 义 的 词, 对 文 本 处 理 几 乎 没 有 实 用 价 值 [21]. 去 除 停 用 词 对 于 提 高 文 本 处 理 的 效 率 是 非 常 必 要 的, 股 票 新 闻 文 本 中 的 停 用 词 表 主 要 有 两 种 : 第 1 种 是 介 词 冠 词 助 词 连 词 和 标 点 符 号 ; 第 2 种 是 股 票 新 闻 标 题 前 提 示 性 的 词, 如 快 讯 锐 点 大 盘 市 场 等. 去 除 停 用 词 的 方 法 可 以 结 合 分 词 结 果 的 标 注 信 息 和 停 用 词 表. 3 中 文 股 票 新 闻 文 本 表 示 对 于 情 感 分 类 可 以 引 入 评 价 理 论 (appraisal theory), 即 通 过 从 文 本 中 提 取 形 容 词 及 其 修 饰 语 构 成 的 短 语 作 为 特 征, 进 行 语 义 倾 向 分 析, 这 种 形 容 词 短 语 被 称 为 评 价 组 (appraisal group), 实 验 表 明, 利 用 评 价 组 作 为 特 征 集 能 够 提 高 情 感 分 类 的 精 确 度 [22].Whitelaw 根 据 Martin 的 评 价 理 论, 为 评 价 设 置 了 4 个 属 性 : 态 度 (attitude) 倾 向 (orientation) 等 级 (graduation) 和 极 性 (polarity). 中 文 股 票 新 闻 文 本 表 示 可 以 利 用 类 似 评 价 组 的 方 法, 但 有 所 不 同 的 是, 提 取 的 不 仅 是 形 容 词 短 语, 还 应 包 括 带 有 情 感 色 彩 的 形 容 词 动 词 以 及 修 饰 词, 将 这 些 词 统 称 为 情 感 词. 因 此, 可 以 初 步 将 股 票 情 感 词 划 分 为 正 面 负 面 程 度 否 定 词 及 不 确 定 词 五 类 : 正 面 词 就 是 描 述 股 票 价 格 上 涨, 股 票 上 市 公 司 业 绩 好 等 词 汇 ; 负 面 词 则 是 描 述 股 票 价 格 下 跌 以 及 上 市 公 司 业 绩 差 等 词 汇 ; 程 度 词 是 指 描 述 正 负 程 度 的 ; 另 外 由 于 一 个 正 面 或 负 面 词 之 前 加 上 否 定 词 后 就 是 相 反 的 意 思, 因 此 需 要 考 虑 否 定 词 的 影 响 ; 最 后, 不 确 定 词 决 定 着 正 面 及 负 面 的 可 信 度. 这 5 种 情 感 词 举 例 见 表 3. 表 3 股 票 情 感 词 正 面 词 负 面 词 程 度 词 否 定 词 不 确 定 词 佳 优 增 好 增 长 盈 涨 补 涨 赚 涨 停 飙 升 盈 利 减 少 降 锐 减 补 跌 下 降 亏 损 赔 亏 跌 停 减 持 降 低 明 显 大 幅 小 幅 快 速 快 适 当 强 烈 更 最 相 当 谨 慎 非 不 并 非 没 有 没 别 无 未 未 能 没 难 不 确 定 可 能 或 或 将 或 是 是 否 有 望 疑 约 缘 何 能 否 根 据 上 面 的 方 法, 可 以 为 股 票 设 倾 向 性 等 级 极 性 确 定 性 这 4 个 属 性. 倾 向 性 表 示 评 价 是 正 面 还 是 负

7 高 旸 等 : 面 向 股 票 新 闻 的 情 感 分 类 方 法 355 面 ; 等 级 表 示 强 度, 比 如 大 大 快 速 可 以 加 强 强 度, 小 幅 则 减 弱 强 度 ; 极 性 表 示 是 否 包 含 否 定 词 ; 确 定 性 表 示 是 否 包 含 不 确 定 词. 具 体 结 构 如 图 1 所 示. 图 1 股 票 评 价 组 按 照 上 述 方 法 进 行 中 文 股 票 新 闻 文 本 表 示, 可 以 建 立 一 个 相 应 的 情 感 词 典. 情 感 词 典 中 的 词 主 要 通 过 3 种 途 径 组 成 : 一 部 分 由 原 始 新 闻 标 题 新 词 发 现 的 结 果 结 合 人 工 判 断 挑 选 ; 另 一 部 分 根 据 已 有 股 票 领 域 词 典, 参 考 领 域 专 家 意 见, 直 接 由 手 工 构 建 ; 还 有 一 部 分 则 来 自 知 网 HowNet 的 情 感 词 库. 4 股 票 新 闻 情 感 分 类 4.1 数 据 集 分 类 实 验 的 数 据 来 源 和 第 2.2 节 一 样, 也 选 取 自 新 浪 财 经 网 2009 年 全 年 的 股 票 新 闻 标 题, 并 且 人 工 标 记 其 中 条 新 闻 的 情 感 倾 向, 作 为 分 类 实 验 的 数 据 集, 其 中 情 感 倾 向 统 计 结 果 见 表 实 验 工 具 表 4 股 票 新 闻 情 感 倾 向 统 计 样 本 倾 向 总 计 Positive Neutral Negative 文 本 情 感 分 类 所 用 工 具 是 新 西 兰 开 发 的 一 个 的 数 据 挖 掘 工 作 平 台 Weka, 其 中 集 成 了 一 些 机 器 学 习 方 法, 可 以 对 数 据 进 行 预 处 理 和 分 类 聚 类 等. 4.3 评 价 方 法 文 本 情 感 分 类 中 还 有 一 项 重 要 任 务, 就 是 对 分 类 方 法 进 行 评 估. 目 前, 一 般 采 用 的 评 价 方 法 是 准 确 率 (precision) 和 召 回 率 (recall). 总 结 一 个 分 类 系 统 的 分 类 结 果, 可 以 得 到 表 5 [2]. 表 5 类 别 的 集 合 为 C={c 1,,c c } 属 于 该 类 别 文 档 分 类 结 果 不 属 于 该 类 别 文 档 分 类 结 果 统 计 实 际 情 况 属 于 该 类 别 文 档 不 属 于 该 类 别 文 档 TP TN C C = TPi FP = i= 1 i= 1 C C = TNi FN = i= 1 i= 1 FP i FN i [2] 此 时, 准 确 率 和 召 回 率 分 别 定 义 为 TP Precision = TP + TN TP Recall = TP + FP 准 确 率 和 召 回 率 分 别 从 效 果 (effectiveness) 和 效 率 (efficiency) 两 方 面 考 察 分 类 结 果. 为 了 综 合 考 虑 两 种 因 (8) (9)

8 356 Journal of Software 软 件 学 报 Vol.21, Supplement, December 2010 素, 可 以 得 出 一 个 新 的 指 标 F-Measure, 即 4.4 实 验 结 果 及 分 析 2 Precision Recall F1 = Precision + Recall (10) 原 始 语 料, 经 过 文 本 预 处 理, 并 采 用 评 价 组 方 法 进 行 文 本 特 征 表 示, 结 合 Weka 工 具, 重 点 对 Naïve Bayes, k-nn 和 SVM 这 3 种 方 法 进 行 实 验. 首 先 使 用 标 记 的 全 部 数 据 集, 也 就 是 条 新 闻 标 题, 分 为 Positive,Negative 和 Neutral 这 3 类, 利 用 布 尔 及 词 频 特 征 加 权 法, 使 用 Naïve Bayes,k-NN 和 SVM 这 3 种 方 法, 实 验 结 果 的 F-Measure 值 见 表 6. 表 6 三 分 类 结 果 特 征 加 权 Naïve Bayes k-nn SVM 布 尔 词 频 将 Neutral 的 新 闻 标 题 去 除, 也 就 是 只 保 留 具 有 情 感 的 新 闻 标 题. 此 时 是 一 个 二 分 类 问 题, 重 复 上 面 的 实 验 过 程, 结 果 见 表 7. 表 7 二 分 类 结 果 特 征 加 权 Naïve Bayes k-nn SVM 布 尔 词 频 由 以 上 两 个 实 验 结 果 可 以 看 出, 去 除 不 含 情 感 的 数 据, 能 够 大 大 提 高 分 类 精 度. 此 时 采 用 词 频 特 征 加 权 法 时, 采 用 Naïve Bayes 分 类 方 法 效 果 最 好. 第 3 个 实 验 在 第 2 个 实 验 的 基 础 上, 主 要 考 察 不 同 数 据 规 模 对 分 类 结 果 的 影 响. 可 以 随 机 选 取 全 部 训 练 集 的 100%,1/2,1/3,1/4,1/5 分 别 进 行 实 验, 选 择 布 尔 权 重, 利 用 Naïve Bayes,k-NN 和 SVM 这 3 种 方 法, 实 验 结 果 的 F-Measure 值 见 表 8. 采 用 词 频 加 权, 重 复 上 面 的 实 验 过 程, 结 果 见 表 9. 表 8 不 同 规 模 的 分 类 结 果 ( 布 尔 权 重 ) 规 模 Naïve Bayes k-nn SVM 100% / / / / 表 9 不 同 规 模 的 分 类 结 果 ( 词 频 权 重 ) 规 模 Naïve Bayes k-nn SVM 100% / / / / 由 以 上 两 个 实 验 结 果 可 以 看 出, 总 体 上 来 看, 训 练 集 越 大, 分 类 的 精 度 有 提 高 的 趋 势, 也 就 是 说 足 够 大 的 训 练 集 对 于 提 高 分 类 精 度 有 很 大 的 作 用. 同 时, 一 般 情 况 下 词 频 权 重 的 分 类 结 果 要 好 于 布 尔 权 重. 本 体 可 以 用 来 描 述 某 领 域 中 的 概 念 以 及 概 念 之 间 的 关 系, 通 过 构 建 股 票 本 体, 可 以 将 所 有 的 新 闻 自 动 区 分

9 高 旸 等 : 面 向 股 票 新 闻 的 情 感 分 类 方 法 357 为 不 同 的 股 票 或 板 块 的 相 关 新 闻. 对 新 闻 区 分 后, 可 以 进 行 热 点 板 块 或 股 票 的 研 究. 如 果 假 设 一 只 股 票 的 涨 幅 或 一 个 板 块 内 所 有 股 票 的 平 均 涨 幅 高 于 一 个 具 体 的 数 值, 如 n%, 那 么 可 以 认 为 与 这 支 股 票 相 关 的 新 闻 都 是 正 面 的 ; 反 之, 如 果 跌 幅 低 于 某 具 体 数 值, 如 n%, 那 么, 可 以 认 为 与 这 支 股 票 相 关 的 新 闻 都 是 负 面 的. 因 此, 可 以 取 n=3,4,5,,9, 选 择 词 频 权 重, 利 用 Naïve Bayes,k-NN 和 SVM 这 3 种 方 法, 对 股 票 新 闻 进 行 分 类 实 验, 结 果 的 F-Measure 值 见 表 10. 表 10 不 同 n 取 值 的 个 股 新 闻 分 类 结 果 N Naïve Bayes KNN SVM 由 该 实 验 结 果 可 以 看 出, 各 个 的 效 果 都 是 随 着 n 的 增 大 而 提 高, 横 向 比 较 看 来, 随 着 n 取 值 的 不 断 增 大,3 种 的 效 果 区 别 不 是 很 大, 但 Naïve Bayes 快,KNN 其 次,SVM 最 慢, 因 此 想 比 较 而 言, 还 是 Naïve Bayes 比 较 适 合 应 用 于 实 际 应 用. 因 为 从 上 图 中 可 以 看 到, 当 n=9 的 时 候 各 类 的 效 果 最 好, 因 此 可 以 采 用 n=9 进 行 接 下 来 的 实 验. 表 11 个 股 新 闻 情 感 分 类 3 种 对 比 特 征 加 权 Naïve Bayes KNN SVM 布 尔 词 频 (K=3) 绝 对 词 频 (K=5) 归 一 化 词 频 (K=5) 表 11 的 结 果 表 明, 情 感 词 与 股 票 实 际 交 易 涨 幅 具 有 一 定 的 相 关 性, 利 用 涨 幅 标 记 的 数 据 集, 进 行 情 感 分 类 最 好 的 F-Measure 值 能 够 达 到 78.6%, 这 就 表 明, 利 用 情 感 倾 向 来 判 断 股 票 是 否 是 热 点 具 有 一 定 的 可 行 性. 对 与 表 10 所 示 第 5 个 实 验, 如 果 对 板 块 新 闻 重 复 该 实 验, 则 其 结 果 的 F-Measure 值 见 表 12. 表 12 不 同 n 取 值 的 板 块 新 闻 分 类 结 果 n Naïve Bayes KNN SVM 由 该 实 验 结 果 与 表 10 的 结 果 类 似. 另 外 从 上 图 中 可 以 看 到, 当 n=5 的 时 候 各 类 的 效 果 最 好, 因 此 可 以 采 用 n=5 重 复 表 11 所 示 第 6 个 实 验, 结 果 见 表 13. 表 13 板 块 新 闻 情 感 分 类 3 种 对 比 特 征 加 权 Naïve Bayes KNN SVM 布 尔 词 频 绝 对 词 频 归 一 化 词 频 表 13 的 结 果 表 明, 情 感 词 与 板 块 实 际 交 易 涨 幅 具 有 一 定 的 相 关 性, 利 用 涨 幅 标 记 的 数 据 集, 进 行 情 感 分 类 最 好 的 F-Measure 值 能 够 达 到 70.6%, 这 也 表 明, 利 用 情 感 倾 向 来 判 断 股 票 是 否 是 热 点 具 有 一 定 的 可 行 性, 但 效 果 还 不 是 很 好, 需 要 进 一 步 的 研 究.

10 358 Journal of Software 软 件 学 报 Vol.21, Supplement, December 原 型 系 统 为 了 展 示 本 文 的 工 作 成 果, 开 发 了 原 型 系 统. 该 系 统 主 要 包 括 3 个 模 块 : 数 据 预 处 理 模 块, 主 要 包 括 对 新 浪 财 经 中 证 券 相 关 新 闻 的 爬 取 和 数 据 类 型 选 取 ; 中 文 文 本 分 词 模 块, 主 要 包 括 文 本 分 词, 文 件 分 词 和 用 户 词 典 反 馈 等 功 能 ; 我 的 财 经 模 块, 能 够 自 动 爬 取 股 票 新 闻, 实 现 个 股 新 闻 查 询 热 点 排 行 统 计, 具 体 的 查 询 使 用 了 本 体 扩 展 查 询, 能 够 得 到 跟 股 票 相 关 的 各 种 新 闻, 包 括 个 股 上 市 公 司 所 属 板 块 新 闻, 热 点 排 行 包 括 热 点 股 票 以 及 热 点 板 块 排 行, 同 时 能 够 对 相 关 新 闻 进 行 情 感 分 类 展 示 分 类 结 果. 5.1 开 发 工 具 开 发 环 境 :Windows,JDK 1.6,Jena 开 发 语 言 :Java,JSP,JS Web 框 架 :Struts+Spring+Mule Web 服 务 器 :Tomcat 数 据 库 :MySQL 5.0 辅 助 工 具 : 1) 中 文 文 本 分 词 工 具 :ICTCLAS2009 共 享 版 2) 文 本 分 类 工 具 :Weka3.7 3) 本 体 构 建 工 具 :Protégé 数 据 预 处 理 模 块 该 模 块 主 要 进 行 数 据 的 准 备 和 预 处 理 工 作, 主 要 包 括 数 据 抓 取 和 预 选 数 据 类 型 两 个 功 能 数 据 抓 取 如 图 2 所 示, 该 模 块 实 现 了 从 新 浪 财 经 抓 取 新 闻 的 功 能, 为 用 户 提 供 按 照 时 间 批 量 抓 取 新 闻 的 界 面, 用 户 可 自 由 选 择 抓 取 的 时 间 段, 抓 取 后 的 新 闻 将 批 量 插 入 数 据 库, 抓 取 股 票 新 闻 的 链 接 标 题 时 间 以 及 新 闻 类 型 存 入 数 据 库. 图 2 股 票 新 闻 爬 取 模 块 预 选 数 据 类 型 实 际 股 票 相 关 的 新 闻 有 很 多 种 类, 有 关 于 个 股 的 新 闻, 还 有 关 于 上 市 公 司 的 新 闻, 还 有 行 业 相 关 的 新 闻, 而 且 股 票 新 闻 具 有 很 强 的 实 时 性, 选 取 什 么 类 型 的 数 据 什 么 时 间 范 围 的 数 据 对 于 实 验 的 精 度 会 有 相 应 的 影 响, 预 选 数 据 类 型 模 块 用 于 方 便 地 生 成 不 同 类 型 数 据 集, 如 图 3 所 示.

11 高 旸 等 : 面 向 股 票 新 闻 的 情 感 分 类 方 法 359 图 3 股 票 新 闻 类 型 选 取 模 块 5.3 中 文 文 本 分 词 模 块 如 图 4 所 示, 分 词 模 块 主 要 由 3 部 分 组 成 : 用 户 词 典 反 馈 文 本 分 词 和 文 件 分 词. 由 于 在 股 票 新 闻 中 经 常 出 现 一 些 新 词, 导 致 不 能 完 全 分 词 的 现 象. 对 此, 在 本 模 块 的 解 决 办 法 是 为 用 户 增 加 股 票 分 词 词 典 的 反 馈 功 能, 包 括 添 加 单 个 词 条 和 文 本 文 件 中 的 所 有 词 条. 通 过 该 模 块, 用 户 可 以 向 股 票 分 词 词 典 中 添 加 条 目, 这 些 新 加 入 的 词 将 会 直 接 影 响 分 词 结 果. 为 了 直 接 展 示 分 词 效 果, 还 在 页 面 中 提 供 了 一 个 文 本 框, 用 户 可 以 输 入 带 分 词 的 文 本, 系 统 能 够 将 分 词 结 果 显 示 出 来. 另 外, 为 了 方 便 处 理 实 验 数 据 集, 还 提 供 了 为 批 量 文 件 分 词 的 功 能. 图 4 分 词 模 块 5.4 我 的 财 经 模 块 我 的 财 经 模 块 主 要 展 示 热 点 发 现 功 能. 系 统 首 先 自 动 爬 取 当 天 的 新 浪 财 经 新 闻, 对 于 爬 取 的 新 闻, 经 过 文 本 预 处 理, 利 用 股 票 本 体 新 闻 分 发 至 个 股 及 板 块, 并 且 还 区 分 新 闻 的 语 义 倾 向, 用 户 可 以 通 过 查 询 找 到 某 只 股 票 的 相 关 新 闻, 不 同 倾 向 的 新 闻 讲 以 不 同 颜 色 显 示 给 用 户. 同 时 还 能 够 进 行 热 点 排 行, 通 过 热 点 计 算 得 到 热 点 股 票 及 热 点 板 块 显 示 给 用 户. 关 于 处 理 新 闻 的 后 台 流 程 如 图 5 所 示. 图 5 我 的 财 经 实 现 流 程 图

12 360 Journal of Software 软 件 学 报 Vol.21, Supplement, December 2010 图 6 是 该 模 块 的 初 始 化 界 面, 系 统 能 够 自 动 爬 取 新 浪 财 经 新 闻, 显 示 当 天 的 大 盘 日 线 图 以 及 股 票 相 关 新 闻, 同 时 还 能 够 进 行 热 点 排 行, 包 括 热 点 股 票 以 及 热 点 板 块. 图 6 我 的 财 经 对 于 每 一 只 股 票, 可 以 根 据 该 股 票 的 代 码 或 名 称, 查 询 到 该 股 票, 系 统 将 该 股 票 的 实 时 交 易 信 息 显 示 给 用 户, 并 且 同 时 返 回 当 天 该 股 票 的 相 关 信 息, 包 括 个 股 新 闻 上 市 公 司 以 及 该 股 票 所 属 的 板 块 的 信 息, 并 且 还 能 够 区 分 新 闻 语 义, 将 不 同 语 义 的 新 闻 以 不 同 的 颜 色 显 示 出 来. 对 于 每 一 个 板 块, 也 有 同 样 的 功 能. 个 股 查 询 结 果 如 图 7 所 示. 图 7 个 股 查 询 结 果

13 高 旸 等 : 面 向 股 票 新 闻 的 情 感 分 类 方 法 总 结 和 展 望 本 文 的 工 作 主 要 是 研 究 面 向 股 票 领 域 的 文 本 情 感 分 类 的 一 些 相 关 方 法, 包 括 : 构 建 股 票 本 体 并 实 例 化 爬 取 股 票 新 闻 并 人 工 标 记 情 感 倾 向 构 建 股 票 分 词 词 典 采 用 评 价 组 方 法 构 建 情 感 词 典 并 用 于 情 感 分 类 验 证 不 同 分 类 方 法 的 分 类 结 果 实 现 原 型 系 统. 本 文 只 是 针 对 股 票 新 闻 文 本, 做 了 一 些 前 期 的 探 索 工 作, 未 来 的 还 有 很 多 值 得 关 注 的 研 究 点. 今 后 的 工 作 主 要 可 以 针 对 以 下 几 个 方 面 : 构 建 更 详 细 的 本 体 并 提 高 应 用 范 围 ; 改 进 数 据 集 质 量 ; 实 现 更 完 美 的 分 词 方 案 ; 建 立 更 适 合 的 特 征 选 择 方 法 ; 提 供 更 全 面 的 情 感 分 类 方 法 并 考 虑 时 间 地 域 等 因 素 对 新 闻 情 感 倾 向 的 影 响. References: [1] Huang TH, Li ZY. Stock prediction using Web news articles. Technical Report, Graduate Institute of Networking and Multimedia, Taiwan University, [2] Sebastiani F. Machine learning in automated text categorization. ACM Computing Surveys, 2002,34(1):1 47. [3] Aas K, Eikvil L. Text categorisation: A survey. Technical Report, Oslo: Norwegian Computing Center, [4] Chen B. Research on key problems in Web text sentiment classification [Ph.D. Thesis]. Beijing: Beijing University of Posts and Telecommunications, [5] Wang C, Li N, Li XL, Liang X. The research on financial volatility with sentiment analysis. Journal of Chinese Information Processing, 2009,23(1): [6] Zhang B, Li XM. An evolving market efficiency test on Chinese stock market. Economic Research Journal, 2003,1: [7] Sun MS, Zou JY. A critical appraisal of the research on Chinese word segmentation. Contemporary Linguistics, 2001,3(1): [8] Liao XT. Overview of Chinese new word detection. Technical Report, Harbin: Center of Information Retrieve, Harbin Institute of Technology, [9] Brown PF, de Souza PV, Mercer RL, Pietra VJD, Lai JC. Class-Based N-gram models of natural language. Computational Linguistics, 1992,18(4): [10] Heinrich G. Parameter estimation for text analysis. Technical Note, University of Leipzig, [11] Zhai CX, Lafferty J. A study of smoothing methods for language models applied to information retrieval. ACM Trans. on Information System, 2002,22(2): [12] Dempster AP, Laird NM, Rubin DB. Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, Series B (Methodological), 1977,39(1):1 38. [13] Adamic LA, Huberman BA. Zipf s law and the Internet. Glottometrics, 2002,3: [14] Chen SF, Goodman J. An empirical study of smoothing techniques for language modeling. In: Proc. of the 34th Annual Meeting on Association for Computational Linguistics [15] Salton G, Lest ME. Computer evaluation of indexing and text processing. Journal of the ACM, 1968,15(1):8 36. [16] Sebastiani F. A tutorial on automated text categorization. In: Amandi A, Zunino A, eds. Proc. of the 1st Argentinian Symp. on Artificial Intelligence (ASAI 99) [17] Pang B, Lee L, Vaithyanathan S. Thumbs up? Sentiment classification using machine learning techniques. In: Proc. of the ACL 2002 Conf. on Empirical Methods in Natural Language Processing [18] Lai HY, Liu GS. Research on semantic orientation of Chinese texts based on topic correlation [MS. Thesis]. Shanghai: School of Information Security Engineering, Shanghai Jiaotong University, [19] Ma YZ, Wang C. Research on phrase pattern based sentiment extraction for reviews [MS. Thesis]. Beijing: University of Posts and Telecommunication, [20] Zhang HP, Yu HK, Liu Q. HHMM-Base Chinese lexical analyzer ICTCLAS. In: Proc. of the 2nd SIGHAN Workshop on Chinese [21] Hua BL. Stop-Word processing technique in knowledge extraction. New Technology of Library and Information Service, 2007,2(8):

14 362 Journal of Software 软 件 学 报 Vol.21, Supplement, December 2010 [22] Whitelaw C, Garg N, Argamon S. Using appraisal groups for sentiment analysis. In: Proc. of the 14th ACM Conf. on Information and Knowledge Management 高 旸 (1988-), 男, 陕 西 临 潼 人, 硕 士 生, 主 要 研 究 领 域 为 数 据 库. 邢 春 晓 (1967-), 男, 博 士, 研 究 员, 博 士 生 导 师, 主 要 研 究 领 域 为 数 据 库, 数 字 图 书 馆. 周 莉 (1985-), 女, 硕 士 生, 主 要 研 究 领 域 为 数 据 库. 孙 一 钢 (1961-), 男, 研 究 馆 员, 主 要 研 究 领 域 为 数 字 图 书 馆, 计 算 机 应 用. 张 勇 (1973-), 男, 博 士, 副 研 究 员, 主 要 研 究 领 域 为 数 据 库, 数 字 图 书 馆. 朱 先 忠 (1965-), 男, 高 级 工 程 师, 主 要 研 究 领 域 为 数 字 图 书 馆, 网 络 新 媒 体 展 现 技 术.