201302

Size: px

Start display at page:

Download "201302"

仑都
7 years ago
Views:

1 160 一种基于 LDA 模型的主题句抽取方法王 1,2 1,2 1,2 力, 李培峰, 朱巧明 WANG Li 1,2, LI Peifeng 1,2, ZHU Qiaoming 1,2 1. 苏州大学计算机科学和技术学院, 江苏苏州江苏省计算机信息处理技术重点实验室, 江苏苏州 School of Computer Science and echnology, Soocho University, Suzhou, Jiangsu , China 2.Jiangsu Provincial Key Lab for Computer Information Processing echnology, Suzhou, Jiangsu , China WANG Li, LI Peifeng, ZHU Qiaoming. Approach for topical sentence extraction based on model LDA. Computer Engineering and Applications, 2013, 49(2): Abstract:his paper proposes a novel topic sentence extraction approach based on model LDA on basis of acquiring candidate topic sentences through the topic-related and query-based keyord expansion. It can extract fine granularity on the subect and increase the reliability of the certain topical information. On several sub-topics against a target topic, it extracts those topic sentences by means of the reliability calculation according to the smoothness of the topic-sentence probability distribution. he method achieves good result in the special application of sentence extraction on eb topic. Key ords:latent Dirichlet Allocation(LDA); topic model; topical sentence extraction; information fusion 摘要 : 在基于 Web 的主题关键词查询扩展, 获取候选主题句的基础上, 提出一种基于 LDA 模型的主题句抽取方法, 以抽取粒度较细的主题信息, 并增加主题信息的置信度该方法通过多个侧面对目标主题的衬托, 采用 LDA 模型对主题信息进行建模, 利用各个主题概率分布的平滑度进行候选句的可信度计算来抽取主题句在面向 Web 的主题句抽取的具体应用中, 取得了较好的效果关键词 : 隐含狄利克雷分配 (LDA); 主题模型 ; 主题句抽取 ; 信息融合文献标志码 :A 中图分类号 :P doi: /.issn 主题句是表示文本或文档集主题内容的重要方式, 主题句抽取是文本分类信息检索自动文摘等文本自动处理应用的基础性工作主题句抽取结果的好坏将进一步影响后续领域应用的系统性能目前, 关于主题句抽取的研究主要涉及两类不同的研究对象 :(1) 对于既定的文档或文档集合抽取主题句, 该类研究方法往往考虑文档的结构特征和主题概念特征作为主题句抽取的依据 (2) 基于 Web 获取主题相关候选句, 然后对候选句进行再次筛选, 进一步抽取主题句集合, 这种方法的研究对象不具备篇章特性, 获取的候选主题句往往具有随机性且噪音较大, 因此, 利用主题关键词集合或机器学习方法来抽取主题句是经常采用的方法本文在基于 Web 的主题关键词查询扩展, 获取候选主题句的基础上, 引入 LDA(Latent Dirichlet Allocation) 模型, 通过多个侧面对目标主题的衬托, 根据候选句的主题概率分布分析, 提出主题句可信度计算方法来抽取主题句 1 相关研究 [1] 在面向查询的多文档文摘领域, 马亮等采用词语的查询相关特性和主题相关特性对候选句打分来抽取主题句 Lin Zhao [2] 在图排序算法查询扩展的基础上, 利用 WordNet 对传统基于词的句子向量的语义扩展进行主题句抽取 Christina Sauper [3] 将每个段落对应一个主题, 采用联合学习方法同时训练出每个主题的内容选择参数, 从而得到整个文摘的内容选择模型, 进行主题片段抽取, 该方法虽然提高了文摘的内聚性可读性, 但主题片段抽取是基金项目 : 国家自然科学基金 (No ,No ,No ,No ); 江苏省高校自然科学重大基础研究项目 (No.08KJA520002) 作者简介 : 王力 (1985 ), 男, 硕士研究生, 研究方向 : 中文信息处理 ; 李培峰 (1971 ), 男, 博士, 副教授, 主要研究方向 : 自然语言处理分布式信息系统网格计算等 ; 朱巧明 (1964 ), 男, 教授, 博士生导师, 主要研究方向 : 自然语言处理 Web 信息处理嵌入式系统 qeiebz@163.com 收稿日期 : 修回日期 : 文章编号 : (2013) CNKI 出版日期 :

Jiangsu Provincial Key Lab for Computer Information Processing echnology, Suzhou, Jiangsu 215006, China WANG Li, LI Peifeng, ZHU Qiaoming. Approach for topical sentence extraction based on model LDA.

2 王力, 李培峰, 朱巧明 : 一种基于 LDA 模型的主题句抽取方法 161 以段落为单位, 选择粒度较粗, 精确度不高 Fadi Biadsy [4] 把主题句抽取看成分类问题, 利用机器学习方法训练一个判断主题句和非主题句的二元分类器来抽取主题句, 在个人履历生成的具体应用中, 取得较好的效果 [5] 在结构化文本主题句抽取中, 张云涛将概念关系引入词串的权重计算, 同时综合考虑句子长度句子的位置 [6] 文本层次结构等信息进行主题句抽取徐超首先对文档 [7] 进行主题分割, 然后从各个局部主题中抽取文摘句何维将句子看作点, 将句子之间的相似性看作边, 用句子关系图描述句子之间的关系, 搜索图中边最多的点来抽取主题句这些方法在具体实验中都取得了一定的抽取效果, 但主题句的赋权依赖于具体的文本结构和句子位置等启发性信息, 方法的有效性受文本的风格和类型影响很大, 因此, 抽取的主题句具有随机性不确定性在基于 Web 获取主题相关信息, 并进行主题句抽取的应用中, 获取的候选主题句有着噪音大具有不确定性的特点, 主题句的可信度计算变得尤为重要因此, 本文采用机器学习方法, 引入 LDA 模型, 在主题模型所生成的句子 - 主题分布 (Sentence~topic) 的基础上提出主题句的可信度计算方法来进一步抽取主题句 2 LDA 模型 LDA 模型是 Blei [8] 等在 2003 年提出的一种统计主题模型 (Statistical opic Models), 是一种对文本数据的主题信息进行建模的方法, 其内在结构非常清晰如图 1 所示,LDA 模型假设一个文本由多个隐含主题随机组成, 而每个主题又由文本中的特定词汇体现, 这种假设也比较符合客观实际, 因此, 可将隐含主题看做词汇的概率分布 (topic~ord), 单个文档可表示为这些隐含主题的概率分布 (doc~topic), 这种假设也有利于大规模数据处理中的空间降维, 即把文档投影到 topic 空间同时,LDA 模型中也做了 bag of ords 假设, 即假设单词之间是没有任何关联的离散数据, 在模型中不考虑任何语法和词汇的顺序 ord 图 1 doc 假设一个文本含有个主题, 则文本中第 i 个词汇 i 出现的概率可以表示如下 : 文档层主题层 topic 1 topic 2 topic n 词层 LDA 隐含主题拓扑结构示意图 P( i ) = å P( i z i = )P(z i = ) (1) = 1 其中,z i 在模型中表示 i 取自某个主题,P( i z i = ) 表示 i 属于主题的概率,P(z i = ) 是主题属于当前文本的概率假定个主题形成的文本中含有 W 个唯一性词汇, (z = ) 令 φ = P( z = ) 表示对于主题,W 个词汇上的多项分布, 其中是 W 个唯一性词汇表中的词汇 ; 令 ψ (d) z = = P(z = ) 表示对于文本 d, 个主题上的多项分布, 于是文本 d 中词汇的概率为 : P( d) = åφ = 1 (z = ) ψ (d) z = (2) LDA 的图模型如图 2 所示,θ 和 Ζ 表示隐含变量,W 是唯一性词汇, 表示可观察值 ; 给定文档集合 D,D 是一个包含 M 个文档的集合, 每个文档 d 包含 N 个词, 假设 D 的主题数目为个,LDA 生成模型如下 : (1) 生成维多项式向量 Φ 服从参数为 β 的 Dirichlet 分布,Φ~Dirichlet(β) 即主题 - 词分布 (opic~ord) (2) 生成维多项式向量 θ 服从参数为 α 的 Dirichlet 分布,θ~Dirichlet(α) 即文档 - 主题分布 (Doc~topic) (3) 对文档中每一个词 n (1 < n < N) : 1 生成一个主题 z n 服从参数为 θ 的多项式分布 2 根据特定的主题比例 β, 对 n 生成 P( n z n β) 本文在 ψ (d) 上作对称的 Dirichlet(α) 的先验概率假设外, 在 φ (z) 上也作对称的 Dirichlet(χ) 的先验概率假设 3 LDA 模型主题句抽取近年来,LDA 模型被广泛应用于多文档自动文摘 [9] 文 [10] [11] 本分类关键词抽取等研究领域, 在主题分析领域, 石 [12] 晶在 LDA 模型文本分割的基础上, 确定片段主题, 进而总结全文的中心主题主题句抽取主要涉及两方面问题 : (1) 抽取主题相关文档中的句子作为候选句 (2) 评估候选句的重要性和可信度, 进一步抽取符合条件的主题句 3.1 问题提出在基于 Web 的关键词查询获取主题信息的应用领域, 主题句抽取的信息来源不同于传统的研究对象, 在通过搜索可获取的主题信息中, 来自不同侧面的主题句往往随机散落在文本的各个角落, 又由于主题相关网页文本描述形式各异, 因此, 与传统的主题句抽取方法不同, 文本的结构特征就不能够作为抽取主题句的考虑因素另外, 从网页文本内容来讲, 其内容往往掺杂较多主题不相关信息, 而并非完全的主题相关篇章, 有着噪声大文本结构信息少等特点因此, 传统的抽取方法难以满足该类主题句抽取的需要主题分布图 2 词分布 α θ Z 主题 β LDA 图模型关键词 N M

分割, 然后从各个局部主题中抽取文摘句何维将句子看作点, 将句子之间的相似性看作边, 用句子关系图描述句子之间的关系, 搜索图中边最多的点来抽取主题句这些方法在具体实验中都取得了一定的抽取效果, 但主题句的赋权依赖

3 162 一个主题往往由多个侧面从不同角度加以强调, 而各个侧面信息之间有着衬托与被衬托的关系, 也就是说一个侧面是因其他多个侧面的衬托而存在文献 [4] 在主题句抽取实验中为了抽取相关主题句而采用机器学习方法, 任意寻找非主题句集合加入二元分类模型训练, 非主题句的加入从某种程度上确实提高了主题句抽取的性能, 但本文认为非主题句集合选择的恰当与否以及粒度大小将直接影响基于 Web 的网络文本主题句的抽取性能例如, 在另文介绍的面向主题的关键词查询扩展方法中, 通过关键词的组合查询获取的关于某一药品副作用的候选主题句, 发现该药品功能主治这一侧面信息的描述形式以及含有的主题关键词较其他侧面 ( 如 : 药品组成等 ) 均与目标主题存在较大相似性, 因此, 在实际的主题句抽取应用中, 如果从单个侧面任意选择的非主题句集合作为训练集合则相对较盲目, 构造出的二元分类器很难把类似这样的噪音句从候选句中剥离出来, 所以本文结合前期的实验结果, 对于非主题句集合进行细分, 根据获取候选主题句实验中可预见的噪音句的主题所属, 构造多个侧面作为非主题集合从不同侧面衬托目标主题, 从而进行主题句抽取实验, 在引入的 LDA 模型中, 其中候选主题句所属的侧面对应于图 1 中的主题层 3.2 总体框架本文在面向 Web 的主题关键词查询扩展, 获取候选主题句的基础上, 采用机器学习方法, 引入主题相关和不同侧面的非相关信息来训练 LDA 分类模型, 以 Gibbs 抽样获得 LDA 模型中主题句的主题概率分布 (Sentence~topic) 和主题词汇分布 (opic~ord), 利用 Sentence~topic 分布的平滑度进行可信度计算来进一步抽取主题句总体框架如图 3 所示, 其中的预处理包括分词分句停用词处理主题候选句筛选主题关键词查询扩展方法 ( 包括 HML 页面解析关键词组合查询策略主题关键词迭代查询算法 ) 将另文介绍 3.3 Gibbs 抽样 MCMC(Markov Chain Monte Carlo) 提供了从后验分布直接抽取样本值的近似迭代方法, 而 Gibbs 抽样简化了实现 MCMC 算法本文考虑词汇对于主题的后验概率 P( z), 利用 Gibbs 抽样间接求得 φ 和 ψ 的值其目的是构造收敛于某目标概率分布的 Markov 链, 并从链中抽取被认为接近该概率分布值的样本使用 Gibbs 抽样的关键是构造目标概率分布函数在本文中, 只需要对变量 z i 进行抽样计算后验概率 P( z i = z -i i ) 的公式如下 : P( z i = z -i i ) = n ( ) i + χ -i n ( -i ) + Wχ n ( ) i + χ -i å = 1 n ( ) -i + Wχ + α -i + α + α -i + α (3) 其中, i 不仅仅代表词汇本身, 且与词在文本中的位置顺序有关 z i = 表示将 i 分配给主题,z -i 是所有 k ¹ i 的词汇分配情况 n ( ) i -i 表示分配给主题且与 i z k ( ) 相同的词的数量 ;n ( -i ) 是分配给主题的所有词的数量 ; -i 是在文本 d i 中分配给主题的词的数量 ; 是 d i 中所有被分配了主题的词汇的数量 ; 所有的词汇个数均不包括这次 z i = 的分配 Gibbs 抽样算法如下 : 首先随机初始化 z i 为 [1,] 之间某个主题, 即为 Markov 链的初始状态 ; 然后根据公式 (3) 的计算方法逐个将词汇分配给主题, 从而得到 Markov 链的下一个状态 ; 迭代一定次数以后, 即认为 Markov 链接近于目标分布函数对于每一个单一样本, 可以按下式估算 φ 和 ψ 的值 : φ ( z = ) = n( ) + χ ψ n ( ) + Wχ ( d ) = n( d ) z = + α n ( d ) + α 其中,n ( ) 表示词汇被分配给主题的频数 ;n ( ) 给主题的所有词数 ;n ( d ) (4) 表示分配表示文本 d 中分配给主题的词数 ;n ( d ) 表示文本 d 所有被分配了主题的词数这样, 文本 d i 对应的 θ 向量的各个分量可以通过公式 (6) 计算获得 θ (d i ) = + α -i d i z = ( å k = 1 -i k + α d i k ) (5) 其中 α 是一个维的 Dirichlet 参数 LDA 模型主题句抽取框架训练语料预处理 Gibbs Sampling 主题关键词查询扩展模块候选主题句集合预处理 LDA 模型主题句集合可信度计算候选句主题概率分布 (Sentence~topic) 图 3 主题句抽取总体框架图

向主题的关键词查询扩展方法中, 通过关键词的组合查询获取的关于某一药品副作用的候选主题句, 发现该药品功能主治这一侧面信息的描述形式以及含有的主题关键词较其他侧面 ( 如 : 药品组成等 ) 均与目标主题存在较大相似

4 王力, 李培峰, 朱巧明 : 一种基于 LDA 模型的主题句抽取方法主题句可信度计算在面向 Web 的主题句抽取具体应用中, 由于通过关键词查询得到的网络文本信息具有的来源不确定性噪音大等特点, 那么, 关键词查询扩展得到的候选主题句可信与否就变得十分重要, 因此, 本文在 LDA 模型主题句分类的基础上提出主题句的可信度计算方法来进一步抽取较可信的主题句在本文的主题句抽取中, 将获取的候选句对应到 LDA 模型中的文档层, 在 LDA 模型生成的 Sentence~topic 分布中, 假设 θ 向量为 (θ 1 θ 2 θ n ), 则每个 θ i 表明了主题句被分配到 opic i 的概率, 因此, 不同的主题句对应的 θ 向量也不同, 不同的 θ 分量值集中反应了该候选句被分配到不同 opic 的概率大小, 这就为主题句的可信度计算提供了依据在 Sentence~topic 分布中, 假设 opic i 为目标主题, opic ( Î[1 n] 且 ¹ i) 为其他侧面衬托主题, 在可信度计算中目标主题 opic i 在 Sentence~topic 分布中的概率值必须为所有概率分配中的最大值, 并且达到一定阈值, 该句才有可能成为可信的主题句, 具体计算方法如公式 (6) 所示另外, 本文提出计算 Sentence~topic 分布的平滑度加强主题句可信度计算, 如公式 (7) 所示 : θ i = arg max(θ 1 θ 2 θ n ) 且 θ i ϕ (6) θ i + θ δ, ¹ i 且 θ 仅小于 θ i (7) 在公式 (7) 中, 本文考虑 Sentence~topic 分布的平滑度来作为可信度计算的依据,Sentence~topic 分布越不平滑, 表明该句属于目标主题的特征越明显, 其越有可能是可信的主题句, 反之, 分布越平滑, 说明句子属于目标主题的特性相对于其他侧面主题不明显, 不足以区分主题所属, 那么该句是噪音句的概率就非常大例如, 假设有两个候选主题句通过 Gibbs 抽样获取其在各个 opic 上的主题概率分布 ( 其中有 4 个 opic,opic2 为目标主题 ), 分别为候选句一 θ 1 (0.4,0.5,0.08,0.02) 候选句二 θ 2 (0.15,0.5,0.15,0.2), 那么很明显候选句一和候选句二在目标主题上都取得了较高的可信概率, 但根据平滑度计算公式, 候选句二较于候选句一在目标主题上具有更高的可信度, 原因是虽然候选句一在目标主题 opic 2 上足够可信, 但考虑到目标主题上的概率分配与其他侧面主题概率分配的落差, 其在 opic 1 上同样有较高的主题分配概率, 而候选句二在目标主题上的概率分配值明显优于其他侧面主题, 在 LDA 分类模型训练不充分的情况下,Gibbs 抽样获取的主题概率分配本身仅仅具有参考价值, 因此在实际的开放测试中, 根据各个主题概率分配的平滑度来计算候选句可信与否对于面向 Web 的主题句抽取非常必要公式 (6) (7) 中参数 ϕ,δ 的取值对系统性能的影响将在后续实验中分别进行讨论 4 实验及结果分析本文锁定中药领域, 选择中药 ( 包括板蓝根牛黄解毒片维 C 银翘片 ) 这三类药品的副作用这一基于 Web 的目标主题作为主题句抽取实验, 力求根据某一类药品 ( 如 : 牛黄解毒片 ) 的描述语句作为训练集, 利用其在同类型主题的描述习惯, 来对其他类别的中药产品 ( 如 : 板蓝根 ) 的副作用相关主题句进行抽取实验整个实验分为两大部分 :LDA 模型训练和主题句抽取测试在 LDA 模型训练实验中, 分为两个实验, 其目的是探测非主题相关信息的细化粒度对于主题句抽取性能的影响实验 1: 手工收集牛黄解毒片这一药品的 4 个侧面 ( 包括功能主治生产厂家副作用药品组成 ), 句子总数 874 句作为训练集实验 2: 不从多个侧面划分非主题相关信息, 训练语料仅划分为主题相关 (410 句 ) 和非主题相关信息 (464 句 ) 两类, 共计总数也是 874 句实验中不同侧面对应于 LDA 模型中不同的主题, 因此, 本文中 LDA 主题数目参数设置为 4 个 α 和 β 设置为默认值, 分别为 α = 0.5, β = 0.1 迭代次数设置为次 χ 取经验值 0.01 实验 1 中模型训练语料具体主题侧面分类如表 1 所示在系统性能测试实验中, 测试语料来源于另文介绍的关键词查询扩展实验, 通过 Web 搜索得到的另外两个药品 ( 板蓝根维 C 银翘片 ) 带有噪音的候选主题句子集合, 具体主题分类如表 2 所示对于系统性能的评测, 本文采用准确率 (precision), 召回率 (recall),f 度量 (F-measure) 三个指标来对目标主题的抽取性能进行评价具体定义如下 : recall = 表 1 表 2 主题侧面 /opic 侧面功能主治副作用噪音句总计实验 1 不同侧面训练语料集合副作用功能主治组成生产厂家总计板蓝根正确抽取的主题句主题相关句总数正确抽取的主题句 precision = 抽取句子总数 2 precision recall F = precision + recall 句子数 (8) (9) (10) 在测试语料集合中, 通过人工标注每个候选主题句所属 opic, 其中噪音句表示该句不足以归属于训练语料中的任何一个 opic 从表 2 中可以看到, 通过药品副作用这一目标主题的关键词查询扩展实验得到的候选主题句, 掺杂大量的噪音句, 从而影响了主题句的抽取性能, 因此, 本候选主题句测试语料集合药品维 C 银翘片

句分类的基础上提出主题句的可信度计算方法来进一步抽取较可信的主题句在本文的主题句抽取中, 将获取的候选句对应到 LDA 模型中的文档层, 在 LDA 模型生成的 Sentence~topic 分布中, 假设 θ 向量为 (θ 1 θ 2 θ n ), 则每个 θ

5 164 文采用 3.2 节提出的可信度计算方法, 来进一步抽取可信的主题句在公式 (5) 中, 因为参数 ϕ 是对主题句的进行可信度筛选的较为可靠的概率阈值, 根据常识, 概率超过 0.5 时, 初选的主题句才较为可信, 因此本文设定参数 ϕ Î [ ],δ Î[ ] , 探测 ϕ δ 对系统性能的影响, 参数 ϕ,δ 对主题句抽取性能的影响如图 4 图 5 所示主题句抽取 F 值主题句抽取 F 值参数 Φ 图参数 δ 图 5 另外, 在测试实验中, 分别对两类药品 ( 板蓝根维 C 银翘片 ) 进行主题句抽取实验测试评价, 将本文提出方法与文献 [4] 采用的 SVM 二元分类方法以及 LDA 模型分类本身分别从实验 1 实验 2 进行对比实验, 来探测不同的话题数对性能的影响其评价结果如表 3 所示实验 1 实验 2 参数 ϕ 对主题句抽取性能影响参数 δ 对主题句抽取性能影响表 3 方法 LDA 本文方法 LDA 本文方法 SVM 主题句抽取性能评价 Precison Recall (%) δ=0.70 δ=0.75 δ=0.80 δ=0.85 δ=0.90 δ=0.95 Φ=0.65 Φ=0.70 Φ=0.75 Φ=0.80 Φ=0.85 从上述实验结果可以看出, 在开放测试中, 本文提出的主题句抽取方法有着相对较好的性能, 这是由于引入的 LDA 模型中, 非主题相关信息的进一步细化, 使得多个侧面对于目标主题的衬托有利于提高最终的主题句抽取精度另外, 在针对网络主题文本所具有的噪音大不确定性的特点, 引入的主题句的可信度计算方法能够有效地过滤掉大量的噪音句, 在一定程度上提高了主题句抽取的性能从 LDA 模型本身来讲,LDA 的 Dirichlet 先验概率假设, 使得模型易于处理训练语料之外的新文本, 这就是 LDA 模型相对于 SVM 召回率较高的原因, 而在准确率方面,LDA 模型的精度相对较低, 通过分析, 其原因是 LDA 主题模型本身是通过采样的方法来模拟真实文本, 语料的规模将对 F 最终抽取的准确率有较大影响, 因此, 语料的有效扩充是进一步研究需要改进的重点通过图 4 参数 ϕ 对抽取性能的影响图中可以看出, 不管 δ 的取值如何, 随着 ϕ 值的增加, 系统 F 值呈现类似抛物线形状的分布图, 其原因是, 虽然在 LDA 分类模型的基础上, 选取合适的 ϕ 值确实可以提高主题句抽取性能, 但随着 ϕ 值的增大, 在准确率提高的同时, 系统召回率也相应有所下降图 5 大体反映出主题句的 Sentence~topic 分布越不平滑, 该句的可信度就越高这一理论事实但在 δ =0.9 时, 多条性能曲线都表现出反弹现象, 通过仔细分析发现, 这是由于 LDA 模型本身的分类错误造成的, 本文的主题句可信度计算是在 LDA 分类较为可靠这一假设性前提的基础上进行的, 如果对于部分主题句, 前期的 LDA 分类不足以明显区分主题所属, 那么可信度计算就很难达到预想的效果, 所以, 选择可靠的主题句集合扩充 LDA 模型训练, 提高模型本身的可靠性, 是下一步需要重点研究的问题本文对于主题句抽取错误的语料进行了专门分析, 发现影响系统性能的原因有以下几个方面 : (1) 对于基于 Web 的主题句来源的不确定性, 使得符合 LDA 分类模型的句子却不是目标主题所需要的主题信息另外, 有部分候选主题句由于缺少主语或宾语, 由于分句的原因造成指代不明确或者主语缺失等现象, 使得抽取的主题句不能够符合目标主题的要求 (2) 通过关键词查询扩展获取的候选主题句, 虽然含有大量的主题关键词, 却不是完整意义的主题句, 又由于 LDA 模型的 bag of ords 假设, 使得这样的噪音句反而极易分类为主题句 (3) 另文介绍的面向 Web 的关键词查询扩展实验, 随着迭代次数的不断增加, 发生查询漂移 (Query Drift) 的机率也相应增加, 查询扩展得到的候选主题句子集的主题相关性不断分散, 加上 LDA 模型训练语料不充分, 容易产生 LDA 本身分类错误 5 总结与展望本文提出一种基于 LDA 模型的主题句抽取方法, 采用 Gibbs 抽样方法, 通过多个侧面对目标主题的衬托, 利用主题概率分布的平滑度进行可信度计算来抽取主题句, 在具体应用中取得了相对较好的效果在下一步工作中, 针对以上影响主题句抽取的几个因素, 如何选择大量未标注的可靠主题句来扩充训练 LDA 模型引入指代消解预处理技术以及如何使面向主题的关键词查询扩展获取候选主题句与主题句抽取, 两者能够相互促进, 以达到提高整体抽取性能的效果是下一步需要重点研究的问题参考文献 : [1] 马亮, 何婷婷, 李芳, 等. 以关键词抽取为核心的文摘句选择策略 [J]. 中文信息学报,2008,22(6). ( 下转 257 页 )

64 0.62 0.60 0.58 0.56 0.54 0.72 0.70 0.68 0.66 0.64 0.62 0.60 0.58 0.56 0.54 0.65 0.70 0.75 0.80 0.85 参数 Φ 图 4 0.70 0.75 0.80 0.85 0.90 0.

说明为了反映教运行的基本状态, 为校和院制定相关政策和进行教建设与改革提供据依据, 校从程资源 ( 开类别开量规模 ) 教师结构程考核等维度, 对 2015 年春季期教运行基

说明为了反映教运行的基本状态, 为校和院制定相关政策和进行教建设与改革提供据依据, 校从程资源 ( 开类别开量规模 ) 教师结构程考核等维度, 对 2015 年春季期教运行基内部资料东北师范大教运行基本状态据报告 2015 年春季期教务处 2015 年 10 月 27 日说明为了反映教运行的基本状态, 为校和院制定相关政策和进行教建设与改革提供据依据, 校从程资源 ( 开类别开量规模 ) 教师结构程考核等维度,