基于改进的TF-IDF算法的聚焦主题

Size: px

Start display at page:

Download "基于改进的TF-IDF算法的聚焦主题"

浚充
7 years ago
Views:

1 Joural of Computer Applicatios ISS 计算机应用,015, ( ): - CODE JYIIDU 基于 TF-IDF 改进算法的聚焦主题网络爬虫王景中 1, 邱铜相 ( 北方工业大学计算机学院, 北京市,100144) (* 通信作者电子邮箱 @qq.com) 摘要 : 针对传统的 TF-IDF 算法 K_meas 算法自适应遗传算法在网络检索结果中含有大量不相关数据语义检索准确性不高的问题, 本文研究了 TF-IDF 算法的改进及其在语义检索中的应用将正则表达式和语义分析技术相结合, 从而实现对 TF-IDF 算法的改进利用语义库对搜索主题进行描述, 根据正则原子语义的重要性和在网页标签中的不同位置进行加权计算, 得到正则原子在文档中的相似度通过空间向量模型对文档相似度和主题模型进行余弦运算, 从而获取最终的搜索结果最后, 将改进的 TF-IDF 算法传统的 TF-IDF 算法 K_meas 算法和自适应遗传算法运用于聚焦主题网络爬虫中, 对其检索结果进行了对比分析计算结果表明, 在聚焦主题网络爬虫语义分析的垂直搜索中, 改进的 TF-IDF 算法比传统的 TF-IDF 算法检索准确率提高了 17.1%, 遗漏率可降低到 3.1%; 比 K_meas 算法检索准确率提高 6%; 比自适应遗传算法检索准确率提高 8.1% 总之, 改进的 TF-IDF 算法可以有效地提高文档相似度检测的准确率, 很好地改善聚焦主题网络爬虫在语义分析中的缺陷关键词 : 网络爬虫 ; 语义分析 ; 搜索引擎,TF-IDF; 主题爬虫 ; 文档相似度中图分类号 : TP311 文献标志码 : A Improved TF-IDF Alogorithm Base O Focused Title etwork Crawler Wag Jigzhog [1], QIU Togxiag [], (School of computer orth Chia Uiversity Of Techology,Beig,100144) 收稿日期 : ; 修回日期 : 基金项目 : 国家自然基金项 (o ); 北京市创新团队建设提升计划 (ID HT013050) 作者简介 : 王景中 (196-), 男, 内蒙古, 教授, 硕士, 主要研究方向 : 信息安全, 图像处理, 数据挖掘 ; 邱铜相 (1989-), 男, 江西信丰, 硕士研究生, 主要研究方向 : 信息安全数据挖掘

com) 摘要 : 针对传统的 TF-IDF 算法 K_meas 算法自适应遗传算法在网络检索结果中含有大量不相关数据语义检索准确性不高的问题, 本文研究了 TF-IDF 算法的改进及其在语义检索中的应用将正则表达式和语义分析技术相结合, 从

2 计算机应用第 35 卷 Abstract: I order to solve the problem of these large umber of irrelevat data i web search results ad the low accuracy of sematic retrieval of the traditioal TF-IDF algorithm, K_meas algorithm ad the adaptive geetic algorithm, we studied the improvemet of the TF-IDF algorithm ad its applicatio i sematic retrieval i this paper. The TF-IDF algorithm is improved successfully by applyig the regular expressio to the sematic aalysis techique. The search topic is described by a sematic database. The similarity of the regular atoms i documets is obtaied by a weighted calculatio, which is accordig to the importace of the regular atomic sematics ad the differet positios of the web pages. The fial results are obtaied by a Cosie operatio of the documet similarity ad subject mode through the space vector model. Fially, calculatig results are aalyzed by applyig the improved TF-IDF algorithm, the traditioal TF-IDF algorithm, the K_meas algorithm ad the adaptive geetic algorithm to the focused topic web crawler. Results show that the accuracy is improved by 17.1% ad the omissio rate ca be reduced to 3.1% i the vertical search of the focused web crawler. Compared with the K-meas algorithm ad the adaptive geetic algorithm, the accuracy ca be improved by 6% ad 8.1% respectively. I summary, the improved TF-IDF algorithm ca improve the accuracy of documet similarity detectio effectively ad the defect of focused web crawler i the sematic aalysis greatly. It is of great sigificace i future sematic retrieval. Keywords: web spider; sematic aalysis; Search Egie;TF-IDF;title spider;documet correlatio degree 0 引言随着互联网的高速发展, 网络上的数据资源每天都在成千上亿兆的增长其中涵盖了当因此需要提出一种能够根据主题语义来判断网页的相似度关系以及提高爬行效率的搜索策略, 而改进的 TF-IDF 算法可以递归的回溯到主题语义上, 让爬虫紧贴主题语义, 让爬虫抓取更加精确今社会各个方面, 例如教育新闻财经等等 [1] 网络共享资源已经成为了当今世界上最大规模的网络公共共享资源但是人的能力是有限的, 对面如此庞大的资源数量, 人类要从中找出所需要的数据是一件非常艰难的事情而聚焦主题网络爬虫就是专为抓取某主题信息而网络爬虫聚焦主题网络爬虫出现的网页信息抓取工具 [] 与通用网络爬虫不同, 聚焦主题网络爬虫目的在抓取与特定主题内容相关的网页信息因此, 聚焦主题网络爬虫面临的首要问题就是使用何种方法来判定网页内容与主题的是否相关, 以及根据主题相关度采用的搜索策略来提高搜索结果的正确性和时间空间性能目前主要的聚焦主题网络爬虫搜索策略有 : 基于内容评价的搜索策略和基于链接结构评价的搜索策略, [3 但是以上两种搜索策略在对主题语义分析方面都有很大的缺陷聚焦主题网络爬虫是在普通网络爬虫上根据自己的爬行算法和设定的主题特征进行过 [] 滤, 筛选出满足主题的 utl 来进行抓取页面数据, 下载满足规则的页面存储起来目前主题网络爬虫的目标是尽可能高速全面正确的将网站页面存储到本地, 比较常用的方式是全面或者部分匹配页面信息, 获取相关的 url, 根据 url 下载网页页面, 普通的网络爬虫适用于通用的数据搜索, 误差率大而聚焦主题网络爬虫则针对某一领域或者主题, 其主要方式是在资源有限的条件下, 竟可能获取与主题相关的网站页面, 同时尽量减少与主题无关的

The TF-IDF algorithm is improved successfully by applyig the regular expressio to the sematic aalysis techique. The search topic is described by a sematic database.

3 第 * 期王景中邱铜相 : 基于 TF IDF 改进算法的聚焦网络爬虫 3 网页因此聚焦主题网络爬虫搜索数据的准确性比普通主题网络爬虫提高了将近 1 倍 [4], 但缺陷是限定在另一个领域中现阶段聚焦主题网络爬虫面临主题描述困难, 模型定义规则复杂文档结构多元化, 准确数据遗漏, 误差易被放大等挑战, 特别是不能对主题进行全面准确的描述, 结构是抓取到的网页数据偏离主题本身的语义和误差放大而本文提出的基于 TF-IDF 改进算法可以解决此类问题中包含主题关键字文档数为 100, 第二种情况是包含主题的文档数是 50 篇, 很明显的可以看出, 第二种情况能够更好的区分与主题相关的文档 TF-IDF 算法的计算公式如式 (1) [5] : w = f tf f idf = log i (1) 1. 基于语义分析的聚焦主题网络爬虫其中 W 是第 i 个词在第 j 篇文档中的权值,ftf 是第 i 个词汇在第 j 篇文档中出现的频率, 基于语义分析的聚焦主题网络爬虫是在主题网络爬虫的基础上, 根据主题的语义, 将分词技术, 正则技术和语义分析技术综合运用到对页面信息分析, 自动筛选符合主题语义的 url [], 将数据源的语义自动聚集到主题语义上, 排除与主题语义不匹配的信息因此, 基于叫做词汇频率 fidf 是主题在所有文档中出现的频率, 称为反词汇频率当 fidf 值越大的时候, 说明这个词汇在文档中的越容易区别于其他文档, 其识别度就越高从式 1 可以得到 :w 的权值要提高, 词汇频率需要提高对于反词汇频率, 其值越大, 说明词汇越集中于部分文档中 [1], 更容易区分于其他文档对于运用到实践中, 需要对于进行向量归一化, 其结果如式 () [5] : TF-IDF 改进算法的目标是尽可能的排除不相关数据, 控制误差, 尽可能全面的包含符合主题语义的网页 TF-IDF 算法改进网页内容相似度衡量, 在不同领域中采用的方法各不相同本次研究主要采用文档词频 w = i = 1 f f log( ) i log i () 统计算法 TF-IDF 算法 TF-IDF 算法是基于统计学加权的一种重要的统计信息的计算方法其主要思想涉及两个参数 : 一个是 TF 频率, 其描述的是主题关键字在文档中出现的次数, 次数越多, 文档与主题的相似度越高另外一个是 IDF 频率, 其描述的是主题关键字在文档中的区分度, 主题关键字在所有文档中出现的次数越少, 其主题在文档中区分度越高 [3] 例如 : 主题为研究生初试分数线在所有搜索文档中出现的词汇频率是 300 次, 第一种情况是其从式上可以看出,TF-IDF 的算法不能区分主题的语义, 原因在于分割主题得到的词很多是没有实际意义的, 但是却对整个主题相似度的贡献却占很大比例比如, 特色的牛肉食品, 牛肉的贡献度为 0.15, 食品的贡献度为 0., 而特色的贡献度为 0.3, 而的的贡献度却占 0.3 总的贡献度是 0.95 但整个主题重点是特色牛肉, 其贡献度是 0.45, 而的是无意义词, 其贡献度却接近占总贡献度的 1/3 并且特色是修饰词, 其意义也不大, 但其贡献度占 0.3 而其中最大问题的是牛肉, 应该是主题中最能具有 3

主题关键字文档数为 100, 第二种情况是包含主题的文档数是 50 篇, 很明显的可以看出, 第二种情况能够更好的区分与主题相关的文档 TF-IDF 算法的计算公式如式 (1) [5] : w = f tf f idf = log + 0.01 i (1) 1.

4 4 计算机应用第 35 卷区分度的词, 但其贡献却是只有 0.15 因此, 基于传统的 TF-IDF 算法对主题搜索存在问题, 需对其进行改进而解决此类问题的办法是将搜索的每个关键字进行分割, 剔除虚词, 其目的是解决没有实际意义词参加到网页相似度的计算中对于非关键词贡献度偏大和关键词贡献度偏小等不合理情况, 其解决方法是对其每个词的重要性进行加权 [4], 对关键词进行高权重处理, 非关键词根据重要性对于合理分配权限, 因此,TF-IDF 算法可以进一步修改为为如式 (3)(Cj 表示主题在第 j 篇文档中的贡献度 ): j i<, j< i<, j () () C = f i w = f i i= 1, j= 1 i= 1, j= 1 i= 1 f log i f log i 这适合无结构化的网页文本, 但是对半结构化的网页文档效果明显存在偏差, 原因在于网页文档中存在特殊意义的标签, 这些标签中的内容对主题的贡献值比其他标签中的内容具有更大的意义, 因此出现在这些标签中应该比其出现在他标签中的权重高所以在解析网页内容时, 因根据网页中的标签特征可以找出关键字所在位置, 对其进行加权区分对 html 文本网页, 其中 title, 锚文本 (achor text),meta 等标签中内容对主题的贡献度在整个网页中的贡献度占的比重是比较大的 [4] 因此这些标签的值的权重应该给定特殊的权重, 但是标签如果仅仅在上述地方的一个出现, 贡献度的权重可能会偏离主题, 为了避免出现这种情况, 采用平均加权的办法和累加计算的办法其权重的计算公式如式 (4): (3) T wf ( k) = i = 0 j = 1 m m () i ( j) 其中 m(i) 是第 i 标签的权值,Twf(k) 表示第 k 个词的平均累加权值, j= 1 (4) m( j) m ( i) 表示第 k 个词在所在标签的累加权重, 表示在整个页面包含的上述标签的权值总和根据以往研究, 获取到比较合理的标签权值函数 m(i) [4], 如式 (5): () mi 10, < title > 8, < metal > = 6, < H ><, a > 3, 其他但是获取到的 Twf(k) 值永远是小于 1, 如果关键字不出现标签中列表中,Twf(k) 将会是 0 事实上对主题是有贡献, 因此 Twf(k) 的取值范围不应该在 [0,1] 在实验中发现, 标签中合理的权重取值应该是在 [1,], 原因在于, 对于所有的标签都是有贡献的, 相比下, 只是每个贡献度是不一样的在实验中, 需要对 Twf(k) 函数进行调整如式 (6): T wf ( k) mi () i= 0 + 1, ( 0) = m( j ) j= 1 1, ( = 0) (5) (6) i = 0 4

贡献度偏小等不合理情况, 其解决方法是对其每个词的重要性进行加权 [4], 对关键词进行高权重处理, 非关键词根据重要性对于合理分配权限, 因此,TF-IDF 算法可以进一步修改为为如式 (3)(Cj 表示主题在第 j 篇文档中的贡献度

5 第 * 期王景中邱铜相 : 基于 TF IDF 改进算法的聚焦网络爬虫 5 但是对于对于语义分析的主题网络爬虫, 将主题部分分割再描述在大部分搜索中都是歪曲了主题语义, 这是误差扩大化的根本原因因此主题模型地正确描述的正确与否关系到搜索结果的正确性好与差本文研究提出的解决方法是用一序列的语义来描述主题, 每条语义进行分析 ( 图 1 中 4), 爬行控制模块根据规则控制语义选择器选择是否下载页面数据和是否将获取的 url 添加到 url 队列中去 ( 图 1 中 5,6,7) 1 读取定义成一个不可分割的语义模型在实验中则是用一个正则表达式描述一条语义模型因此, 实验中同义集合 / 反义集合中的每一个正则表达式都是一条语义模型, 对每个语义模型进行权重分配, 主题贡献度计算公式可以改进为如式 (7)(cj 表示关键字第 j 篇文档中的贡献度 ): Htmlparser 解析 3 获取 UrlData 5 数据 7 选择 Url 队列 j C = f k T k k = 1 k ( ) wf ( ) i = 1 log log i (7) 3 解析 TxtData 4 分析 4 分析内容分析 4 分析语义判定器 5 数据 ⑺ 选择 6 控制 DowLoad 爬行控制模块其中是语义库中所有正则表达式在第 j 页面搜索到次数总和 f(k) 是第 k 个正则表语义库达式的权值,Twf(k) 是第 k 个正则在第 j 个页面中平均权值,k 第 k 个正则表达式在第 j 个页图 1 聚焦主题网络爬虫功能模块图面中出现的次数 3 基于语义分析的聚焦主题网络爬虫设计实现聚焦主题网络爬虫爬虫的设计分为三大模块, 分别是语义分析, 数据下载和爬行控制模块语义分析模块负责语义分析等功能, 数据下载模块负责下载网页和存储文档, 爬虫控制模块负责协调控制整个爬虫过程各个功能模块协调运行 ( 如图 1 所示 ): 首先, 爬虫会从初始化的 url 队列中获取 url 链接 ( 图 1 中 1), 获取网页内容然后 Htmlparser 对获取到的网页内容进行解析 ( 图 1 中 ), 同时 Htmlparser 将网页中的 url 和 urldata 提取出来 ( 图 1 中 3), 交给语义分析功能模块, 语义分析功能将语义库加载到程序中, 对 UrlData 和 TxtData 3.1 语义库主题模型难以描述是如今聚焦主题网络爬虫面临的一个难题, 目前描述的方式很多, 其主要的描述方式有完全描述和部分描述完全描述缩小了搜索范围, 提高了准确率, 但是搜索的信息不够全面部分描述则扩大了搜索范围, 造成误差扩大化语义库是描述主题模型的一个集合, 语义库包含同义集合和反义集合两部分同义集合是描述与主题模型语义一致的正则表达式的集合, 同义集合是根据用户主题, 获取得到, 同义集合的目的是尽可能全面的覆盖主题语义, 获取到尽可能全面的数据反义集合是描述与主题语义不相符的正则表达 5

1 中 5,6,7) 1 读取定义成一个不可分割的语义模型在实验中则是用一个正则表达式描述一条语义模型因此, 实验中同义集合 / 反义集合中的每一个正则表达式都是一条语义模型, 对每个语义模型进行权重分配, 主题贡献度计算公式

6 6 计算机应用第 35 卷式集合, 其目的是为了将部分描述中不符合主题模型规则过滤掉, 减小误差反义集合获取方式和同义集合获取方式相同同义语义集合和反义语义集合获取同义语义集合和反义语义集合的获取的方式是相同的其获取是根据主题语义, 人工的创建一个训练集合库创建的步骤如下 : 1) 根据主题语义, 创建同义集合 SyoymousSet{S1,S S}( 为有限个语句 ), 其中 S 是同义语句 ) 从 SyoymousSet 集合手动创建正则表达式语句为 T1, 添加到集合 SySemSet{T1,T...} 3) 对 SySemSet 中所有的正则表达式语句进行加权赋值建立同义集合的目的是使得更加全面的搜索到相关主题的信息为了保证主题信息的准确性和全面性, 采用了正则表达语义库, 根据主题语义建立一个关于主题的正则表达式语义库, 从而进一步加大了搜索的范围反义集合与同义集合建立类似, 但是其目的是减少信息度的计算同义语义集合是增强主题相似度, 反义语义集合则是削弱主题相似度, 在改进的 TF-IDF 算法考虑这种类型计算, 因此为了区别, 在语义库表结构中加入区别的字段 categor 第三个方面, 重复使用问题对于用一个正则, 在同一个文档中的计算只能计算一次否则造成时间, 空间资源浪费和影响结果的准确性 3.1.3语义解析器语义解析器是将网页内容进行解析, 将解析出的内容进行语义分析, 利用页面相似度算法进行数据刷选, 将符合要求的 url 提交交给爬行控制模块, 符合主题语义的数据提交给数据抓取模块下载因此语义解析器有两个大模块, 第一个模块是网页解析和内容分析的 htmlparse 解析模块, 第二个模块是 url 链接刷选和分析语义的语义判定器功能流程如图 1 所示网页解析器的作用是解析网页代码, 去除网页噪声和对网页代码进行修补, 本文中使用开源的 parsehtml 技术其中内容分析跟语义判器都涉及到语义分析, 内容分析是根据语料库中的主题信息, 分析网页的相似度然后 url 选择器根据设定条件, 提取出符合主题语义的 url 链接范围, 尽量排除跟主题无关的信息 3. 数据下载模块 3.1.语义库的表结构设计数据下载模块是将网页上的数据下载到本地磁盘或数据库中, 其行为有爬虫控制模块控根据语义库的定义, 在设计语义库时需要考虑三个方面的问题第一个方面是语义模型不重复性, 这个不重复性体现在初始化时不重复和使用不重复如果初始化重复, 会导致语义库链表的无限扩张, 同时在语义分析的时候重复调用, 造成时间和资源的巨大浪费在设计的语义库表结构的时候需要考虑正则表达式的唯一性第二方面, 权重值问题语义库中制其主要的功能有 : 1) 获取网页名称, 在本地建立索引, 将存储位置, 文档内容与主题关联起来 ) 保存网页数据, 根据要求保存在数据库或磁盘上存在同义语义集合和反义语义集合, 这个两个集合中权重值表示是否有区别影响后面的相似 3.3 爬行控制模块 6

), 其中 S 是同义语句 ) 从 SyoymousSet 集合手动创建正则表达式语句为 T1, 添加到集合 SySemSet{T1,T.

7 第 * 期王景中邱铜相 : 基于 TF IDF 改进算法的聚焦网络爬虫 7 爬行控制模块是整个爬虫的神经中枢, 控制爬虫的各个模块协调运转其主要有两大模块 :url 队列管理和行为判定其中 url 队列管理控制 url 初始队列,url 等待队列和 url 结束队列行为判定功能则是控制其他模块运行主要流程是从 url 初始队列中获取 url, 如果等待队列中不存在, 则添加到等待队列中, 等待其他线程调用如果存在, 则从 url 初始队列中删除 url 初始队列中的 url 必须是唯一, 并且不能存在 url 结束队列中然后语义库对 htmlparser 解析出来的文本进行语义分析, 计算网页文档的贡献度, 爬虫根据主题语义选择下载内容和选择网页中的 url 链接 Htmlparser 网页解析模块, 解析网页内容, 除去网页噪声, 提取网页文本内容和全部的 url 链接获取 [8] 因此基于 TF-IDF 的爬行控制模块流程图 : 图爬行控制模块工作流程图 4 实验结果分析本次实验结果分析涉及到返回数据准确度, 错误率, 数据遗漏率因此, 实验中 web 文档样本总数个, 指定搜索主题 ( 例如 php 开发框架 ), 语义库中构造同义集合正则表 4 7

且不能存在 url 结束队列中然后语义库对 htmlparser 解析出来的文本进行语义分析, 计算网页文档的贡献度, 爬虫根据主题语义选择下载内容和选择网页中的 url 链接 Htmlparser 网页解析模块, 解析网页内容, 除去网页噪声, 提取

8 8 计算机应用第 35 卷条, 反义集合正则表达式 3 条样本中与主题关键字匹配的文档数是 30000, 与主题关键字匹配但是与主题语义不匹配的文档数是 10000, 符合主题语义的数据总数是 0000, 与主题无关的文档总数是 0000 实验中将本文中改进的 TF-IDF 算法, 原始的 TF-IDF 算法,k_meas [4] [10] 短文聚类算法以及自适应遗传算法的聚类爬虫算法进行比较, 得到如下数据 ( 表 1 实验结果对照表 ) 其中 f-precise 表示爬虫返回文档中与主题语义匹配的文档数与样本中与主题语义匹配的文档数的百分比,f-uTitle 表示爬虫返回文档中与主题不匹配的但跟主题关键字匹配的文档数与样本中与主题语义相匹配的文档数百分比 f-error 表示是爬虫返回文档中与主题关键字完全不匹配的文档数与爬虫返回文档总数的比例,f-omissio 表示样本中与主题匹配的文档未被爬虫抓取的文档数与样本中与主题匹配的文档数的百分比法是 K_meas 算法, 但是改进的 TF-IDF 算法在错误率和准确率两个性能上占有明显优势, 而对于另种现在主流的聚焦主题网络爬虫算法 -- 自适应遗传算法, 改进的 TF-IDF 算法在准确性, 降低误差, 减小数据遗漏方面, 都具有明显优势因此, 从分析中和实验数据可以看出, 改进的 TF-IDF 算法对网页相似度计算在准确率误差率方面都有明显提高, 并且取得了很好的预期效果 5 结语本文从语义分析角度对网络爬虫技术进行研究, 解决了主题网络对主题语义分析的缺陷其主要特点有如下几点 : F 值方法名数值表 1 实验结果对照表 f -Precise f -utitle f -Error f -Omissio 1) 搜索数据全面的性能优越, 即是相关主题内容遗漏率率小, 搜索结果数据规模小, 误差化扩大得到有效控制 ) 搜数据准确率有很大提高 3) 适合复杂的关键字检索和文档的语义分析原始的 TF-IDF 78.60% 10.50% 5.40% 10.90% K_meas 算法 89.7% 5.3% 3.5% 1.5% 自适应遗传算法 87.6% 3.4%.1% 6.9% 本文改进的 TF-IDF 95.70% 1.16% 0.0% 3.14% 从表 1 中可以得到 : 改进的 TF-IDF 算法比传统的 TF-IDF 算法在准确率方面提高了 17.1%, 并且错误率和遗漏率都有明显的降低, 其中遗漏率降低到 3.1% 虽然将遗漏率降到最低的算但是在创建同义语义集合和反义语义集合是人工创建训练集, 非智能化因此, 在创建同义语义训练集合实现智能化是具有重要的研究价值,, 为将来在语义检索方面提供研究参考参考文献 [1] 代宽, 赵辉, 韩冬. 基于向量空间模型的中文网页主题特征项抽取. 吉林学报, 014, 31(1): [] 李东晖, 廖晓兰, 范辅桥, 黄九鸣, 陈雪刚. 一种主题知识自增长的聚焦网络爬虫. 计算机应用与软件, 014,31(5):

与样本中与主题语义匹配的文档数的百分比,f-uTitle 表示爬虫返回文档中与主题不匹配的但跟主题关键字匹配的文档数与样本中与主题语义相匹配的文档数百分比 f-error 表示是爬虫返回文档中与主题关键字完全不匹配的文档

9 第 * 期王景中邱铜相 : 基于 TF IDF 改进算法的聚焦网络爬虫 9 [3] 路永, 李焰锋. 改进 TF-IDF 算法的文本特征项权值计算方法. 图书情报工作, 013,57(3):89-94 [4] 邱云飞, 赵彬, 林明明, 王伟. 结合语义改迚的 k-meas 短文本聚类算法. 计算机工程与运用.015,1:1-7 [5] 黄承慧, 印鉴, 侯昉. 一种结合词项语义信息和 TF-IDF 方法的文本相似度量方法. 计算机学报, 011,34(5): [6] 孙志军, 郑烇, 袁婧, 刘恒, 王崇. 基于浅层语义分析技术的语义检索. 计算机科学, 01, 39(6): [7] Schuber F,Li Hui. Chiese word segmetactio ad its effect o iformatio retriveal[j]. Iformatio Processig ad Maagemet,004,40(1): [8] 成欣, 李扬. 一种基于本体的异构数据语义抽取方法. 计算机与现代化, 014,(6):-6 [9] James J.Q. Yu, Victor O.K, LiDepartmet. A social spider algorithm for global optimizatio Applied.Soft Computig,015,Vol.30:o [10] 陈悦, 陈运, 杨义先, 胡迪. 基于遗传算法的聚焦爬虫搜索策略设计与研究. 成都信息工程学院学报,011,6(5): [11] 于洪波. 网页特征提取技术研究. 山东理工大学学报, 011, 5(): [1] 贺飞艳, 何炎祥, 刘楠, 刘健博, 童敏. 面向微博短文本的细粒度情感特征抽取方法. 北京大学自然学报 (1):

基于浅层语义分析技术的语义检索. 计算机科学, 01, 39(6): 107-110 [7] Schuber F,Li Hui. Chiese word segmetactio ad its effect o iformatio retriveal[j].

1983

1983 1983 220 269 1955 137 169 155 220 165 159 162 159 40 162 101 183 5 175 213 1959 1983 1957 64 65 30 232 1955 1985 1978 224 244 246 244 239 254 251 264 259 265 268 275 278 1799 30 24