/'$$ 22 计算机工程与科学!- 服务 :" 服务等纷纷出现为了便于用户使用这些软件服务先后出现了一些软件服务管理平台如 355!#/#!4!='#2'42 1# 42 $#''# 等其中较有影响力的 $#''# 已经搜集了多个! 和多个 # 信息随着服务数量的飞速增加依靠人

Size: px

Start display at page:

Download "/'*$$ 22 计算机工程与科学!- 服务 :*" 服务等纷纷出现为了便于用户使用这些软件服务先后出现了一些软件服务管理平台如 355!#/#!4!='#2'42 1# 42 $#''# 等其中较有影响力的 $#''# 已经搜集了多个! 和多个 # 信息随着服务数量的飞速增加依靠人"

森殷
7 years ago
Views:

1 /;&"!&( 计算机工程与科学 /'*$$ 22 第卷第期年月 <<< 文章编号 &(&& 基于的通用服务分类方法何佳赵海燕陈庆奎席丽娜曹健上海理工大学光电信息与计算机工程学院上海现代光学系统重点实验室上海上海交通大学计算机科学与技术系上海摘要随着服务技术的发展越来越多的组织将业务功能作为服务通过网络对外发布服务的增多导致人工对这些服务进行分类的成本越来越高将文本挖掘语义技术和机器学习技术相结合提出了一个基于的服务自动分类方法首先利用文本挖掘技术和语义消歧技术从服务的描述文档社会化标注等获得可描述每个服务的一组有确切语义的向量本文选取的向量是对每个! 进行社会化标注的一组 "#$ 然后利用 %& 均值聚类方法完成相应的分类最后以 $#''# 上的服务作为测试数据进行了实验实验表明本方法具有较好的分类效果关键词服务语义消歧社会化标注相似度中图分类号 " 文献标志码 &(!" )*+#,)- )#&.# /)* 0$&1 (!&# /-+# #$#%.##.-2#.'2-2#&*22##/'*$$ 34.#$#22#"2$.#$# 5#'/'22#"2$.#$#+#"$34.#$#/# "4'422$.'#'$#6#& 2#42$!7212#42'22#.$ 42'##.2'$'#'84#'#2422#2#'#.2'$8'$'#227#'#2#$27!#& #28'$#'#2#'$#27###4298#2 9'#$'22'#2###42"422#2 #42".###$2#.##$#2!"#%&'##$'2#. 42#$42 $#''####8''## 2#2#'#$2 #$%429#'$#2##$$$'#. & 引言服务作为网络上信息处理能力的一种抽象形式得到了广泛关注越来越多的组织将业务功能作为软件服务通过网络对外发布软件开发也越来越依赖于以软件服务及其组合为基础来构造应用各种不同类型的软件服务如 (&: /!+#4#2 收稿日期 && 修回日期 && 基金项目国家自然科学基金资助项目 ; 上海市科委资助项目 ; 5, 上海交通大学医工交叉资助项目上海市教委科研创新资助项目,, 通讯地址上海市上海理工大学光电信息与计算机工程学院 2-2#&*22## /' *$$34.#$#22# "2$.#$# :/#

2 /'*$$ 22 计算机工程与科学!- 服务 :*" 服务等纷纷出现为了便于用户使用这些软件服务先后出现了一些软件服务管理平台如 355!#/#!4!='#2'42 1# 42 $#''# 等其中较有影响力的 $#''# 已经搜集了多个! 和多个 # 信息随着服务数量的飞速增加依靠人工去组织分类管理海量的服务显然已经不切实际对于如此大量的服务如何使机器可以自动认知管理和使用服务成为当前服务技术大规模应用和推广中必须解决的关键问题本文将研究如何结合文本挖掘语义技术和机器学习技术来实现服务的自动化分类 ' 国内外研究现状目前关于服务的分类主要分为基于文本挖掘的分类方法基于语义标注的分类方法和基于社会计算的服务分类方法 / *"*:-:& #' ; 提供了基于文本挖掘的服务分类方法这些方法主要有两个模块文本挖掘模块和服务分类模块文本挖掘模块主要负责从服务的 5 和描述文档中抽取出可描述服务的关键术语向量服务分类模块则通过一组预先已知道分类的服务作为训练集通过机器学习算法得到每个分类的关键术语向量然后对于待测试的服务利用相似度算法计算与各个分类的相似度从而将该服务分配给具有最大相似度的类别这类方法主要面临的问题是一方面需要一组预先已知分类的服务作为训练集因此在训练分类器前不能动态产生服务的分类另一方面这类方法没有考虑词汇间的语义相似语义冲突问题如两个服务描述分别为 #4$ 和 2#'#$ 若不考虑语义关系则很难将这两个服务归为一类文献等采用基于语义标注的分类方法通过对服务添加语义标注然后根据语义之间的相似度对其进行分类但是这类方法的不足是需要额外建立相应领域的领域本体库尽管不同的领域正在积极开发本领域的本体虽然生物基因方面的本体的研究相对完善其他领域如 =& #2 领域则很难找到著名的常用的领域本体因此基于语义标注的分类方法在实施起来具有一定的难度同时无论是基于文本挖掘的分类方法还是基于语义的分类方法目前的自动化分类方法都只对基于 5 的服务进行分类总的看来我们认为需要研究一种统一的集成的分类方法该方法应能考虑不同的服务描述信息 5 文档 "#$ 信息其它一些描述文档等对不同类型的服务 - 服务 :*" 服务进行分类并且该方法在分类时应考虑词汇之间的语义信息解决词汇之间语义相似冲突等问题针对于此本文将文本挖掘语义技术和机器学习技术相结合提出了一个基于的通用服务分类方法服务自动分类框架服务自动化分类框架主要由三个部分组成文本挖掘模块语义消歧模块和自动化分类模块如图所示 =$422#2##'91 图服务自动化分类框架各模块的功能如下利用文本挖掘模块对每个服务的描述文档可以是 5 文档也可以是一般的! 描述文档进行挖掘获得每个服务的一组名字向量如果是基于 "#$ 信息对服务进行分类则可以省略该模块通过语义消歧模块对每个服务的名字向量进行语义消歧获得相应的一组有确切语义的集服务分类模块利用 % 均值聚类算法完成相应服务的一级分类其中在语义消歧模块和自动化分类模块都利用来计算词汇之间的语义相似度文本挖掘文本挖掘的主要功能是获得每个服务的关键术语描述因此文本挖掘模块的输出作为后续语义消歧和服务分类的输入对最终的服务分类质量有着比较大的影响目前的服务自动化分类方法针对 5 的服务通过 5;+ 抽取出各个服务

3 何佳等基于的通用服务分类方法的名字操作输入和输出参数从而形成服务的关键术语描述这类方法依赖于对 5 的解析处理而更多的服务类型如基于 :*" 的服务由于缺乏相应的 5 文件都无法使用这些方法本文设计并实现的文本挖掘模块不需要特定的服务描述文档而是利用文本挖掘技术从各个服务的功能描述文档中抽取出各个服务的关键术语描述因为无论是基于 5 的服务基于 :*" 的服务还是其它传统的组件服务都是一些功能应用可以由动作 2 对象 "#& $ 方式 #. 的形式表示其中动作由动词表示对象和方式由名词构成因此对服务来讲动词和名词构成了服务的核心描述本文的文本挖掘方法将重点挖掘出对服务比较重要的动词和名词而忽略掉其他词性的词文本挖掘模块的流程如图所示包括单词分割词性标注获得词干噪音去除和动词转换为名词 =$"8'$2 图文本挖掘模块的流程单词分割单词分割就是要对一些糅合的字符串如 /.#'# 等进行分割比如在开头字母是大写字母的单词之间加入空格等词性标注对服务来讲动词和名词构成了服务的核心描述因此需要对单词分割环节输出的词汇进行词性标注并挑出动词和名词这里我们利用 # 大学自然语言处理小组的 - "#$$ 工具为每个单词加上词性标签获得词干考虑到词的多态与派生还需要抽取出基本的词根在此我们利用了 '' 工具来获得词根 ; 噪音去除主要从两个方面来去除噪音常见的英语停止词与服务相关的停止词如 & 7# 等动词转换为名词当前应用比较多的是基于的相似度算法如 :1 算法算法 +22 及 9 #' 算法在这些算法中通常不同的词性的语义的相似度为在此我们需要将所有的动词转换为名词总之通过文本挖掘模块最终可得到每个服务的名词向量描述表给出了我们在 $#'& '# 平台上得到的一组服务利用本节的文本挖掘模块最后获得的各个服务的名词向量表示 "&! #7 #' # 语义消歧表 & 服务的名词向量描述描述! 的 "#$ 向量 ''.#1 ''#$$ 2'#$$#'2# 通过文本挖掘模块我们获得了每个服务的一组名词向量但是在中一个单词通常有多个语义如作为名词有四个语义当分别和 #91 一起出现时它的语义就可分别确定为汽车总线语义消歧 5 5#'$# 的任务就是确定一个多义词在给定的上下文语境中的具体含义因此本节对每个服务的一组名词向量进行语义消歧获得相应的一组有确切语义的集在这里我们使用! 算法来获得单词集合的集该算法的输入是一个单词列表和一个 /8 其中对应一个已经消歧的单词集合及其相关的每次从单词列表中取一个单词对于的每一个计算其与 /& 8 的相似度然后选择具有最大相似度的把该单词及其加入到 /8 中然后再进行新的一轮迭代直到得出没有歧义的单词具体的公式如下 #$ '#8 在公式中表示两个的相似度具体的计算公式见公式 ; 对表中的服务我们采用语义消歧算法后得到表的结果 "' $() 表 ' 词义消歧后的向量! 描述! 的 "#$ "#$ 的语义向量 #7 ' ' '& '&.#1.#1 #' ''#$$ ''#$$ # 2 2 '#$$ '#$$#& # '& '2# 2#

4 /'*$$ 22 计算机工程与科学 * 自动化分类通过语义消歧我们可以得到每个服务的一组消歧后的向量对于这些服务我们可以采用聚类的方式完成其相应的分类本文采用 %& 均值聚类方法在传统的 %& 均值聚类算法中每个对象是一个可被描述成数值向量的数据点而在我们的应用中每个对象对应于一个可被描述成一个向量的服务这就需要解决两个问题对于某次聚类如何计算其中心点如何计算每个服务与中心点的距离在服务聚类问题中聚类中心点的计算转化为如何计算一系列向量的中心点的问题对于某次聚类而言可以用该聚类中频繁出现的词来描述该类别本文将每个类别下的所有服务的向量的集合看成一个文档然后利用 "=!5= 词频算法选择某个分类中最常出现的前个来代表该类的聚类中心点具体过程如图所示其中 % & 表示两个向量的相似度本文采用算法计算任意两个向量的相似度具体见公式 ; 同时利用一个开源的 +#4# 包 '#. 实现相应的相似度计算方法算法具体计算公式如下 ' ' ' ' '' $'' ; 其中 ' ' 为相关的概念 ' 为最近的 ' 和 ' 的公共父类 '' 为概念 ' 的信息熵计算公式为 ''$ ' 其中 ' 的值是通过分析一组训练语料库中概念 ' 出现的概率获得的 + 实验及评估本节采用 $#''# 中的! 服务作为测试数据来测试提供的服务分类方法我们按类别爬取了 $#''# 上六大类共计个! 及其 "#$ 信息爬取数据使用的编程语言是 :. 存储数据采用的是 : 系统进行了四次实验分别将测试数据分成三个类别四个类别五个类别六个类别得到如图 ; 所示的聚类结果 =$/'$2#2#2# 图获得某个类别的中心点对于第二个问题每个对象与中心点的距离计算转化为两个向量的相似度的计算对于两个向量和! 的相似度具体计算方法如下所示 "#! #! $!!! $ #!! $ 公式中 #! 或 #! 表示计算一个向量 % 与另一个向量 & 的相似度计算公式如下 # % & '#8 & & % & =$;#2$ 图 ; 可视化分类结果

5 何佳等基于的通用服务分类方法同时以 $#''# 中的原始分类作为标准将上述实验结果与其进行比对为了验证本文方法的有效性分两种情况进行了测试不考虑! 的 "#$ 语义的传统的 %& 均值分类和考虑 "#$ 语义的分类方法分别得到如图和图所示的准确率和召回率测试结果中将从以下几个方面开展研究进一步完善服务分类算法提高分类的准确率和召回率分级聚类在现有平台中只考虑了一层的聚类在以后的研究中将进一步采用分级聚类的方法构造出一个层级的分类性能的改善由于采用了信息内容来计算相似度所以整体算法的运行速度比较慢下一步希望采用分布式程序开发方法如 # 来提高运行的效率参考文献 $#''#9*?-&&999 $#''#92' =$ 22#2# 图准确率实验结果 //#4"/#'/#+#4#& #2##.''2'#2+#4#+ /! 2&; $,1?!#2##2'#'& 2#'2#'9#1#1/ 2 */-- & ;#8'#? :$'22+!*** +#2 #/''2# & 6#9#?/2&22.' /#'$!" =$ 22#2# 图召回率实验结果从图和图中可以看出相比不考虑语义的情况下通过本文所提算法对描述! 服务的 "#$ 进行语义消歧后分类结果的准确率和召回率比较理想和稳定而不考虑 "#$ 的语义的情况下在分类数少的时候准确率和召回率较大但是随着分类数的增大准确率和召回率呈下降的趋势并且低于本文所提算法的实验结果并且本文所提服务分类方法的平均准确率达到 > 平均召回率达到 > 因此可以看出本文所提服务分类的方法具有比较好的聚类效果 #1#6#9##.#2#'#. 2&22$#''$#$#$ /#'$!" "#$$*?-&&#& 9##$$' ''*?-&&##& $'# '' *?-&&#22#$ &'#.'#.' #4$:# 2#'#222 19$&###29#'$# +!*** "##2 # #.# #2!$2&, 结束语本文将文本挖掘语义技术和机器学习技术相结合提出了一个基于的通用服务自动分类方法该方法具有较好的通用性并且通过实验表明其具有较好的分类效果在下一步的研究作者简介何佳女湖北天门人硕士生研究方向为数据挖掘 -.#$ $'#2' /-02## #22##'$

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练