标题

Size: px

Start display at page:

Download "标题"

连拐雍
5 years ago
Views:

1 专题地方志资源的数字化建设与应用一种地方志资源的混合推荐模型黄涛戴淑敏成二丽摘要针对当前地方志网站资源数量庞大用户难以获取感兴趣的方志资源的问题基于协同过滤技术并结合ＴｏｐＮ和改进的关联规则算法提出一种混合推荐模型该模型整合了ＴｏｐＮ和改进的关联规则推荐以及协同过滤推荐的优点利用方志标签对推荐结果进行筛选实验结果表明应用混合推荐模型不但能解决当前推荐技术普遍存在的用户评价信息稀疏内容特征提取难度大新用户推荐等问题而且相比于单一的推荐技术在推荐质量上也有一定程度的提高图３公式５参考文献８关键词混合推荐技术协同过滤ＴｏｐＮ算法关联规则ＡＨｙｂｒｉｄＲｅｃｏｍｍｅｎｄａｔｉｏｎＭｏｄｅｌｆｏｒＬｏｃａｌＣｈｒｏｎｉｃｌｅｓＲｅｓｏｕｒｃｅｓＨｕａｎｇＴａｏＤａｉＳｈｕｍｉｎＣｈｅｎｇＥｒｌｉＡｂｓｔｒａｃｔＩｎｖｉｅｗｏｆｔｈｅｃｕｒｒｅｎｔｐｒｏｂｌｅｍｔｈａｔｔｈｅｒｅｉｓｓｕｃｈａｌａｒｇｅｎｕｍｂｅｒｏｆｒｅｓｏｕｒｃｅｓｉｎｌｏｃａｌｃｈｒｏｎｉｃｌｅｓｗｅｂｓｉｔｅｗｈｅｒｅｕｓｅｒｓａｒｅｄｉｆｆｉｃｕｌｔｔｏｏｂｔａｉｎｉｎｔｅｒｅｓｔｉｎｇｌｏｃａｌｒｅｓｏｕｒｃｅｓａｈｙｂｒｉｄｒｅｃｏｍｍｅｎｄａｔｉｏｎｍｏｄｅｌｉｓｐｒｏｐｏｓｅｄｂａｓｅｄｏｎｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇｔｅｃｈｎｏｌｏｇｙＴｏｐＮａｎｄｉｍｐｒｏｖｅｄａｓｓｏｃｉａｔｅｄｒｕｌｅｓａｌｇｏｒｉｔｈｍｉｎｔｈｉｓｐａｐｅｒＴｈｅｍｏｄｅｌｉｎｔｅｇｒａｔｅｓｔｈｅａｄｖａｎｔａｇｅｓｏｆＴｏｐＮｉｍｐｒｏｖｅｄａｓｓｏｃｉａｔｅｄｒｕｌｅｓａｎｄｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇｒｅｃｏｍｍｅｎｄａｔｉｏｎａｎｄｓｅｌｅｃｔｓｒｅｃｏｍｍｅｎｄｅｄｒｅｓｕｌｔｓｕｓｉｎｇｌｏｃａｌｃｈｒｏｎｉｃｌｅｓｌａｂｅｌｓＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｈｙｂｒｉｄｒｅｃｏｍｍｅｎｄａｔｉｏｎｍｏｄｅｌｎｏｔｏｎｌｙｓｏｌｖｅｓｔｈｅｐｒｏｂｌｅｍｓｏｆｕｓｅｒｅｖａｌｕａｔｉｏｎｉｎｆｏｒｍａｔｉｏｎｓｐａｒｓｅｄｉｆｆｉｃｕｌｔｙｉｎｃｏｎｔｅｎｔｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｎｅｗｕｓｅｒｒｅｃｏｍｍｅｎｄａｔｉｏｎｓａｎｄｓｏｏｎｂｕｔａｌｓｏｉｍｐｒｏｖｅｓｔｈｅｒｅｃｏｍｍｅｎｄａｔｉｏｎｑｕａｌｉｔｙｔｏａｃｅｒｔａｉｎｅｘｔｅｎｔｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｓｉｎｇｌｅｒｅｃｏｍｍｅｎｄａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ３ｆｉｇｓ５ｆｏｒｍｓ８ｒｅｆｓＫｅｙｗｏｒｄｓＨｙｂｒｉｄＲｅｃｏｍｍｅｎｄａｔｉｏｎＣｏｌｌａｂｏｒａｔｉｖｅＦｉｌｔｅｒｉｎｇＴｏｐＮＡｌｇｏｒｉｔｈｍＡｓｓｏｃｉａｔｅｄＲｕｌｅｓ１引言过滤推荐的基本思想是利用用户的信息来计算地方志是我国传统文化的重要组成部分蕴用户之间的相似度然后根据与目标用户相似度含着丰富的信息资源近年来随着国家相关部较高的用户对产品的评价信息来预测目标用户门将地方志数字化工作提上日程全国各省份相对未接触产品的喜好并根据这种喜好程度向目如黑龙江省的中国标用户推荐产品这种推荐方法能帮助用户发现龙志网广东省的省情网等目前有大量的用户潜在偏好但存在新用户没有评价信息无法进行在利用地方志网站进行学习与研究但是当海量相似推荐和用户评价信息稀疏等问题基于关联的数据信息呈现在面前时用户很难从中找到自规则的推荐方法是将数据挖掘领域中的关联规己感兴趣的内容在这样的背景下个性化推荐则应用到推荐中根据用户的历史数据和挖掘规成为解决方志信息过载问题的有效工具之一则向目标用户推荐大部分用户的一个选择基继建立自己的地方志网站１而当下比较主流的推荐技术主要分为四类于关联规则的推荐算法简单不需要用户的评价协同过滤推荐技术基于关联规则的推荐方法信息并且能够挖掘出用户的潜在偏好但同时也基于内容的推荐技术以及混合推荐方法协同存在新用户推荐问题基于内容的推荐是对用户本文系十二五国家科技支撑计划项目地方志可视化技术研究与演示平台实现项目编号２０１５ＢＡＫ０７Ｂ０３和十二五国家科技支撑计划项目地方志资源调查与数字化加工规范研究项目编号２０１５ＢＡＫ０７Ｂ０１的研究成果之一１４

2 已选择的产品进行内容分析, 提取出能表现产品特征的关键词, 然后根据这些关键词来计算产品之间的相似度, 并将相似度高的产品推荐给目标用户这种推荐方式不依赖于用户对产品的评价, 所以不存在冷启动和稀疏性问题, 但是这种推荐技术的问题在于 : 产品的内容特征很难被提取出来, 而且也无法对同一推荐集中的产品进行合理的排序 [2] 此外, 基于内容的推荐算法局限于对用户已选择产品的相似产品的推荐, 无法挖掘用户的潜在偏好针对上述单一推荐技术存在的问题, 近年来研究者们提出了混合推荐技术, 即将前几种推荐技术结合起来, 以应付复杂的用户系统如郭艳红等人提出的协同过滤系统项目冷启动的混合推荐算法 [3], 就是将基于内容的推荐算法和协同过滤推荐结合起来以解决项目冷启动问题但对于地方志资源来说, 其内容特征的提取比较困难, 基于内容的推荐并不适合张弛等人提出的基于混合推荐技术的推荐模型 [2], 是基于协同过滤技术, 并引入人口统计信息分析, 通过对用户特征信息的聚类来找到目标用户的近邻用户, 然后以这些用户作为协同过滤的计算用户集, 从而解决新用户推荐及用户评价信息稀疏问题但是一些比较敏感的用户特征信息较难获取, 如用户年龄职业籍贯等针对单一推荐系统和混合推荐系统各自存在的问题并结合地方志资源本身的特色, 本文提出一种混合推荐技术, 既可避免对方志内容特征的提取, 又能解决新用户推荐和用户评价信息稀疏的问题 2 混合推荐模型 2 1 混合推荐模型总体设计本文从充分利用用户已有数据的角度出发, 对用户进行分类, 针对不同类型的用户采用不同的推荐算法, 从而使推荐系统实现个性化层次化精准化推荐本文提出的混合推荐模型主要由行为记录模块用户分类模块和用户推荐模块 3 个功能模块组成行为记录模块主要负责记录用户注册信息和行为信息 : 注册信息包括必填信息和选填信息, 必填信息主要是用户名和密码, 选填信息包括 : 职业年龄籍贯文化程度等 ; 行为信息包括用户访问的方志及相应的访问次数观看视频的次数论坛发帖数等用户分类模块负责提取并分析用户的行为信息, 判断用户对地方志网站的兴趣度, 进而对用户进行分类, 具体可分为 : 新用户一般用户和积极用户用户推荐模块是整个推荐系统的核心, 负责针对不同类型的用户采用不同的推荐算法以提供个性化推荐, 具体操作为 : (1) 如果是新用户而且没有选填信息, 则利用 TopN 算法向用户推荐访问次数最多的方志 ; 如果有选填信息, 则通过选填信息找到目标用户的邻近用户, 然后基于邻近用户作协同过滤推荐 (2) 如果是一般用户, 则采用基于方志标签和改进的关联规则推荐 (3) 如果是积极用户, 则采用基于用户的协同过滤推荐技术本文提出的混合推荐模型可以用以下分段函数表示 : R = ì ï í ï î TopN( { N L1,N L2,N L3, } ),NewUser TopN ( PA) ij,generaluser TopN( { T 1 ( x,y),t 2 ( x,y), } ),ActiveUser 公式 (1) 其中, R 代表推荐列表 ;N Li 表示 L i 篇方志的浏览次数 ;P 表示目标用户对 m 个方志的浏览情况生成的一个 m 维列向量 ;A 是一个关联矩阵, 其中的每一个元素代表了方志 i j 的置信度 ;T i ( x, y) 是用户相似度的计算结果同时将方志标签引入上述表达式, 将推荐列表 R 中方志的标签与目标用户已浏览方志的标签进行比较, 根据朝代 ( D) 省份 ( P) 主题 ( S) 这三个标签对推荐列表中的方志进行筛选, 得出最终的推荐列表本混合推荐模型最大的特点就是对网站注册用户的利用行为进行跟踪, 根据行为信息确定用户类型及推荐算法该模型的优势为 : 不仅对不同类型的用户提供个性化推荐, 同时根据同一用户所处的不同状态进行动态推荐, 并结合地方志网站的特色利用方志标签对推荐列表进行筛总第 116 期 15

3 选, 从而提高推荐质量地方志资源混合推荐模型总体架构如图 1 所示 2 2 L 5PQ/ 图 1 用户分类模块地方志资源混合推荐模型对用户进行分类, 针对分类结果采用相应的推荐算法, 从而使整个系统的推荐效果更加精准全面对用户分类之前, 首先利用行为记录模块采集到的用户行为信息, 主要包括用户访问方志的个数访问方志的次数观看视频的次数论坛发帖数, 构建用户行为模型, 并运用 k- 邻近算法将用户分为 : 新用户一般用户和积极用户 k - 邻近算法通过测量不同特征值之间的距离来实现分类, 具体步骤如下 [4] :(1) 计算已知类别数据集中的点与当前点之间的距离 ;( 2) 按照距离递增次序排序 ;(3) 选取与当前点距离最小的前 k 个点 ;(4) 确定这 k 个点所在类别的出现频率 ; (5) 将这 k 个点出现频率最高的类别作为当前点的预测分类对未知类别属性的数据集中的每个点依次执行以上操作经过上述步骤, 系统中每位已注册的用户都得到了分类为了便于推荐模块对用户类型的判别, 需要将用户的类标签存储到数据库中, 并根据用户行为状态动态更新 2 3 用户推荐模块用户推荐模块是整个混合推荐模型的核心, 主要包括针对新用户采用基于 TopN 的推荐, 针对一般用户采用的基于方志标签和改进的关联规则推荐, 以及针对积极用户采用的基于用户的协同过滤推荐 TopN 算法指的是从已经存在的数组中, 找出最大 ( 或最小 ) 的前 n 个元素基于 TopN 的推荐是根据方志被访问的次数进行方志的热度排序, 将访问次数最多的前 n 个方志推荐给新用户基于方志标签和改进的关联规则推荐关联规则作为数据挖掘领域一种被广泛研究的模型, 是由 Agrawal [5] 等人提出, 它反映了大量数据中项目集之间的相互关系目前, 许多电商网站都使用关联规则来做推荐关联规则一般涉及到以下几个定义 : 项集 : 设 I = {i 1,i 2,,i m } 是由 m 个项目组成的集合, 每个 i k ( k = 1,2,3,,m) 称为一个项目, 项目的集合 I 称为项集支持度 : 每条事务 T 是项集 I 的子集, 所有事务 T 构成了事务数据库 D 对于项集 X, 设定 count(x T) 为事务数据库 D 中包含 X 事务的数量, 则项集 X 的支持度 :support( X) = count( X T) / D 频繁项集 : 不小于最小支持度的项集称为频繁项集关联规则 : 关联规则是形如 R:X Y 的一个蕴含式, 其中 X I,Y I, 并且 X Y = 该式表示项集 X 在某一事务中出现, 则导致 Y 也以某一概率会出现关联规则有两个衡量标准 : 支持度和置信度置信度 : 对于关联规则 R, 置信度是指包含 X 和 Y 的事务数与包含 X 的事务数之比, 即 confi dence(x Y)= support(x Y) / support(x) 关联规则的挖掘过程分为两步 :( 1) 生成频繁项集 : 项集的出现频率不小于最小支持度 16

4 (2) 由频繁项集产生强关联规则, 即规则必须同时满足最小支持度和最小置信度目前, 主流的关联规则算法有 Apriori 和 FP Growth 本文采用 Apriori 算法, 但考虑到该算法在生成 k 项频繁集时随着 k 的增大计算量会呈指数增长, 为了减少计算量提高系统性能, 本文只查找到 2- 项频繁集并生成关联规则 ; 同时为了提高系统推荐的质量, 将朝代省份主题 3 个方志标签融入到关联规则的推荐中, 使推荐的结果更符合地方志网站的特色基于方志标签和改进的关联规则推荐算法描述如下 : 利用 Apriori 算法生成形如 X Y( X,Y 都是 1- 项频繁集 ) 的关联规则表达式, 并用一个 m m 的关联规则矩阵 A 表示, 矩阵 A 中包含了每个方志推出其它 m 个方志的置信度, 即 a ij 表示 i j 的置信度目标用户对 m 个方志的浏览情况生成一个 m 维的列向量 P, 如果目标用户浏览了第 i 个方志, 则 p i 为相应的浏览次数 ; 如果没有浏览, 则 p i 为 0;p i 越大, 表明用户对该方志的偏好程度越大因此, 目标用户的推荐向量 R 可以由用户的偏好向量 P 和关联矩阵 A 计算得到, 如公式 (2) 所示 R = TopN( PA) ij 公式 (2) 该公式并不是向量与矩阵的乘法运算, 而是 p i 乘以矩阵 A 中第 i 行的每个元素即 a i, 这样就给置信度添加了一个权重, 使得基于用户偏好程度较大的方志推出的规则的置信度更大, 这样的推荐结果更符合用户的偏好如果 p i 为 0, 则矩阵 A 中对应的那一行元素全为 0 然后将所有的置信度按照从大到小的顺序排列并将对应的推荐方志放在推荐向量 R 中 ( 如果推荐的方志已被该用户浏览则从推荐向量中删除 ), 选出前 n 个方志作为推荐的备选项, 同时将用户已浏览方志的标签如朝代 ( D) 省份 ( P) 主题 ( S) 与备选方志的标签进行比较, 找出最相似的几篇方志作为最终的推荐结果基于用户的协同过滤推荐协同过滤技术是目前应用最广泛的推荐技术, 它分为基于项目的协同过滤和基于用户的协同过滤两种在基于用户的协同过滤推荐中, 为了对目标用户产生推荐, 需要找到与目标用户兴趣最相似的用户因此, 对用户之间相似度的计算, 是基于用户协同过滤推荐算法的核心部分最常用的相似度计算方法有皮尔森相关系数 [6] [7](43) 余弦相似度以及 Jaccard 相似系数 [8] 皮尔森相关系数主要用来反映两个变量线性相关程度, 并且要求两个变量是成对地从正态分布中取得的, 因此该相似度计算方法并不太适合而余弦相似度只能分辨个体在维度之间的差异, 无法衡量每个维度数值的差异比如, 用户对内容评分,5 分制,X 和 Y 两个用户对两种内容的评分分别为 (1,2) 和 (4,5); 使用余弦相似度得出的结果是 0 98, 两者极为相似 ; 但从评分上看 X 似乎不喜欢这两个内容, 而 Y 比较喜欢, 余弦相似度对数值的不敏感导致了结果的误差 Jaccard 系数主要用于计算符号变量或布尔值变量的个体间的相似度, 不考虑用户对内容的评分取值, 仅关注用户是否对该内容评过分本文充分考虑地 [7](45) 方志数据集的特点, 利用 Tanimoto 系数来计算用户的相似度, Tanimoto 系数也称为广义的 Jaccard 系数 : T( x,y) = x y x 2 + y 2 - x y 公式 (3) 其中,x 和 y 分别表示两个用户的评分向量 ( 这里的评分由用户浏览方志的次数来代替 ) 利用公式 (2) 计算目标用户与其他用户的相似度并找出与目标用户最相似的几个邻近用户, 将邻近用户浏览次数最多的方志生成一个推荐列表, 同时将用户已浏览方志的标签与推荐方志的标签进行比较, 选择与用户已浏览方志最相似的几篇作为最终的推荐结果相对于余弦相似度, Tanimoto 系数对数值大小的差异更加敏感 ; 相对于 Jaccard 相似系数, 它可以处理实数型数据因此, 用 Tanimoto 系数计算用户相似度, 可以提高推荐的准确度总第 116 期 17

5 3 实验设计与分析 3 1 数据描述与处理实验中所用到的数据来自于项目组开发并搭建的地方志网站 ( / lcc hub nercel com/ ) 其中包含了 1000 个用户对 50 篇地方志的访问情况, 每个用户访问的方志个数从 0 50 不等浏览的方志个数越多, 说明该用户对地方志网站的兴趣越大 ; 对每篇方志的浏览次数越多视频的观看次数和论坛发帖数越多, 表明用户对方志的评价越高首先统计 1000 个用户中每个用户浏览方志的情况, 然后对用户进行分类, 分为 : 新用户一般用户和积极用户 3 2 实验设计为了验证前文提出的混合推荐模型的推荐效果, 将 1000 个用户对 50 篇方志的浏览数据作为数据集在此基础上随机抽取 10 位用户作为推荐的目标用户, 他们对 50 篇方志的浏览情况, 其中 80%(40 篇方志 ) 的浏览数据是已知的, 利用其余 20%(10 篇方志 ) 的浏览数据来测试推荐的准确度分别对混合推荐技术和单一的协同过滤推荐技术做 5 组重复实验, 比较混合推荐技术和单一推荐技术的推荐效果本文通过计算准确率 ( Precision,Pr) 和召回率 (Recall,Re) 对算法的推荐效果进行评价假设实验中推荐给目标用户的方志中, 用户喜欢的数量为, 不喜欢的为 N fp, 用户喜欢而没有推荐的方志数量为 N fn, 则准确率和召回率可定义为 : Pr = Re = + N fp + N fn 公式 (4) 公式 (5) 两者的取值都在 0 和 1 之间, 数值越接近 1, 则准确率和召回率就越高, 算法的推荐精度就越高对每组实验的 10 名测试用户的准确率和召回率取平均值, 测试结果如图 2 图 3 所示 -(UU 图 2 (UU 图 3 D$8 # 8 OD 混合推荐和协同过滤推荐的 Pr 值对比 D$8 # 8 OD 混合推荐和协同过滤推荐的 Re 值对比实验结果表明, 本文提出的混合推荐模型对地方志资源的推荐效果相较单一的协同过滤推荐, 具有更高的准确率和召回率, 总体的推荐质量得到了一定程度的提高 4 结语针对地方志网站中资源数量庞大致使用户难以获取感兴趣的方志资源的问题, 本文基于协同过滤推荐技术, 同时结合基于 TopN 和关联规则的推荐算法, 提出一种地方志资源的混合推荐模型, 并在本项目搭建的地方志网站中实现了该模型实例的应用, 结果证明本文提出的混合推荐模型相较单一的协同过滤技术, 在推荐质量上有一定程度的提高下一步的研究工作包括 : 设计更合理的关联规则和最小支持度最小置信度, 有效利用挖掘出的规则来提高推荐的准确率, 将方志标签更好地融入到混合推荐模型, 使推荐系统更符合地方志网站的特色 18

6 参考文献 1 王涛, 伞红. 地方志全文数据库建设与研究以湖北省地方志全文数据库为例 [ J]. 图书情报知识, 2012(6): 张驰, 等. 基于混合推荐技术的推荐模型 [ J]. 计算机工程,2010(22): 郭艳红, 邓贵仕. 协同过滤系统项目冷启动的混合推荐算法 [J]. 计算机工程,2008(23): Harrington P. 机器学习实战 [M]. 北京 : 人民邮电出版社,2013:19. 5 Han J. Data Mining: Concepts and Techniques [ M]. San Francisco: Morgan Kaufmann Pub lishers Inc, 文俊浩, 舒珊. 一种改进相似性度量的协同过滤推荐算法 [ J]. 计算机科学,2014 ( 5): ( 美 )Owen S, et al.mahout 实战 ( 图灵程序设计丛书 )[M]. 王斌, 等, 译. 北京 : 人民邮电出版社,2014: 俞婷婷, 等. 基于改进的 Jaccard 系数文档相似度计算方法 [ J]. 计算机系统应用, 2017 (12): ( 黄涛教授华中师范大学国家数字化学习工程技术研究中心, 戴淑敏华中师范大学国家数字化学习工程技术研究中心计算机应用技术专业 2016 级硕士研究生, 成二丽馆员国家图书馆 ) 收稿日期 : 总第 116 期 19

Microsoft Word - 专论综述1.doc

Microsoft Word - 专论综述1.doc 1 基于协同过滤的高考志愿推荐系统徐兰静, 李珊, 严钊 ( 南京航空航天大学经济与管理学院, 南京 211100) 摘要 : 近年来信息过载问题的出现使得个性化推荐技术应运而生, 其中协同过滤推荐技术通过在用户和信息之间建立联系, 被