通信学报第 36 卷 2011 年新浪体育官方微博第一时间发布李娜法网夺冠的微博在 10 mi 之内获得了多次转发夺冠 5 mi 之内祝贺微博数量超过 30 余万条平均每 [1] 秒超过条受小世界效应的影响热门话题在短时间内大范围扩散话题涉及各个领域话

Size: px

Start display at page:

Download "通信学报第 36 卷 2011 年新浪体育官方微博第一时间发布李娜法网夺冠的微博在 10 mi 之内获得了多次转发夺冠 5 mi 之内祝贺微博数量超过 30 余万条平均每 [1] 秒超过条受小世界效应的影响热门话题在短时间内大范围扩散话题涉及各个领域话"

沿廖
5 years ago
Views:

1 第 36 卷第 4 期通信学报 Vol.36 No 年 4 月 Joural o Commuicatios April 2015 doi: /j.iss x 基于改进人口模型的微博话题趋势预测何炎祥 12 刘健博 12 刘楠 3 彭敏 12 陈强 12 何静 (1. 武汉大学计算机学院湖北武汉 ;2. 武汉大学软件工程国家重点实验室湖北武汉 ; 3. 军事经济学院军需系湖北武汉 ;4. 肯尼索州立大学美国 30144) 4 摘要 : 趋势预测问题是当前社会计算中的研究热点但微博平台的话题趋势预测还处在探索阶段在分析抽取和定义事件趋势的影响因素的基础上改进了人口模型使其适用于微博趋势预测然后将改进的人口模型映射在神经网络上并利用遗传优化的神经网络对事件的趋势进行预测实验证明该方法对于预测网络中长期酝酿的事件发展趋势效果明显能够有效地预测事件的爆发点和发帖量而且适用于小样本预测问题关键词 : 社会计算 ; 趋势预测 ; 神经网络 ; 人口模型 ; 社交网络中图分类号 :TP399 文献标识码 :A Based o improved malthusia model microbloggig topic tred forecast HE Ya-xiag 12 LIU Jia-bo 12 LIU Na 3 PENG Mi 12 CHEN Qiag 12 HE Jig 4 (1.Computer School Wuha Uiversity Wuha Chia; 2. State Key Lab of Software Egieerig Wuha Uiversity Wuha Chia; 3. Departmet of Quartermaster Military Ecoomic Academy Wuha Chia; 4. Keesaw State Uiversity USA 30144) Abstract: Although tred forecastig problem is the research focus of social computig yet the topic tred forecast of micro loggig platform is still at the exploratory stage. Based o the aalyzig extractig ad defiig the ifluecig factors of the treds of evet the improved Malthus model which is more applicable to solve microbloggig topic tred forecast problem is preseted. The the model is mapped to the eural etwork ad the geetic algorithms are used to predict the tred of evets. Experimets show that this method ca predict the tred of log-term evets i the social etwork with good results ad ca predict the outbreak poit ad postig volume effectively. It is worth othig that the method is also suitable for small sample forecastig problems. Key words: social computig; tred forecastig; eural etwork; malthus model; social etworks 1 引言微博即微型博客 (microblog) 是一个基于用户关系信息的分享传播以及获取平台根据 2011 上半年中国网络舆情指数报告微博已成为仅次于新闻媒体报道的舆论源头 2011 年上半年 80 个热点事件中有 15 个事件是在微博中首发如郭美美事件故宫失窃案随手拍解救乞讨儿童行动等微博以其碎片化便捷性的特点逐渐成为热点事件的发源地同时也是推动事件发展的重要力量新浪公司推出的新浪微博是极具影响力的微博平台拥有超过 5 亿的注册用户和超过 30 万的认证用户其中有 13 万多家企业与机构账户后文所提到的微博均代表新浪微博微博已经发展成长为中国最重要的网络舆论场热门信息在极短时间内被大量的评论和转发例如收稿日期 : ; 修回日期 : 基金项目 : 国家自然科学基金资助项目 ( ); 国家自然科学基金青年基金资助项目 ( ); 武汉市科技攻关基金资助项目 ( ) Foudatio Items: The Natioal Natural Sciece Foudatio of Chia( );The Natioal Sciece Foudatio for Youg Scholars of Chia( ); Key Techologies R&D Program of Wuha( )

2 通信学报第 36 卷 2011 年新浪体育官方微博第一时间发布李娜法网夺冠的微博在 10 mi 之内获得了多次转发夺冠 5 mi 之内祝贺微博数量超过 30 余万条平均每 [1] 秒超过条受小世界效应的影响热门话题在短时间内大范围扩散话题涉及各个领域话题相关的博文不仅包含了事件的具体描述而且还包括网民对该话题的观点和立场因此尽早地预测微博上话题的走向和趋势不仅可以帮助政府部门了解社情民意并及时处理事件提供参考而且还可以为商业领域广告投放和危机公关提供帮助趋势预测在很多行业都有研究和应用如医疗气象环境等领域 [2~4] 计算机领域也有一些相关研究 [5~7] 但是基于互联网的趋势预测研究还处于探索阶段如文献 [8] 利用 Google-Profile of Mood States 算法可以提前 2~6 天预测道琼斯指数的波动文献 [9] 通过一段时间内用户对电影的评论来预测电影票房人类社会中人口数量是由人类自身的生育率与外界环境共同决定的对于微博平台网民对话题的关注程度以及网络环境决定了话题的发帖量人口数量与话题的发帖量的增长模式类似都是呈指数级增长的因此本文改进了用于人口预测的 Multhus 人口模型使其适用于微博话题趋势预测同时考虑微博的参与人次微博的影响力微博增长率微博参与度等影响微博发帖量增长的因素最后将改进的人口模型映射到神经网络上实现话题相关的微博趋势预测 2 影响因素分析与定义本文首先将实验数据集覆盖的时间段划分为若干个相等的单位时间片每个时间片的时间长度用 T 表示本文采用形式化的方法对第 t 个时间片某一话题相关的微博内容 MB( t ) 定义为六元组 MB( t) = ( I I N N N C) (1) u rt cm 其中 I 表示微博内容的唯一标识的集合 I u 表示微博内容发布用户的唯一标识的集合 N rt 表示微博内容被转发的次数 N cm 表示微博内容被评论的次数的集合 N 表示微博内容的影响力的集合 C 表示微博文本的集合因此这一话题的某一条微博内容可以定义为 ( t) = ( i i c) (2) u rt cm 其中 i I i u I u rt N rt cm N cm N c C 微博用户对于事件的关注程度直接的体现就是微博发帖的数量话题相关的微博数量在单位时间内越多就说明话题越热门影响话题相关的微博发帖数量的因素很多在本文中考虑以下几个因素 : 微博的参与人次微博的影响力微博增长率微博参与度本文用 N ( t ) 表示第 t 个时间片内微博趋势的微博发帖量微博的参与人次是指在第 t 个时间片内所有用户参与微博话题的次数其值与微博的评论转发数量相同值越大表示话题的受关注的程度也就越大用 N ( t ) 表示 rtcm rt Nrt cm Ncm Nrtcm ( t) = ( MB( t) rt + MB( t) cm ) (3) 微博的影响力由发微博用户的粉丝数量来反映一条微博的影响力值为发布该条微博的用户的粉丝数量因此在第 t 个时间片内的微博影响力 N ( t ) 为所有发布微博用户粉丝数量之和即 N N ( t) = ( MB( t) ) (4) 微博增长率反映当前时间段微博发帖数量和评论转发数量之和相对于前一时间段的增长情况在第 t 个时间片内微博增长率 N ( t ) growth 为 N growth ( N( t) + Nrtcm ( t)) ( N( t 1) + Nrtcm ( t 1)) ( t) = N b( t 1) + N ( t 1) m (5) 微博参与度是指当前时间段微博数量和微博参与人次的比值其值越大表示微博的参与话题的用户更倾向于发表新的微博其值越小表示参与话题的用户更倾向于参与微博讨论在第 t 个时间片内微博参与度为 N rate rtcm N ( t) ( t) = N ( t) (6) 因此反映第 t 个时间片内微博趋势的微博发帖量 N ( t ) 可以定义为 growth rate rtcm N ( t) = f ( N ( t 1) N ( t 1) N ( t 1) rtcm N ( t 1) N ( t 1)) (7) 其中 N ( t) = MB( t) I

3 第 4 期何炎祥等 : 基于改进人口模型的微博话题趋势预测 3 趋势预测方法 3.1 改进的 Malthus 模型 1798 年英国人口学家 Malthus 在分析了人口出生和死亡情况的数据后发现人口增长呈指数变化规律增长率基本是一个常数因此他提出了一种人口增长模型 [4] 即 dn = rn (8) dt 其中 N 表示 t 时刻的人口总量 r 是自然增长率 Malthus 模型只是一种增长模型没有考虑自然环境的有限性人口由于受物理环境的影响不会无限制的增长随着人口的增加自然条件的恶化人与人之间出现了竞争这种情况下该模型的预测结果会出现较大误差在微博平台中只要有足够的存储介质微博发帖数量的增长就不会受到物理环境的限制而且微博发帖量的增长模式和人口增长模式类似都是随着时间呈指数增长的所以可以将 Malthus 模型用于解决微博趋势预测的问题本文针对微博趋势预测问题对 Malthus 模型进行了改进即 d Q = r ( Q + U ) (9) dt U = a x ( t) + a x ( t) + + a x ( t) (10) 其中 Q 表示 t 时刻的微博发帖总数量 U 表示 t 时刻的影响基数 x 1 ( t) x ( t) 表示 t 时刻影响因素的值 a 1 a 表示影响系数此模型中 Q 和 x1 x 都需要做归一化处理求解式 (9) 可得 ( 1) Q( t) ( Q0 U )e r t U = + (11) 其中 Q 0 为初始时刻的微博数量因此时间段 t 到 t + T 内微博发帖数量为 N ( ) ( ) ( ) t + T = Q t + T Q t (12) 3.2 模型映射根据式 (11) 可以得到第 t + 1时间段内 Q( t + 1) 为 rt Q( t + 1) = ( Q0 + U )e U 1 1 = + rt rt + 1+ e 1+ e rt ( Q0 U ) Q0 2U ( 1 e ) (13) 为了确定参数 r a1 a 的值将式 (10) 式 (13) 映射到一个如图 1 所示的 BP 神经网络中 BP 神经网络是一种按误差逆传播算法训练的多层前馈网络 [11] 是目前应用最为广泛的神经网络模型之一数学理论已经证明 BP 神经网络可以实现任何复杂非线性映射的功能 [11] BP 神经网络特别适合求解内部机制复杂的问题因此 BP 神经网络学习的过程就是对各连接权值的动态调整的过程图 1 神经网络结构 a d 表示神经网络的 4 层 x ( ) ( ) 1 t x t 为神经网络的输入参数 ω ij 为网络权值 p 为网络预测值其中 ω 11 = r ω 21 = Q 0 ω 22 = a1 ω 23 = a 2 ω 2m = a ω 31 = ω 32 = = ω3 1 e r m = + t 因此该 BP 神经网络的学习流程如下 1) 初始化参数 r a1 a 2) 根据初始化参数计算每层输出即有 a 层的输出为出为 outputa = ω t (14) b 层选取 Sigmoid 函数作为激励函数则输 c 层输出为 output output output output d 层的输出为 b 11 1 = (15) ω11t 1 + e = output ω c1 b 21 = 2 output x ( t) ω c2 b 1 21 = 2 output x ( t) ω cm b 2m (16) output d = ω31output c1 + ω32output c2 + + ω3moutput cm θ (17) 其中 θ = ( Q0 + U )(1 + e r t) 为 d 层的输出阈值 3) 计算各层误差其中 d 层误差为 δ = U (18) d p

4 通信学报第 36 卷 c 层误差为 δ = δ = = δ = δ + (19) ω (1 e t c c cm d ) b 层误差为 1 1 δb = 1 ( ω21δ c1 ω2mδcm ) ω11t ω11t + + (20) 1+ e 1+ e 4) 根据误差调整权值和阈值调整 a 到 b 的连接权值 ω = ω rtδ (21) b 调整到的连接权值 b c ω21 = Q0 ω22 = ω 22 µ 1δ c2outputb ω2m = ω 2m µ δmoutput b 其中 µ 1 µ 为学习速率调整阈值 (22) 体在问题域中的适应度值和从自然遗传学中借鉴来的再造方法进行个体选择产生一个新的近似解这个过程导致种群中个体的进化得到的新个体比原来个体更能适应环境就像自然界中的改造一样算法流程如图 2 所示本文所有实验的初始种群数为 50 θ = + ω + + ω + (23) ω11 ( Q0 22x1 ( t) 2 ( ))(1 e t mx t ) 5) 判断学习是否结束如果没有结束那么继续执行第 3) 步 3.3 参数初始化方法由于 BP 神经网络权值和阈值是随机初始化的最终的结果很容易就陷入局部最优因此为了提高预测精度本文使用遗传算法来优化参数 r a1 a 遗传算法是模仿自然界生物进化机制发展起来的随机全局搜索和优化方法 [12] 它借鉴了达尔文的进化论和孟德尔的遗传学说其本质是一种高效并行全局搜索的方法它能在搜索过程中自动获取和积累有关搜索空间的知识并自适应的控制搜索过程以求得最优解遗传算法操作使用适者生存的原则在潜在的解决方案种群中逐次产生一个近似最优解的方案在遗传算法的每一代中根据个图 2 遗传算法流程 4 实验 4.1 实验数据本文爬取了新浪微博 2013 年上半年 7 个热门话题共计 35 万条微博微博数据包含的字段有 : 微博 id 微博用户名微博发布时间微博的评论数量微博的转发数量微博发布者粉丝数以及微博内容等表 1 为各话题的详细信息图 3 是实验数据中 7 个话题单位时间 ( 单位时间为一天 ) 发帖量的折线图横坐标为日期纵坐标为发帖量各个话题的发帖量反映了事件的实际发展趋势表 1 实验数据的详细信息话题编号话题名称开始时间结束时间持续时间 / 天发帖量爆发时间年两会 3 月 2 日 3 月 14 日月 6 日 2 H7N9 流感 3 月 31 日 4 月 13 日月 8 日 3 北京雾霾天气 1 月 5 日 1 月 20 日月 17 日 4 国五条颁布 3 月 1 日 3 月 30 日月 29 日 5 黄浦江死猪事件 3 月 5 日 3 月 23 日月 13 日 6 撒切尔夫人去世 4 月 8 日 4 月 21 日月 9 日 7 雅安地震 4 月 20 日 5 月 4 日月 24 日

5 第 4 期何炎祥等 : 基于改进人口模型的微博话题趋势预测图 3 发帖量折线图根据表 1 和图 3 可以看出各个事件的时间跨度不同在实际解决话题预测问题的时候重点需要预测话题的爆发时间点即发帖量的峰值点爆发点之前和之后发帖量的上下波动的预测不是本文讨论的重点因此本文选取事件包括爆发点当天以及爆发点前后共计 5 天的发帖量作为测试数据实验结果以这 5 天的预测准确度作为评价标准以事件 1 为例话题的峰值出现在 3 月 6 日因此选取 3 月 5 日到 3 月 9 日的数据为测试集 3 月 2 日到 3 月 4 日的数据为训练集各话题的训练集和测试集情况如表 2 所示表 2 训练集和测试集分布话题编号训练集时间段测试集时间段 1 3 月 2 日 ~3 月 4 日 3 月 5 日 ~3 月 9 日 2 3 月 31 日 ~4 月 5 日 4 月 6 日 ~4 月 10 日 3 1 月 5 日 ~1 月 14 日 1 月 15 日 ~1 月 19 日 4 3 月 1 日 ~3 月 25 日 3 月 26 日 ~3 月 30 日 5 3 月 5 日 ~3 月 10 日 3 月 11 日 ~3 月 15 日 6 4 月 1 日 ~4 月 1 日 4 月 2 日 ~4 月 6 日 7 4 月 20 日 ~4 月 22 日 4 月 23~4 月 27 日

6 通信学报第 36 卷 4.2 实验分析实验机器的系统为 UBUNTU12.04 通过 MATLAB 实现第 3 节内容通过实验发现当遗传算法初始种群数为 50 时各组数据在 100 代以内都可以得到理想结果 [13] 支持向量机的回归模型是一种应用十分广泛的预测模型图 4 是本文方法与支持向量机的回归模型的预测结果对比 7 个热门事件中除了事件 6 以外其他事件都在网络中长期的酝酿和发展才爆发事件 6 的发生和爆发几乎是同时发生导致了训练集不足所以 2 种方法都未能得到结果根据图 4 的预测结果表明虽然支持向量机的回归模图 4 预测结果

7 第 4 期何炎祥等 : 基于改进人口模型的微博话题趋势预测图 5 优化的预测结果型在很多领域都有应用但是在微博话题趋势预测的应用场景下由于训练集规模太小所以准确率普遍较低而本文的方法是根据微博话题趋势增长的特征提出的在训练集规模很小的环境下本文的预测方法能够反映事件的增长情况而且准确地预测了 7 个热门事件中 6 个事件爆发点出现的时间但是预测结果的数值准确度不高因此以预测结果的增长率来修正预测结果的数值以提高预测准确率结果如图 5 所示为更直观反映实验结果图 4 和图 5 中都对实际发帖的数值进行了归一化处理归一区间为 [03] 预测发帖量是基于归一化数据的预测结果根据图 5 的修正结果各个事件预测发帖量的误差率如表 3 所示修正后的预测结果比较准确的预测了实际的发帖量事件 4 平均误差率较高是由于 3 月 29 日当天的实际发帖量并未像预测的那样剧烈增长但预测结果正确地反映了事件的实际发展趋势表 3 预测结果的平均误差率事件编号平均误差率

通信学报第 36 卷因此在训练数据有限的情况下本文提出的方法对于预测微博平台上长期酝酿的事件发展趋势效果明显能够有效地预测事件的爆发点和发帖量此外在时间片长度更短训练数据足够的情况下本文的方法也适用于突发事件的预测但是预测效果还有待验证 5 结束语本文针对微博社交平台提出了一种事件趋势预测的方法这种方法结合了人口论和神经网络相关领域的内容对事件发展的趋势进行量化的分析和建模

[2] 倪允琪周秀骥. 中国长江中下游梅雨锋暴雨形成机理以及监测与预测理论和方法研究 [J]. 气象学报 2004 62(5): 647-662. NI Y Q ZHOU X J.

8 通信学报第 36 卷因此在训练数据有限的情况下本文提出的方法对于预测微博平台上长期酝酿的事件发展趋势效果明显能够有效地预测事件的爆发点和发帖量此外在时间片长度更短训练数据足够的情况下本文的方法也适用于突发事件的预测但是预测效果还有待验证 5 结束语本文针对微博社交平台提出了一种事件趋势预测的方法这种方法结合了人口论和神经网络相关领域的内容对事件发展的趋势进行量化的分析和建模并利用实际的数据对该方法进行了验证为社交网络平台的趋势预测问题提供了一种新的思路在以后的研究工作中会考虑更多影响事件发展的因素发现微博文本对事件发展趋势的影响从而提高预测准确率参考文献 : [1] Six degrees of separatio[eb/ol]. Sixdegreesofseparatio [2] 倪允琪周秀骥. 中国长江中下游梅雨锋暴雨形成机理以及监测与预测理论和方法研究 [J]. 气象学报 (5): NI Y Q ZHOU X J. Study for formatio mechaism of heavy raifall withi the meiyu frot alog the middle ad dowstream of yagtze river ad theories ad methods of their detectio ad predictio[j]. Acta Meteorologica Siica (5): [3] 张志华陈乾安吕丽红等. 浙江东南沿海地区幽门螺杆菌的耐药趋势预测 [J]. 中华消化内镜杂志 (6): ZHANG Z H CHEN Q A LV L H et al. Predictio of drug resistace tred of helicobacter pylori i southeast coastal area of Zhejiag provice[j]. Chiese Joural of Digestive Edoscopy (6): [4] 陈淑燕王炜. 交通量的灰色神经网络预测方法 [J]. 东南大学学报 : 自然科学版 (4): CHEN S Y WANG W. Grey eural etwork forecastig for traffic flow[j]. Joural of Southeast Uiversity(Natural Sciece Editio) (4): [5] 温祥西孟相如马志强等. 小时间尺度网络流量混沌性分析及趋势预测 [J]. 电子学报 (8): WEN X X MENG X R MA Z Q et al. The chaotic aalysis ad tred predictio o small-time scale etwork traffic[j]. Acta Electroica Siica (8): [6] 钱爱玲瞿彬彬卢炎生等. 多时间序列关联规则分析的论坛舆情趋势预测 [J]. 南京航空航天大学学报 (6): QIAN A L QU B B LU Y S et al. Forum setimet tred predictio based o multi time series associatio rule aalysis[j]. Joural of Najig Uiversity of Aeroautics ad Astroautics (6): [7] 高辉王沙沙傅彦. Web 舆情的长期趋势预测方法 [J]. 电子科技大学学报 (3): GAO H WANG S S FU Y. Predictio model for log-term developmet tred of Web setimet[j]. Joural of Uiversity of Electroic Sciece Ad Techology of Chia (3): [8] JOHAN B MAO H N ZENG X J. Twitter mood predicts the stock market[j]. Joural of Computatioal Sciece 20112(1):1-8. [9] SITARAM A BERNARDO A H GABOR S W. Treds i social media: persistece ad decay[a]. ICWSM 2011[C] [10] MALTHUS T R. 人口论 [M]. 北京 : 北京大学出版社 MALTHUS T R. Populatio Theory (hardcover)[m]. Beijig: Pekig Uiversity Press2008. [11] DAVID E R G E H RONALD J W. Learig represetatios by back-propagatig errors[j]. Nature (6088): [12] RICCARDO P WILLIAM B L NICHOLAS F M et al. A field guide to geetic programmig[eb/ol]. www. Lulu. com [13] KLAUS-ROBERT M ALEX J SMOLA G R et al. Predictig time series with support vector machies[a]. ICANN[C] 作者简介 : 何炎祥 (1952-) 男湖北应城人武汉大学教授博士生导师主要研究方向为可信软件自然语言处理并行分布处理和软件工程刘健博 (1986-) 男湖北黄石人武汉大学博士生主要研究方向为社交网络自然语言处理人工智能刘楠 (1983-) 男河南信阳人军事经济学院讲师主要研究方向为自然语言处理社交网络和软件工程彭敏 (1973-) 女青海西宁人武汉大学教授博士生导师主要研究方向为网络服务自然语言处理信息检索陈强 (1988-) 男安徽马鞍山人武汉大学博士生主要研究方向为自然语言处理和社交网络何静 (1977-) 女湖北武汉人美国肯尼索州立大学助理教授主要研究方向为有无线网络人工智能和社会网络

第 32 卷摇第 2 期摇摇摇摇摇摇摇摇摇摇梁彩懿 : 中国省域经济与环境耦合协调发展空间格局特征 11 曲线进行了相关研究, 发现中国省域环境污染存在明显空间依赖性和空间

第 32 卷摇第 2 期摇摇摇摇摇摇摇摇摇摇梁彩懿 : 中国省域经济与环境耦合协调发展空间格局特征 11 曲线进行了相关研究, 发现中国省域环境污染存在明显空间依赖性和空间 2016 年 4 月摇摇摇摇摇摇第 32 卷摇第 2 期中国石油大学学报( 社会科学版) Apr. 2016 摇摇摇摇摇摇 Joural of Chia Uiversity of Petroleum( Editio of Social Scieces) Vol. 32摇 No. 2 DOI:10. 13216 / j. cki. upcjess. 2016. 02. 0003