型对两种媒体的内容进行自动分析, 研究同一事件两种媒体的话题对比, 审视两种媒体的差异具有重要的现实意义本文主要研究以下三个主要问题 : ) 关于特定事件, 微博话题与新闻报道话题有什么不同? 关注点有哪些不同? ) 相同话题在两种媒体上词汇有哪些差异? ) 相同话题在微博与新闻媒体上随时间的变化

Size: px

Start display at page:

Download "型对两种媒体的内容进行自动分析, 研究同一事件两种媒体的话题对比, 审视两种媒体的差异具有重要的现实意义本文主要研究以下三个主要问题 : ) 关于特定事件, 微博话题与新闻报道话题有什么不同? 关注点有哪些不同? ) 相同话题在两种媒体上词汇有哪些差异? ) 相同话题在微博与新闻媒体上随时间的变化"

榕菀山
7 years ago
Views:

1 特定事件微博与新闻报道话题对比研究周振宇, 李芳上海交通大学计算机科学与工程系中德语言技术联合实验室, 上海, 摘要 : 本文描述了基于特定事件的新闻报道和微博在话题层面的对比研究首先利用 LDA 话题模型抽取两种媒体上关于特定事件的话题, 然后提出了话题关注度差异度演化度的定义和计算公式, 改进了不同媒体话题差异度的计算方法, 最后, 选取金正日去世和小悦悦事件, 进行实验对比与分析, 结果显示, 关于同一事件 ) 微博上评论性话题较多, 话题关注度值比较接近 ; 新闻报道上事实性话题较多, 话题关注度值差异较大 ) 微博与新闻报道对评论性话题词汇差异度大, 事实性话题词汇差异度小 ) 微博上评论性话题持续时间较长, 内容变化较少 ; 新闻报道上事实性话题持续时间较长, 内容变化较少关键词 : 话题模型, 微博, 新闻报道, 对比 Comparing Topics from Microblog and News Media about Specific Events Zhou Zhenyu, Li Fang School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai 0040, China lesbuy@sjtu.edu.cn Abstract: This work contrastively researches on topics of specific events from microblog and news media. Firstly, we used LDA to extract topics from the two media, and then defined three indexes: attention factor, diversity factor and evolution factor, and proposed an improved method of calculating discrepancy of topics from different media. Finally, we chose event of xiaoyueyue and the death of Kim Jong Il to have contrast experiments and analysis. The experiments have shown: ) There are more critical topics appearing on microblog with close attention factors rather than news media where factual topics take a high proportion and their attention factors vary a lot. ) On both microblog and news media, diversity factor of words used in the critical topics are bigger than those in factual topics. ) On microblog, critical topics last longer while their content hardly changes; however, it is the factual topics that have same behavior on news media. Keyword:Topic Model, Microblog, News, Contrast 引言现代社会科技发达, 传播媒体在人们获取信息的过程中扮演着非常重要的角色新闻报刊这样的传统媒体具有信息量大客观性内容多不够即时等特点, 是过去人们获取信息的唯一途径随着科技进步,web.0 时代的到来, 博客论坛微博客等新型媒体已成为人们青睐的途径, 与传统媒体相比, 它单篇信息量小, 更多地表达了网友自己的观点, 互动性强, 即时性强对比新型媒体与传统媒体的研究工作基本上处于新闻工作者的感性认识阶段因此, 利用话题模周振宇 (988- ), 男, 硕士研究生, 主研方向 : 自然语言处理

2 型对两种媒体的内容进行自动分析, 研究同一事件两种媒体的话题对比, 审视两种媒体的差异具有重要的现实意义本文主要研究以下三个主要问题 : ) 关于特定事件, 微博话题与新闻报道话题有什么不同? 关注点有哪些不同? ) 相同话题在两种媒体上词汇有哪些差异? ) 相同话题在微博与新闻媒体上随时间的变化有何不同? 为了解决以上个问题, 本文提出了衡量话题的三个指标 : 关注度, 差异度和演化度根据量化的数据研究两种媒体对同一事件的的内容差异本文的主要工作包括三个方面首先, 利用话题模型 LDA 对特定事件的语料建模, 挖掘出该事件在两种媒体下被讨论的热点话题 ; 然后定义话题的关注度, 差异度和演化度, 并分别给出它们的计算方法 ; 最后, 选取两个特定事件, 给出两种媒体对同一事件不同的关注度, 话题内容上的差异度, 以及单个话题的内容演化本文的组织结构如下 : 第二部分介绍相关的工作, 第三部分是研究方法的描述, 第四部分是实验结果和分析, 第五部分为结论及展望相关工作目前, 基于微博与新闻报道话题的抽取主要采用 LDA 模型 [] 以及其扩展 [-] LDA 是无监督学习方法, 不需要训练数据, 已在新闻报道的话题抽取中有广泛应用 Hong[4] 采用了 LDA 模型对 Twitter 上的话题进行抽取 [4], 证明 LDA 方法在微博话题抽取中也是可行的 Zhao[5] 使用了 Twitter-LDA 模型, 考虑到每篇微博的字数较少, 这一模型融入了作者信息, 将同一作者的微博合并为一篇文档, 同时模型也融入了背景词信息, 并设置了变量控制一个词是来源于背景词还是话题词也有研究者利用了微博中 tag, 表情作为标签, 使用半监督的 Labeled-LDA[6-7], 很好地利用了微博的特点最近, 有不少研究者提出了各种特征, 对微博与新闻报道上的话题进行研究 Zhao[5] 比较了 Twitter 和 New York Times 上话题的类别与类型, 将话题分为事件型实体型持续型三个类型, 从分布内容覆盖程度转发程度等方面比较话题在两种媒体上的区别 Ramage[6] 将话题分为物质类状态类风格类社交类四种加以阐述, 从整体上分析了四种类型话题的强度差异, 还对比了两个用户 (wc 和 Oprah) 的微博上四种类型话题的强度与内容差异还有不少研究者针对特定事件分析微博话题 [8-9] Qu[8] 分析了玉树地震后的微博内容, 力图找出灾难后人们主要谈论什么话题, 不同类型的话题的发送与转发行为是否不同, 以及它们是如何传播的研究发现灾难后人们关注的重点是发表观点描述事件捐赠默哀等话题不同类型的话题的发送与转发行为也不同, 事件刚发生时往往是描述事件居多, 随着时间的推移, 人们更多关注灾后重建, 并在哀悼日发送表达感情的内容研究还发现人们更乐意转发介绍救灾行动和事件情况的内容, 从转发的平均深度来看, 也是行动类内容最多本文和 [5] 的研究目的相同, 区别是选取了特定事件的话题进行两种媒体的分析对比, 提出了话题的关注度差异度和演化度计算方法本文与 [8] 的不同之处使用了话题模型进行话题的抽取, 以及分析了特定事件在微博和新闻报道上的话题, 主要对两种媒体在话题层次上进行对比研究方法

3 本文从话题层面对微博与新闻媒体进行对比研究首先针对特定事件, 挖掘两种媒体上的语料 ; 然后对两种语料应用 LDA 建模, 挖掘潜在话题 ; 接下来对两种媒体上的话题进行关注度计算, 对比两种媒体不同的话题关注然后研究两种媒体相同话题在词汇与语义上的差异度最后通过演化度来观察两种媒体上的话题随时间的变化趋势在本文中, 我们主要讨论两种不同话题 : ) 评论性话题 : 人们对某一现象或实体的评论, 如呼吁停止冷淡, 对道德现状的鞭笞, 用俚语调侃独裁者等等 ) 事实性话题 : 对客观事实的描述, 如对目击者的采访, 对病情的进展报道, 对各界悼念的报道等等. 话题建模 LDA 模型是一个生成概率模型, 是三层的变参数层次贝叶斯模型, 首先假设词由话题的概率分布混合产生, 而每个话题是在词汇表上的一个多项式分布 ; 其次假设文档是潜在话题的概率分布的混合 ; 最后针对每个文档从 Dirichlet 分布中抽样产生该文档包含的话题比例, 结合话题和词的概率分布生成该文档中的每一个词汇本文对两个事件在两种媒体上的语料集按时间先离散建模, 得到事件在两种媒体下, 各时间段的多个话题结果符号 α β K V d z θ d p z AF(z) DF(z) EF(z) 表文中使用到的符号符号的描述 LDA 模型的 Dirichlet 先验参数, 表示文档 - 话题分布的先验 LDA 模型的 Dirichlet 先验参数, 表示话题 - 词分布的先验话题个数词汇表文档话题文档 d 上的话题分布话题 z 上的词汇分布话题 z 的关注度话题 z 的差异度话题 z 的演化度. 话题关注度计算话题的关注度是衡量该话题被谈论的程度, 即在新闻报道或微博中该话题所占的比例 LDA 建模后可以得到话题在各文档中的强度分布但是一篇只有几个字或几十个字的微博, 经过分词去除停用词等处理之后, 剩下的有效词数很少实验中我们发现有的微博的有效词语可能只有一个, 当这个词语被分给某话题后, 该话题的强度为故而对不同的文档字数, 赋予不同的权值, 从而使计算上更具科学性我们定义话题 z 在某天的强度为 s(z) = d i D θ di,zφ di () 其中 D 为当日的文档 ( 新闻报道微博 ) 全集,θ 是话题在文档上的分布,φ 根据文档字数多少而确定的权值这个强度的指标衡量了一个话题在某日在所有文档中的关注度在不同媒体间进行比较时, 我们定义话题 z 的关注度 AF(attention factor) 的计算公式为强度归一化的值 :

4 其中 T 是当日的话题全集. 话题差异度计算 AF(z) = s(z) s(z i ) z i T () 话题的差异度是衡量新闻媒体与微博上相同话题的差异度, 用话题词汇分布的距离来计算话题距离通常采用 JS 距离来计算, 但对于本文的研究语料, 如果直接使用 JS 距离, 其效果较差这是由于两种媒体本身用词的差异如微博上人们可能会使用一些较为口语化的词汇, 而新闻报道上可能更多地使用较为正式和官方的词汇事实上,LDA 建模后, 每个话题表示为具有相同语义的词汇集合定义话题的词汇表示 : 考察词在话题 z 上的分布 p z, 若对于某词 w, 有 p z (w) > ξ,ξ 为阈值, 则认为 w 是话题 z 的词汇, 记作 w z 记话题 z 的词汇集为其中 V 是词汇表 D(z) = {w w z, w V} 假设话题 z 在两种媒体上分别表现为话题 z 和 z 定义它们词汇的交集与并集 : 交集 z z = D(z ) D(z ) 并集 z z = D(z ) D(z ) 从公式可以看出, 交集表示两种媒体共有的词汇, 并集包含了它们所有的词汇共有词汇数目越多, 话题语义关系越接近, 反之不同词汇数目越多, 话题语义差异越大定义词汇差异度 υ z,z 为 z z z z z z JS 距离与词汇差异度值的取值均在 (0,) 之间, 用 λ 来控制词汇差异度值的权重定义话题 z 在两个媒体的差异度 DF(diversity factor) 的计算公式为 : DF(z) = ( λ)jsdiv (p z p z ) + λυ z,z () 其中 JSdiv(p z p z ) 是话题 z 与 z 的 JS 距离.4 话题演化度计算话题演化度是衡量同一媒体相同话题随时间的变化由于 LDA 的结果表征了话题在文档上的分布, 以及词汇在话题上的分布在讨论话题演化度的时候, 通过计算话题间的语义相似度来表征, 采用常用的 JS 距离 (Jensen-Shannon divergence) 来判断话题之间是否存在演化关系之所以不像上一节中对 JS 距离进行修正, 是因为对于同一种媒体形式来说, 它的词汇使用的差异并不大假设微博 ( 新闻报道 ) 上的某话题 z, 它在某时间段 t 表示为 z t, 词汇表 V t 的分布是 p zt ; 在时间段 t+ 上表示为 z t+, 词汇表 V t+ 的分布是 p zt+ 由于词汇表 V t 与 V t+ 是取自两个不同的时间段, 维度并不相同故欲计算两个分布的距离之前须先统一维度, 扩充词汇表扩充方法参照 Chu[0] 的方法 : 将两个词汇表合并, 并置话题中未出现的词的分配次数为 0 则定义话题的演化度 EF(evolution factor) 计算公式为两个分布的 JS 距离 : EF(z) = JSdiv(p zt p zt+ ) = (KLdiv(p z t m) + KLdiv(p zt+ m)) (4)

5 其中 m = (p z t + p zt+ ) 4 实验结果与分析本文主要针对微博与新闻报道上特定事件的话题进行多方面对比研究有的事件由微博引发, 有的事件则是由新闻报道引起针对不同类型的事件进行对比, 可以更好地研究出两种媒体形式的差异我们选取了去年底两个比较有影响力的事件 : 小悦悦事件和金正日去世事件作为研究的语料集其中新闻报道部分均采用了新浪新闻下关于这两个事件的新闻报道全文的集合 ; 微博部分采用新浪微博提供的 API 进行实时收集, 直接使用小悦悦和金正日作为关键词进行检索得到的微博去除重复出现超过 0 次的微博以及微博中所有的 hashtag 实验包括三个方面, 一是在同一时间点上, 研究两种媒体的话题关注度 ; 二是通过公式 () 计算话题差异度, 研究相同话题在两种媒体上的词汇差异性 ; 三是通过演化度的计算确定话题的演化路径, 研究话题随时间的变化, 以及这种变化在两种媒体上有什么不同 4. 实验数据实验数据分为四组 :0 年 0 月 7 日至 8 日关于小悦悦事件的微博 0860 条 ; 同时间段关于小悦悦事件的新闻报道篇 ;0 年月 9 日至日关于金正日去世事件的微博 9589 条 ; 同时间段关于金正日去世事件的新闻报道 6 篇以上语料均为全文, 并过滤停用词 hashtag 实验使用了开源的 Gibbs Sampling[] 工具, 话题个数 K 设为 6, 模型参数 α,β 分别设置为 50/K 和 0.0 关注度计算中的权值 φ 的取值为 : 文档字数少于时为 0., 文档字数在到 5 之间为 0.45, 文档字数在 6 到 9 之间为 0.6, 文档字数大于 0 为 0.8 话题差异度计算中, 话题词汇表示的阈值 ξ 设为 0.4, 距离式中的词汇差异度权值 λ 设为 0. 标准 JS 距离的阈值 η JS 为 0.8, 话题差异度的阈值 η DF 为话题关注度分析根据公式 () 分别计算两个事件微博和新闻话题的关注度表, 表分别列出两个事件每天的关注度最高的三个话题的 top 话题词与关注度值表金正日去世事件两种媒体上每日关注度最高的三个话题 (top 话题词与关注度 ) 话题 0//9 0//0 0// 0// 0// 微博新闻报全世界, 日头, 播世界, 民众, 知逝世, 悼念, 金日金正恩, 儿子, 留默哀, 联合国, 大报,0.896 道,0.887 成,0.80 给,0.956 会,0.04 卡扎菲, 知道, 萨达中国人, 同志, 悲领袖, 知道, 世去世, 哀悼, 平金正恩, 吊唁, 政姆,0.79 痛,0.706 界,0.78 壤,0.7 府,0.8 逝世, 领导人, 最中国, 萨达姆, 卡扎中国, 生于, 萨达完全, 逝世, 情逝世, 领导人, 去高,0.7 菲,0.696 姆,0.75 感,0.70 世,0.774 韩国, 去世, 消韩国, 表示, 逝吊唁, 同志, 中表示, 逝世, 哀进行, 社论, 同息,0.409 世,0. 国,0. 悼,0.85 志,0.6 逝世, 最高, 政劳动党, 委员会, 最韩国, 政府, 哀日本, 政府, 关金正恩, 表示, 领

6 道府,0.9 高,0.06 悼,0.978 系,0.87 导,0.0 日本, 消息, 已去世, 美国, 韩半岛, 平壤, 表吊唁, 平壤, 领导韩国, 经济, 中经,0.8 国,0.57 示,0.9 人,0.675 国,0.708 微博新闻报道话题 0//4 0//5 0//6 0//7 0//8 全世界, 日头, 今领袖, 全世界, 上喜鹊, 默哀, 哀逝世, 喜鹊, 去直播, 世界, 将天,0.009 身,0.85 悼,0.84 世,0.777 军,0.85 默哀, 联合国, 拒海鲜, 平壤, 遗美国, 秘密, 世金正恩, 工作, 媒直播, 平壤, 灵绝,0.7 愿,0.806 界,0.8 体,0.768 车,0.77 逝世, 长白山, 平默哀, 去世, 韩金正恩, 海鲜, 金日吊唁, 金正恩, 韩中国, 直播, 去壤,0.79 国,0.69 成,0.70 国,0.749 世,0.659 默哀, 吊唁, 表金正恩, 最高, 成吊唁, 韩国, 表吊唁, 韩国, 李举行, 遗体, 最示,0. 员,0.67 示,0.594 姬,0.605 高,0.84 国防, 发展, 接平壤, 已故, 张平壤, 领导人, 举金正恩, 希望, 会纪念, 哀悼, 韩受,0.78 利,0.889 行,0. 见,0.65 国,0.96 统一, 韩国, 认吊唁, 韩国, 阶金正恩, 最高, 大平壤, 逝世, 统告别, 仪式, 平为,0.597 层,0.858 会,0.84 一,0.944 壤,0.89 微博新闻报道话题 0//9 0//0 0// 灵车, 送别, 今博文, 美国, 评塑像, 纪念馆, 发天,0.794 论,0.76 表,0.78 告别, 遗体, 仪遗体, 告别, 仪金正恩, 最高, 同式,0.75 式,0.77 志,0.698 去世, 微博, 中金正恩, 领导人, 平中国, 平壤, 卡扎国,0.78 壤,0.69 菲,0.667 金正恩, 灵车, 锦韩国, 进行, 媒最高, 政府, 进绣,0.8 体,0.787 行,0.864 联合国, 降半旗, 领委员会, 中央, 劳动决议, 建设, 中导人,0.805 党,0.49 央,0.86 平壤, 告别, 纪金正恩, 最高, 领导领导, 政治局, 委员念,0.748 人,0.89 会,0.86 微博表小悦悦事件两种媒体上每日关注度最高的三个话题 (top 话题词与关注度 ) 话题 0/0/7 0/0/8 0/0/9 0/0/0 0/0/ 0/0/ 路人, 漠视, 司帮助, 身边, 关冷漠, 帮助, 良冷漠, 成都, 良一路走好, 孩天堂, 一路走机,0.794 心,0.768 心,0.78 心,0.777 子, 天堂,0.87 好, 冷漠,0.69 情况, 婆婆, 中希望, 世界, 社社会, 道德, 中生命, 路人, 正天堂, 世界, 希冷漠, 事情, 生国人,0.7 会,0.78 国,0.70 义,0.74 望,0.787 命,0.708

7 危重, 无奈, 父亲,0.65 良心, 人性, 冷漠,0.664 路人, 冷漠, 社会,0.676 社会, 世界, 人性,0.67 冷漠, 一路走好, 路人,0.669 司机, 见死不救, 今天,0.59 新司机, 肇事, 医院,0.88 陈贤妹, 医院, 媒体,0.08 社会, 医院, 女士,0. 医院, 媒体, 抢救,0.04 医院, 司机, 情况,0.5 法律, 社会, 立法,0. 闻报金城, 警方, 男子,0.94 下午, 阿姨, 昨日,0.96 司机, 下午, 媒体,0.96 社会, 道德, 冷漠,0.897 功能, 出现, 抢救,0.489 见义勇为, 行为, 规定,0.944 道阿姨, 小孩, 时分,0.67 司机, 肇事, 妈妈,0.604 道德, 见死不救, 法律,0.7 见义勇为, 人员, 奖励,0.88 父母, 社会, 道德,0.877 道德, 网友, 问题,0.8 话题 0/0/ 0/0/4 0/0/5 0/0/6 0/0/7 0/0/8 冷漠, 天堂, 一路走好,0.79 冷漠, 路人, 天堂,0.896 父母, 责任, 可怜,0.89 冷漠, 事情, 世界,0.8 冷漠, 拒绝, 天堂,0.84 希望, 中国人, 今天,0.7 微博希望, 世界, 事情,0.76 事情, 见死不救, 老人,0.749 冷漠, 路人, 天堂,0.67 关注, 媒体, 希望,0.787 社会, 中国, 司机,0.799 孩子, 可怜, 路人,0.7 司机, 谴责, 关注,0.658 中国人, 问题, 人性,0.70 问题, 媒体, 诡异,0.66 司机, 天堂, 路人,0.68 父母, 失踪, 出现,0.708 冷漠, 道德, 社会,0.67 新城内, 金城, 进行,0.768 温暖, 活动, 广东省,0.487 律师, 警方, 知情人,0.9 警方, 司机, 肇事,0.7 法律, 官员, 保护,0.6 法律, 层面, 见义勇为,0.9 闻报冷漠, 市民, 唤醒,0.4 见义勇为, 发展, 建设,0.879 昨日, 批捕, 嫌疑人,0.045 赵晓毛, 西安, 男子,0.8 社会, 讨论, 冷漠,0.955 问题, 社会, 道德,0.95 道市场, 五金, 小孩,0.50 法律, 道德, 父母,0.6 胡军, 死亡, 罪名,0.747 路人, 道德, 接受,0.55 中国, 受访者, 政府,0.77 全国人大常委会, 昨天, 公德,0.6 从结果可以看出, 微博上的话题, 人们谈论的较多的是评论性话题如小悦悦事件中, 人们纷纷呼吁要停止冷漠, 以及强烈谴责路人的这种见死不救的行为 ; 金正日去世事件中, 人们纷纷表示悼念, 以及表示他是中国人民的朋友而对事实性话题, 如小悦悦事件中政府援助问题, 以及金正日去世事件中外国的表态和事件造成的经济影响这样的话题的关注度则相对较小而对于新闻报道上的话题, 可以看到, 基本上都是事实性话题, 如小悦悦事件中对小悦悦病情的介绍, 政府出台保障政策等等, 金正日去世事件中外国的悼念与表态, 发布讣文信息等等诸如小悦悦事件中对道德的反思, 金正日去世事件中对金正日独裁事实的批判等没有出现在新闻报道中, 小悦悦事件中的保护见义勇为和金正日去世事件中的与中国关系都排在靠后的位置两者各有一些独有话题, 微博中独有的话题是关于金正日的俚语, 新闻报道是对平壤实况的介绍这样的独有话题也反映了两种媒体各自的特点, 即, 微博人们可以随意戏谑, 新闻报道更乐于展现事件的实况从以上结果可以看出, 微博主要谈论的内容对现象或人的评论, 而新闻报道更侧重于客观事实, 基本上处于大体上相反的局面这也正说明了微博作为一种新兴媒体, 它可以使广大网民直抒胸臆, 参与度远远高过新闻报道网民从新闻报道中被动接受客观信息, 而在微博中表达自己的主观倾向从两者的关注度值来看, 微博上的话题关注度差异远不及新闻报道上的差异即使将话题

8 数定在 6, 新闻报道上强度较大的话题的关注度都超过了 /5, 最少的仅有 /8 左右而且对于相类似的话题, 在不同时间上的关注度波动很大反观微博上,6 个话题的相对强度均在 /6 上下说明微博上的话题本身的区别没有新闻报道上那么明显 4. 话题差异度分析首先通过对比实验验证本文提出公式 () 的有效性我们对两个事件每天抽出的话题进行人工比对, 用公式 () 分别计算两种媒体上每天的任两个话题之间的差异度, 通过阈值确定相同话题, 人工评判其准确性以 JS 距离为 baseline, 表 4 是两个事件的计算结果表 4 应用 JS 距离与公式 () 计算结果金正日去世事件 Precision Recall F Baseline(JS 距离 ) 差异度公式 () 小悦悦事件 Precision Recall F Baseline(JS 距离 ) 差异度公式 () 可以看出, 本文提出的公式 () 相比于直接使用 JS 距离, 精度与召回率均有所提升其中小悦悦事件的提升较为明显图差异度计算公式 () 的阈值 -F 值曲线通过图实验, 公式 () 定义的差异度的阈值设为 0.64 时 F 值较高将低于这一阈值的话题定为相同话题, 以便于后续对相同话题进行差异度分析差异度分析将主要侧重于对相同话题在不同媒体上的词汇差异进行分析我们选取金正日去世事件第日和小悦悦事件第 4 日的各组相同话题, 观察它们的差异度 : 表 5 两种媒体上 6 组相同话题的话题词对比

9 公式 () Baseline 事件话题媒体话题词差异度差异度相同金话题正相同日话题去相同世话题相同话题小相同悦话题悦相同话题微博去世, 韩国, 逝世, 哀悼, 表示, 美国, 政府, 时代, 日本, 关注新闻报道韩国, 表示, 逝世, 半岛, 美国, 总统, 日本, 稳定, 政府, 消息微博逝世, 领导人, 消息, 经济, 最高, 去世, 遗产, 影响, 平壤, 华盛顿新闻报道去世, 美国, 韩国, 权力, 经济, 进行, 问题, 领导人, 发生, 军方微博金正恩, 全世界, 日头, 领袖, 生活, 国度, 独裁者, 金日成, 媒体, 历史新闻报道金正恩, 接班人, 父亲, 军事, 委员长, 媒体, 国际, 工作, 成为, 电影微博道德, 法律, 问题, 帮助, 社会, 中国人, 老人, 援助, 提供, 最后新闻报道社会, 道德, 冷漠, 陈贤妹, 建议, 主任, 广东省, 行为, 好人, 政府微博见义勇为, 保护, 立法, 见死不救, 见义勇为者, 法律, 行为, 诬陷, 责任, 惩罚新闻报道网友, 香港, 责任, 出现, 代表, 见死不救, 司机, 保护, 生命, 问题微博社会, 世界, 人性, 爱心, 希望, 良知, 媒体, 悲剧, 温暖, 善良新闻报道法律, 路人, 父母, 救助, 最高, 美国, 好事, 律师, 希望, 事情由公式 () 知, 差异度越接近于阈值, 则语义的差异越明显从表 5 中可以看出事实性话题, 如外国悼念情况经济影响情况政府保障老人这样的话题, 两种媒体的差异度相对较小, 故词汇上的相似度较大两种媒体在外国悼念这一话题在语义上高度相似, 基本都表达了韩国美国日本三个大国的表态, 略有不同的是微博上的谈到的表态以韩国方面的哀悼为主, 而新闻报道上更强调美日基本保持半岛稳定在独裁这一话题上, 两种媒体都谈到了金正恩, 但是从词汇上看, 差异较大, 微博上主要讲的是独裁问题, 是对金家三代领导人世袭的一种讽刺性的评价, 而新闻报道上则主要谈到了金正恩接班的问题从以上的结果可以看出, 从内容上看, 越是事实性话题, 两种媒体的差异度就越小, 而越是评论性话题, 两种媒体的差异度越大 4.4 话题演化度分析差异度着重研究同一时间点上两种媒体间的用词差异, 而演化度则着重于研究话题在整个时间段的趋势变化在两种媒体上有什么不同我们通过计算相邻时间各话题间的演化度, 得到话题的演化路径在小悦悦事件中, 我们选取道德这一评论性话题, 观察这一话题在两种媒体上随时间的变化 : 7 日 8 日 9 日 0 日日日日 4 日 5 日 6 日 7 日 8 日微博道德社会社会道德道德社会社会社会社会道德道德冷漠老人道德道德法律中国中国道德道德道德中国问题道德冷漠问题中国问题社会道德悲剧法律中国中国人世界社会冷血法律问题帮助中国人良心问题良知中国人良知悲剧中国陈贤妹孩子道德社会父母道德社会法律道德路人道德问题新闻道德网友见死不救道德社会网友道德道德法律道德老百姓社会报道拾荒女士法律冷漠道德问题建设父母路人接受行为道德良心道德进行陈贤妹良知社会文化行为社会见死不救问题工作图小悦悦事件中道德话题在两种媒体上随时间的变化 ( 前 4 个话题词 )

10 从上图可以看出, 在整个时间段内, 在微博上人们讨论的道德话题基本都围绕在对中国现今社会的道德问题各抒己见, 着重谴责现在的中国社会缺少道德与良知主要是谈论核心点在整个时间段上的变化不大反观新闻报道上的道德话题, 从高频词不断变化就可以看出, 话题的着重点随着时间呈现一定的变化如 9 日政府开会讨论见死不救的问题,8 日和日均是对网友热议道德问题的报道, 而日又提到了政府提倡的道德文化建设,7 日又提到了对老百姓行为的讨论整个时间段上关于道德的内容变化较大对于金正日去世事件, 我们考察悼念这一事实性话题由表 5 可知, 在事件的初期, 悼念话题在微博和新闻报道上的差异度是较小的, 但是随着时间的变化, 这一话题在两种媒体上的着重点也在发生着变化 9 日 0 日日日日 4 日 5 日 6 日 7 日 8 日 9 日 0 日日逝世去世逝世去世默哀默哀默哀喜鹊逝世平壤联合国领导人韩国悼念哀悼联合国联合国去世默哀喜鹊灵车葬礼微博最高逝世金日成平壤大会拒绝韩国哀悼去世民众逝世同志哀悼国内表示联大安理会联合国逝世哀悼送别降半旗中央韩国韩国吊唁劳动党默哀吊唁平壤吊唁告别联合国金正恩新闻逝世表示政府平壤哀悼吊唁韩国领导人韩国仪式降半旗最高报道金正恩逝世哀悼领导人强调表示阶层举行李姬平壤领导人民众哀悼半岛表示金日成团结委员会玄贞恩追悼玄贞恩灵车纽约追悼图金正日去世事件中悼念话题在两种媒体上随时间的变化 ( 前 4 个话题词 ) 从演化图上可以看出, 悼念话题在 0 日左右便趋于消亡在日前和 8 日后, 微博和新闻报道上讨论悼念的内容差别并不大这主要是基于悼念是一个事实性话题但是在 -7 日这一时间段内, 微博上讨论了安理会拒绝为金正日默哀, 和平壤的喜鹊也为金正日哀悼, 同期的的新闻报道上未见相关内容从讨论内容可以看出, 微博上人们更乐于讨论一些较随意的内容, 特别是新闻报道为了宣传需要而不方便报道的内容这也体现了微博话题的随意性比较而言, 新闻报道则更侧重于客观事实同时为了宣传需要, 也会刻意隐去一些相关报道 5 结论与展望本文首先使用 LDA 话题建模, 发现两种媒体中隐含的话题接着, 使用三个指标关注度差异度和演化度去研究评论性话题与事实性话题在两种媒体上的受关注程度用词的差异和演化趋势根据两个特定事件的实验结果可以得到以下结论 : ) 关于特定事件, 两种媒体上的话题不完全相同微博上评论性话题较多, 且关注度较高, 新闻报道则是事实性话题较多, 关注度较高带有调侃性的话题 ( 如金正日去世事件中的俚语调侃 ) 是微博上的特有话题, 而纯粹描述事件进程的话题 ( 如采访事发病情恶化 ) 是新闻报道上的特有话题同时, 微博上的话题之间的关注度差异不大, 但新闻报道上的话题的关注度差异很大, 即使是类似的话题, 在不同时间的关注度波动也很大 ) 评论性话题在两种媒体中的用词差异较大, 这也反映了网友在评论或发表看法时的用词与新闻报道正规措词存在很大差异而事实性话题在两种媒体中的词汇差异较小如独裁这样的评论性话题, 微博上的重点词汇有独裁者, 国度, 金日成等, 而新闻报道上使用的词汇是接班人委员长等而哀悼这样的事实性话题, 两种媒体中的主要词汇都集中在逝世, 哀悼, 韩国, 美国, 表示等, 差异较小

11 ) 微博上评论性话题, 持续时间较长, 话题内容随时间变化较小, 事实性话题反之 ; 新闻报道事实性话题的持续时间较长, 内容随时间变化较小, 评论性话题反之如道德这样的评论性话题在微博上一直持续, 且内容基本都是对道德沦丧的斥责, 新闻报道上该话题内容随时间一直有所变化 ; 而悼念这样的事实性话题, 在新闻报道上一直持续且内容变化不大, 但在微博上, 内容随时间不断变化今后的工作将考虑如何进一步更严谨地探索话题间的关联, 从更多的角度去分析两种媒体间话题的差异性特别是针对更多种不同类型的话题, 如自然灾害类话题社会民生类话题政治事件类等这些话题有的起源于微博, 有的起源于新闻报道, 这些特点也可能在话题的差异分析中体现参考文献 [] D.M.Blei, A.Y.Ng, and M.I.Jordan. Latent Dirichlet Allocation. The Journal of Machine Learning Research, 00, vol., pp [] D.M.Blei, J.D.Lafferty. A Correlated Topic Model of Science. The Annals of Applied Statistics 007, Vol., No., pp.7-5. [] D.M.Blei and J.D.Lafferty. Dynamic Topic Model. In International conference on Machine Learning, 006, pp.-0. [4] LiangjieHong,and B.D.Davison.Empirical study of topic modeling in Twitter. Proceedings of the SIGKDD Workshop on SMA,008 [5] Xin Zhao, Jing Jiang, JianshuWeng, et al. Comparing Twitter and traditional media using topic models. In Proceedings of the European Conference on Information Retrieval, 0 [6] D.Ramage, S.Dumais, and D.Liebling. Characterizing Microblogs with Topic Models. Proceedings of AAAI on Weblogs and Social Media, 00 [7] D.Ramage, D.Hall, R.Nallapati, et al.labeled LDA: a supervised topic model for credit attribution in multi-labeled corpora. Proceedings of the Conference on Empirical Methods in Natural Language Processing, 009 [8] Yan Qu, Chen Huang, Pengyi Zhang, et al. Microblogging after a Major Disaster in China: A Case Study of the 00 Yushu Earthquake. Proceedings of the ACM 0 conference on Computer supported cooperative work, 0, pp.5-4. [9] S.Vieweg, A.L.Hughes, K.Starbird, et al. Microblogging During Two Natural Hazards Events: What Twitter May Contribute to Situational Awareness.Proceedings of the 8th International Conference on Human factors in computing systems, 00, pp [0] 楚克明, 李芳. 基于 LDA 话题关联的话题演化. 上海交通大学学报,00,44():

Comparing Topics from Microblog and News Media about Specific Events

Comparing Topics from Microblog and News Media about Specific Events 基于 LDA 的微博不传统媒体的话题对比研究周振宇上海交通大学中德联合语言技术实验室 lesbuy@sjtu.edu.cn 研究背景新闻媒体 : 微博 : 研究目标 1. 两种媒体上的? 2. 两种媒体上相同话题的? 3. 两种媒体上相同话题的? 相关研究话题模型 : LDA(Blei) 微博上的话题模型 : Twitter-LDA(Zhao) 相关研究新闻报道上的话题研究 : Long-standing>Event-oriented>Entity-oriented