大数据技术原理与应用

Size: px

Start display at page:

Download "大数据技术原理与应用"

瞳米
5 years ago
Views:

cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字第 13 章大数据在不同领域的应用

1 大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字第 13 章大数据在不同领域的应用 (PPT 版本号 :2017 年 2 月版本 ) 林子雨厦门大学计算机科学系 ziyulin@xmu.edu.cn 主页 :

2 本章配套教学视频大数据技术原理与应用 ( 第 2 版 ) 第 13 章大数据在不同领域的应用在线视频观看地址

3 提纲大数据应用概览第 13 章大数据在互联网领域的应用 13.1 推荐系统概述 13.2 推荐算法协同过滤 13.3 协同过滤实践电影推荐系统第 14 章大数据在生物医学领域的应用 14.1 基于大数据的综合健康服务平台第 15 章大数据的其他应用 15.1 大数据在物流领域中的应用本 PPT 是如下教材的配套讲义 : 大数据技术原理与应用概念存储处理分析与应用 (2017 年 2 月第 2 版 ) ISBN: 厦门大学林子雨编著, 人民邮电出版社欢迎访问大数据技术原理与应用教材官方网站 :

4 大数据应用概览

5 大数据应用概览推荐系统 : 为用户推荐相关商品生物医学流行病预测智慧医疗 : 利用医疗大数据, 促进优质医疗资源共享避免患者重复检查促进医疗智能化生物信息学 : 利用生物大数据, 深入了解生物学过程疾病致病基因等物流 : 基于大数据和物联网技术的智能物流, 可以提高物流信息化和智能化水平, 降低物流成本和提高物流效率城市管理智能交通 : 利用交通大数据, 实现交通实时监控交通智能诱导公共车辆管理旅行信息服务车辆辅助控制等各种应用环保监测 : 监测分析大气和水污染情况, 为污染治理提供依据城市规划 : 比如, 利用住房销售和出租数据, 可以评价一个城区的住房分布安防领域 : 基于视频监控人口信息地理数据信息等, 利用大数据技术实现智能化信息分析预测和报警

6 大数据应用概览金融高频交易 : 是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易采用大数据技术决定交易市场情绪分析和信贷风险分析汽车 : 无人驾驶汽车, 实时采集车辆各种行驶数据和周围环境, 利用大数据分析系统高效分析, 迅速做出各种驾驶动作, 引导车辆安全行驶零售行业 : 发现关联购买行为进行客户群体细分餐饮行业 : 利用大数据为用户推荐消费内容调整线下门店布局控制店内人流量电信行业 : 客户离网分析能源行业 : 智能电网, 以海量用户用电信息为基础进行大数据分析, 可以更好理解电力客户用电行为, 优化提升短期用电负荷预测系统, 提前预知未来 2-3 个月的电网需求电量用电高峰和低谷, 合理设计电力需求响应系统体育娱乐 :2014 巴西世界杯, 基于海量比赛数据和球员训练数据, 指定有针对性球队训练计划, 帮助德国国家队问鼎 2014 世界杯冠军安全领域 : 应用大数据技术防御网络攻击, 警察应用大数据工具预防犯罪政府领域 : 利用大数据改进选举策略

7 13.1 推荐系统概述什么是推荐系统长尾理论推荐方法推荐系统模型推荐系统的应用

8 什么是推荐系统互联网的飞速发展使我们进入了信息过载的时代, 搜索引擎可以帮助我们查找内容, 但只能解决明确的需求为了让用户从海量信息中高效地获得自己所需的信息, 推荐系统应运而生推荐系统是大数据在互联网领域的典型应用, 它可以通过分析用户的历史记录来了解用户的喜好, 从而主动为用户推荐其感兴趣的信息, 满足用户的个性化推荐需求推荐系统是自动联系用户和物品的一种工具, 和搜索引擎相比, 推荐系统通过研究用户的兴趣偏好, 进行个性化计算推荐系统可发现用户的兴趣点, 帮助用户从海量信息中去发掘自己潜在的需求

9 长尾理论推荐系统可以创造全新的商业和经济模式, 帮助实现长尾商品的销售长尾概念于 2004 年提出, 用来描述以亚马逊为代表的电子商务网站的商业和经济模式电子商务网站销售种类繁多, 虽然绝大多数商品都不热门, 但这些不热门的商品总数量极其庞大, 所累计的总销售额将是一个可观的数字, 也许会超过热门商品所带来的销售额因此, 可以通过发掘长尾商品并推荐给感兴趣的用户来提高销售额这需要通过个性化推荐来实现

10 长尾理论热门推荐是常用的推荐方式, 广泛应用于各类网站中, 如热门排行榜但热门推荐的主要缺陷在于推荐的范围有限, 所推荐的内容在一定时期内也相对固定无法实现长尾商品的推荐个性化推荐可通过推荐系统来实现推荐系统通过发掘用户的行为记录, 找到用户的个性化需求, 发现用户潜在的消费倾向, 从而将长尾商品准确地推荐给需要它的用户, 进而提升销量, 实现用户与商家的双赢

11 推荐方法推荐系统的本质是建立用户与物品的联系, 根据推荐算法的不同, 推荐方法包括如下几类 : 专家推荐 : 人工推荐, 由资深的专业人士来进行物品的筛选和推荐, 需要较多的人力成本基于统计的推荐 : 基于统计信息的推荐 ( 如热门推荐 ), 易于实现, 但对用户个性化偏好的描述能力较弱基于内容的推荐 : 通过机器学习的方法去描述内容的特征, 并基于内容的特征来发现与之相似的内容协同过滤推荐 : 应用最早和最为成功的推荐方法之一, 利用与目标用户相似的用户已有的商品评价信息, 来预测目标用户对特定商品的喜好程度混合推荐 : 结合多种推荐算法来提升推荐效果

12 推荐系统模型一个完整的推荐系统通常包括 3 个组成模块 : 用户建模模块推荐对象建模模块推荐算法模块 : 用户建模模块 : 对用户进行建模, 根据用户行为数据和用户属性数据来分析用户的兴趣和需求推荐对象建模模块 : 根据对象数据对推荐对象进行建模推荐算法模块 : 基于用户特征和物品特征, 采用推荐算法计算得到用户可能感兴趣的对象, 并根据推荐场景对推荐结果进行一定调整, 将推荐结果最终展示给用户用户行为数据用户建模模块用户特征用户属性数据推荐算法过滤调整推荐结果推荐算法模块对象与用户的交互数据推荐对象建模模块物品特征对象属性数据图 11-1 推荐系统基本架构

13.1.5 推荐系统的应用目前推荐系统已广泛应用于电子商务在线视频在线音乐社交网络等各类网站和应用中

13 推荐系统的应用目前推荐系统已广泛应用于电子商务在线视频在线音乐社交网络等各类网站和应用中如亚马逊网站利用用户的浏览历史记录来为用户推荐商品, 推荐的主要是用户未浏览过, 但可能感兴趣有潜在购买可能性的商品图亚马逊网站根据用户的浏览记录来推荐商品

13.1.5 推荐系统的应用推荐系统在在线音乐应用中也逐渐发挥作用音乐相比于电影数量更为庞大, 个人口味偏向也更为明显, 仅依靠热门推荐是远远不够的

14 推荐系统的应用推荐系统在在线音乐应用中也逐渐发挥作用音乐相比于电影数量更为庞大, 个人口味偏向也更为明显, 仅依靠热门推荐是远远不够的虾米音乐网根据用户的音乐收藏记录来分析用户的音乐偏好, 以进行推荐例如, 推荐同一风格的歌曲, 或是推荐同一歌手的其他歌曲图虾米音乐网根据用户的音乐收藏来推荐歌曲

15 13.2 协同过滤推荐技术从被提出到现在已有十余年, 在多年的发展历程中诞生了很多新的推荐算法协同过滤作为最早最知名的推荐算法, 不仅在学术界得到了深入研究, 而且至今在业界仍有广泛的应用协同过滤可分为基于用户的协同过滤和基于物品的协同过滤基于用户的协同过滤 (UserCF) 基于物品的协同过滤 (ItemCF) UserCF 算法和 ItemCF 算法的对比

16 基于用户的协同过滤 (UserCF) 基于用户的协同过滤算法 ( 简称 UserCF 算法 ) 在 1992 年被提出, 是推荐系统中最古老的算法 UserCF 算法符合人们对于趣味相投的认知, 即兴趣相似的用户往往有相同的物品喜好 : 当目标用户需要个性化推荐时, 可以先找到和目标用户有相似兴趣的用户群体, 然后将这个用户群体喜欢的而目标用户没有听说过的物品推荐给目标用户 UserCF 算法的实现主要包括两个步骤 : 第一步 : 找到和目标用户兴趣相似的用户集合第二步 : 找到该集合中的用户所喜欢的且目标用户没有听说过的物品推荐给目标用户

17 基于用户的协同过滤 (UserCF) 图基于用户的协同过滤 (User CF)

18 基于用户的协同过滤 (UserCF) 实现 UserCF 算法的关键步骤是计算用户与用户之间的兴趣相似度目前较多使用的相似度算法有 : 泊松相关系数 (Person Correlation Coefficient) 余弦相似度 (Cosine-based Similarity) 调整余弦相似度 (Adjusted Cosine Similarity) 给定用户 u 和用户 v, 令 N(u) 表示用户 u 感兴趣的物品集合, 令 N(v) 为用户 v 感兴趣的物品集合, 则使用余弦相似度进行计算用户相似度的公式为 :

19 基于用户的协同过滤 (UserCF) 由于很多用户相互之间并没有对同样的物品产生过行为, 因此其相似度公式的分子为 0, 相似度也为 0 我们可以利用物品到用户的倒排表 ( 每个物品所对应的对该物品感兴趣的用户列表 ), 仅对有对相同物品产生交互行为的用户进行计算用户物品物品用户用户用户图物品到用户倒排表及用户相似度矩阵

20 基于用户的协同过滤 (UserCF) 得到用户间的相似度后, 再使用如下公式来度量用户 u 对物品 i 的兴趣程度 P ui : 其中,S(u, K) 是和用户 u 兴趣最接近的 K 个用户的集合,N(i) 是喜欢物品 i 的用户集合,W uv 是用户 u 和用户 v 的相似度,r vi 是隐反馈信息, 代表用户 v 对物品 i 的感兴趣程度, 为简化计算可令 r vi =1 对所有物品计算 P ui 后, 可以对 P ui 进行降序处理, 取前 N 个物品作为推荐结果展示给用户 u( 称为 Top-N 推荐 )

21 基于物品的协同过滤 (ItemCF) 基于物品的协同过滤算法 ( 简称 ItemCF 算法 ) 是目前业界应用最多的算法无论是亚马逊还是 Netflix, 其推荐系统的基础都是 ItemCF 算法 ItemCF 算法是给目标用户推荐那些和他们之前喜欢的物品相似的物品 ItemCF 算法主要通过分析用户的行为记录来计算物品之间的相似度该算法基于的假设是 : 物品 A 和物品 B 具有很大的相似度是因为喜欢物品 A 的用户大多也喜欢物品 B 例如, 该算法会因为你购买过数据挖掘导论而给你推荐机器学习实战, 因为买过数据挖掘导论的用户多数也购买了机器学习实战

22 基于物品的协同过滤 (ItemCF) 图基于物品的协同过滤 (Item CF)

23 基于物品的协同过滤 (ItemCF) ItemCF 算法与 UserCF 算法类似, 计算也分为两步 : 第一步 : 计算物品之间的相似度 ; 第二步 : 根据物品的相似度和用户的历史行为, 给用户生成推荐列表

24 基于物品的协同过滤 (ItemCF) ItemCF 算法通过建立用户到物品倒排表 ( 每个用户喜欢的物品的列表 ) 来计算物品相似度物品用户物品物品图用户到物品倒排表及物品相似度矩阵

25 基于物品的协同过滤 (ItemCF) ItemCF 计算的是物品相似度, 再使用如下公式来度量用户 u 对物品 j 的兴趣程度 P uj ( 与 UserCF 类似 ): 其中,S(j, K) 是和物品 j 最相似的 K 个物品的集合,N(u) 是用户 u 喜欢的物品的集合,w ji 物品 i 和物品 j 的相似度,r ui 是隐反馈信息, 代表用户 u 对物品 i 的感兴趣程度, 为简化计算可令 r vi =1

26 UserCF 算法和 ItemCF 算法的对比 UserCF 算法和 ItemCF 算法的思想计算过程都相似两者最主要的区别 : UserCF 算法推荐的是那些和目标用户有共同兴趣爱好的其他用户所喜欢的物品 ItemCF 算法推荐的是那些和目标用户之前喜欢的物品类似的其他物品 UserCF 算法的推荐更偏向社会化, 而 ItemCF 算法的推荐更偏向于个性化图基于用户的协同过滤 (User CF) 图基于物品的协同过滤 (Item CF)

27 UserCF 算法和 ItemCF 算法的对比 UserCF 算法的推荐更偏向社会化 : 适合应用于新闻推荐微博话题推荐等应用场景, 其推荐结果在新颖性方面有一定的优势 UserCF 缺点 : 随着用户数目的增大, 用户相似度计算复杂度越来越高而且 UserCF 推荐结果相关性较弱, 难以对推荐结果作出解释, 容易受大众影响而推荐热门物品 ItemCF 算法的推荐更偏向于个性化 : 适合应用于电子商务电影图书等应用场景, 可以利用用户的历史行为给推荐结果作出解释, 让用户更为信服推荐的效果 ItemCF 缺点 : 倾向于推荐与用户已购买商品相似的商品, 往往会出现多样性不足推荐新颖度较低的问题

28 14.1 基于大数据的综合健康服务平台目标 : 构建覆盖全生命周期内涵丰富结构合理的以人为本全面连续的综合健康服务体系, 利用大数据技术呾智能设备技术, 提供线上线下相结合的公众健康服务, 实现未病先防已病早治既病防变愈后防复, 满足社会公众多层次多方位的健康服务需求, 提升人民群众的身心健康水平用户层个人用户专业健康服务机构医疗卫生机构决策机构科研机构健康服务相关机构疾控中心交互层门户网站呼叫中心移动终端平台接入 API 业务层面向普遍人群的通用型健康服务面向特定人群的主题式健康服务面向健康服务机构的信息服务面向决策科研等机构的循证医学数据服务开放应用平台服务技术支撑层安全隐私基于大数据的健康评估技术基于大数据的个性化诊疗技术大数据存储大数据处理大数据集成存储数据标准数据源层个人用户网络医院独立体检机构社区卫生服务机构区域医疗信息平台第三方检测机构医保社保新农合

15.1 大数据在物流领域的应用智能物流集成商案例 : 阿里巴巴的中国智能物流骨干网 ( 地网

29 15.1 大数据在物流领域的应用智能物流集成商案例 : 阿里巴巴的中国智能物流骨干网 ( 地网 ) 菜鸟网络到底是什么? 中国智能物流骨干网, 又名菜鸟菜鸟网络计划在 5 到 8 年内, 打造一个全国性的超级物流网这个网络能在 24 小时内将货物运抵国内任何地区, 能支撑日均 300 亿元 ( 年度约 10 万亿元 ) 的巨量网络零售额 1000 亿元投资物流基础设施强强联手共建智能骨干网络物流信息系统向所有的制造商网商快递公司第三方物流公司完全开放阿里物流体系天网天猫牵头负责与各大物流快递公司对接的数据平台地网即菜鸟, 又称中国智能物流骨干网 (CSN)

30 本章小结本章内容首先介绍了推荐系统的概念, 推荐系统可帮助用户从海量信息中高效地获得自己所需的信息接着介绍了不同的推荐方法以及推荐系统在电子商务在线音乐等网站中的具体应用本章重点介绍了协同过滤算法, 协同过滤算法是最早推出的推荐算法, 至今仍获得广泛的应用, 协同过滤包括基于用户的协同过滤算法 ( UserCF) 和基于物品的协同过滤算法 (ItemCF) 这两种协同过滤算法思想相近, 核心是计算用户物品的相似度, 依据相似度来做出推荐然而, 这两种协同过滤算法各自适合的应用场景不同, UserCF 适合社交化应用, 可作出新颖的推荐, 而 ItemCF 则适合用于电子商务电影等应用在具体实践中, 常常结合多种推荐算法来提升推荐效果最后介绍了大数据在医疗健康领域的应用和大数据在物流领域的应用

附录 : 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.

cn/linziyu 数据库实验室网站 :http://dblab.xmu.edu.

31 附录 : 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 ziyulin@xmu.edu.cn 个人网页 : 数据库实验室网站 : 扫一扫访问个人主页林子雨, 男,1978 年出生, 博士 ( 毕业于北京大学 ), 现为厦门大学计算机科学系助理教授 ( 讲师 ), 曾任厦门大学信息科学与技术学院院长助理晋江市发展和改革局副局长中国计算机学会数据库专业委员会委员, 中国计算机学会信息系统专业委员会委员, 荣获 2016 中国大数据创新百人称号中国高校首个数字教师提出者和建设者, 厦门大学数据库实验室负责人, 厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013 年度厦门大学奖教金获得者主要研究方向为数据库数据仓库数据挖掘大数据云计算和物联网, 并以第一作者身份在软件学报计算机学报和计算机研究与发展等国家重点期刊以及国际学术会议上发表多篇学术论文作为项目负责人主持的科研项目包括 1 项国家自然科学青年基金项目 (No ) 1 项福建省自然科学青年基金项目 (No.2013J05099) 和 1 项中央高校基本科研业务费项目 (No ), 同时, 作为课题负责人完成了国家发改委城市信息化重大课题国家物联网重大应用示范工程区域试点泉州市工作方案 2015 泉州市互联网经济调研等课题中国高校首个数字教师提出者和建设者,2009 年至今, 数字教师大平台累计向网络免费发布超过 100 万字高价值的研究和教学资料, 累计网络访问量超过 100 万次打造了中国高校大数据教学知名品牌, 编著出版了中国高校第一本系统介绍大数据知识的专业教材大数据技术原理与应用, 并成为京东当当网等网店畅销书籍 ; 建设了国内高校首个大数据课程公共服务平台, 为教师教学和学生学习大数据课程提供全方位一站式服务, 年访问量超过 50 万次具有丰富的政府和企业信息化培训经验, 厦门大学管理学院 EDP 中心浙江大学管理学院 EDP 中心厦门大学继续教育学院泉州市科技培训中心特邀培训讲师, 曾给中国移动通信集团公司福州马尾区政府福建龙岩卷烟厂福建省物联网科学研究院石狮市物流协会厦门市物流协会浙江省中小企业家四川泸州企业家江苏沛县企业家等开展信息化培训, 累计培训人数达 3000 人以上

数据可视化以及大数据在互联网生物医学和物流等各个领域的应用在 Hadoop HDFS HBase 和 MapReduce 等重要章节, 安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术

32 附录 : 大数据技术原理与应用教材大数据技术原理与应用概念存储处理分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著, 是中国高校第一本系统介绍大数据知识的专业教材扫一扫访问教材官网全书共有 15 章, 系统地论述了大数据的基本概念大数据处理架构 Hadoop 分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库云数据库分布式并行编程模型 MapReduce Spark 流计算图计算数据可视化以及大数据在互联网生物医学和物流等各个领域的应用在 Hadoop HDFS HBase 和 MapReduce 等重要章节, 安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术本书可以作为高等院校计算机专业信息管理等相关专业的大数据课程教材, 也可供相关技术人员参考学习培训之用欢迎访问大数据技术原理与应用概念存储处理分析与应用教材官方网站 :

33 附录 : 中国高校大数据课程公共服务平台扫一扫访问平台主页扫一扫观看 3 分钟 FLASH 动画宣传片

34 Department of Computer Science, Xiamen University, 2017

大数据技术原理与应用

大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字课程介绍 (PPT 版本号 :2017 年 2 月版本