大数据技术原理与应用

Size: px

Start display at page:

Download "大数据技术原理与应用"

佟伍
4 years ago
Views:

大数据导论 ( 通识课版 ) 教材官网 : http://dblab.xmu.edu.

1 大数据导论 ( 通识课版 ) 教材官网 : 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字大数据导论 ( 通识课版 ) 课程介绍 (PPT 版本号 :2019 年秋季学期 ) 林子雨厦门大学计算机科学系扫一扫访问教材官网 ziyulin@xmu.edu.cn 主页 : 大数据导论厦门大学计算机科学系 ( 通识课版 ) 厦门大学计算机科学系林子雨 2019 ziyulin@xmu.edu.cn 版

2 提纲 1. 课程体系 2. 课程定位 3. 开课对象 4. 课程内容 5. 内容提要 6. 教学大纲 7. 课程教材百度搜索厦门大学数据库实验室网站访问平台

3 主讲教师数字教师 LOGO 主讲教师 : 林子雨 2018 年国家精品在线开放课程中国高校首个数字教师提出者和建设者 2009 年 7 月从事教师职业以来累计免费网络发布超过 500 万字高价值教学和科研资料网络浏览量超过 500 万次

4 厦门大学建设的大数据课程体系厦门大学建设的大数据课程体系 ( 每门课程均有配套教材 ) 实训进阶导论理工科课程大数据实习实训案例 Spark 编程基础大数据技术原理与应用文科课程大数据导论 ( 通识课 )

5 课程定位本课程在确定知识布局时, 秉持的一个基本原则是, 紧紧围绕通识教育核心理念, 努力培养学生的数据意识数据思维和数据能力作为通识类课程, 本课程服务于具有数据素养的综合型人才的培养, 并非面向大数据专业人才的培养

6 开课对象作为通识类课程, 本课程服务于具有数据素养的综合型人才的培养, 并非面向大数据专业人才的培养, 因此, 授课对象是非计算机专业 ( 尤其是文科 ) 大学生

7 课程内容提要第 1 章大数据概述介绍了数据的概念大数据时代到来的背景大数据的发展历程世界各国的大数据发展战略大数据的概念与影响大数据的应用以及大数据产业 ; 第 2 章大数据与云计算物联网人工智能介绍了云计算物联网人工智能的概念和应用, 并阐述了大数据与云计算物联网人工智能之间的紧密关系 ; 第 3 章大数据技术介绍大数据分析全流程所涉及的各种技术, 包括数据采集与预处理数据存储和管理数据处理与分析数据可视化数据安全和隐私保护等 ; 第 4 章大数据应用介绍大数据在各大领域的典型应用, 包括互联网生物医学物流城市管理金融汽车零售餐饮电信能源体育娱乐安全政府和日常生活等领域 ;

8 课程内容提要第 5 章大数据安全讨论大数据安全问题并给出相关的典型案例 ; 第 6 章大数据思维介绍大数据时代新的思维方式, 包括全样而非抽样效率而非精确相关而非因果以数据为中心人人为我, 我为人人等 ; 第 7 章大数据伦理介绍大数据伦理的概念, 并给出与大数据伦理相关的典型案例 ; 第 8 章数据共享介绍数据共享的意义实现数据共享所面临的相关挑战以及推进数据共享应当采取的措施 ;

9 课程内容提要第 9 章数据开放介绍政府开放数据的理论基础政府数据开放的重要意义国外政府开放数据的经验和我国政府开放数据的现状 ; 第 10 章大数据交易介绍大数据交易的发展现状大数据交易平台大数据交易在发展过程中出现的问题以及推进大数据交易发展的对策 ; 第 11 章大数据治理介绍大数据治理的概念要素治理模型

10 教学大纲章 ( 或节 ) 主要内容学时安排第 1 章大数据概述大数据的概念与影响世界各国的大数据发展战略 2 第 2 章大数据与云计算物联网人工智能阐述了大数据与云计算物联网人工智能之间的紧密关系 2 第 1 次讨论课新兴技术对人类社会发展的影响 2 第 3 章大数据技术介绍大数据分析全流程所涉及的各种技术 2 第 4 章大数据应用介绍大数据在各大领域的典型应用 6 第 5 章大数据安全讨论大数据安全问题并给出相关的典型案例 2 第 6 章大数据思维介绍大数据时代新的思维方式 2 第 7 章大数据伦理介绍大数据伦理的概念, 并给出与大数据伦理相关的典型案例 2 第 2 次讨论课大学生应该具备什么样的大数据思维和大数据伦理 2 第 8 章数据共享介绍数据共享的意义实现数据共享所面临的相关挑战 2 第 9 章数据开放政府数据开放的重要意义和国内外政府数据开放经验 2 第 3 次讨论课数据共享和数据开放的重要意义 2 第 10 章大数据交易介绍大数据交易的发展现状大数据交易平台遇到问题和对策 2 第 11 章大数据治理介绍大数据治理的概念要素治理模型 2 合计 32

11 课程教材林子雨编著大数据导论数据思维数据能力和数据伦理 ( 通识课版 ) 高等教育出版社,2019 年 11 月

附录 A: 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.

cn/post/linziyu 数据库实验室网站 :http://dblab.xmu.edu.

12 附录 A: 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 ziyulin@xmu.edu.cn 个人网页 : 数据库实验室网站 : 扫一扫访问个人主页林子雨, 男,1978 年出生, 博士 ( 毕业于北京大学 ), 现为厦门大学计算机科学系助理教授 ( 讲师 ), 曾任厦门大学信息科学与技术学院院长助理晋江市发展和改革局副局长中国计算机学会数据库专业委员会委员, 中国计算机学会信息系统专业委员会委员国内高校首个数字教师提出者和建设者, 厦门大学数据库实验室负责人, 厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013 年度和 2017 年度厦门大学教学类奖教金获得者, 荣获 2017 年福建省精品在线开放课程 2018 年厦门大学高等教育成果特等奖 2018 年福建省高等教育教学成果二等奖 2018 年国家精品在线开放课程主要研究方向为数据库数据仓库数据挖掘大数据云计算和物联网, 并以第一作者身份在软件学报计算机学报和计算机研究与发展等国家重点期刊以及国际学术会议上发表多篇学术论文作为项目负责人主持的科研项目包括 1 项国家自然科学青年基金项目 (No ) 1 项福建省自然科学青年基金项目 (No.2013J05099) 和 1 项中央高校基本科研业务费项目 (No ), 主持的教改课题包括 1 项 2016 年福建省教改课题和 1 项 2016 年教育部产学协作育人项目, 同时, 作为课题负责人完成了国家发改委城市信息化重大课题国家物联网重大应用示范工程区域试点泉州市工作方案 2015 泉州市互联网经济调研等课题中国高校首个数字教师提出者和建设者,2009 年至今, 数字教师大平台累计向网络免费发布超过 500 万字高价值的研究和教学资料, 累计网络访问量超过 500 万次打造了中国高校大数据教学知名品牌, 编著出版了中国高校第一本系统介绍大数据知识的专业教材大数据技术原理与应用, 并成为京东当当网等网店畅销书籍 ; 建设了国内高校首个大数据课程公共服务平台, 为教师教学和学生学习大数据课程提供全方位一站式服务, 年访问量超过 100 万次

13 附录 B: 大数据学习路线图大数据学习路线图访问地址 :

附录 C: 大数据技术原理与应用教材大数据技术原理与应用概念存储处理分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著,

80 元全书共有 15 章, 系统地论述了大数据的基本概念大数据处理架构 Hadoop 分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库

HBase 和 MapReduce 等重要章节, 安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术扫一扫访问教材官网本书可以作为高等院校计算机专业

14 附录 C: 大数据技术原理与应用教材大数据技术原理与应用概念存储处理分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著, 是国内高校第一本系统介绍大数据知识的专业教材人民邮电出版社 ISBN: 定价 :49.80 元全书共有 15 章, 系统地论述了大数据的基本概念大数据处理架构 Hadoop 分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库云数据库分布式并行编程模型 MapReduce Spark 流计算图计算数据可视化以及大数据在互联网生物医学和物流等各个领域的应用在 Hadoop HDFS HBase 和 MapReduce 等重要章节, 安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术扫一扫访问教材官网本书可以作为高等院校计算机专业信息管理等相关专业的大数据课程教材, 也可供相关技术人员参考学习培训之用欢迎访问大数据技术原理与应用概念存储处理分析与应用教材官方网站 :

15 附录 D: 大数据基础编程实验和案例教程本书是与大数据技术原理与应用 ( 第 2 版 ) 教材配套的唯一指定实验指导书清华大学出版社 ISBN: 定价 :59 元步步引导, 循序渐进, 详尽的安装指南为顺利搭建大数据实验环境铺平道路深入浅出, 去粗取精, 丰富的代码实例帮助快速掌握大数据基础编程方法精心设计, 巧妙融合, 五套大数据实验题目促进理论与编程知识的消化和吸收结合理论, 联系实际, 大数据课程综合实验案例精彩呈现大数据分析全流程

附录 E: Spark 编程基础 (Scala 版 ) Spark 编程基础 (Scala 版 ) 厦门大学林子雨, 赖永炫, 陶继平编著披荆斩棘,

人民邮电出版社出版发行,ISBN:978-7-115-48816-9 教材官网 :http://dblab.xmu.edu.

内容包括大数据技术概述 Scala 语言基础 Spark 的设计与运行原理 Spark 环境搭建和使用方法 RDD 编程 Spark SQL Spark

16 附录 E: Spark 编程基础 (Scala 版 ) Spark 编程基础 (Scala 版 ) 厦门大学林子雨, 赖永炫, 陶继平编著披荆斩棘, 在大数据丛林中开辟学习捷径填沟削坎, 为快速学习 Spark 技术铺平道路深入浅出, 有效降低 Spark 技术学习门槛资源全面, 构建全方位一站式在线服务体系人民邮电出版社出版发行,ISBN: 教材官网 : 本书以 Scala 作为开发 Spark 应用程序的编程语言, 系统介绍了 Spark 编程的基础知识全书共 8 章, 内容包括大数据技术概述 Scala 语言基础 Spark 的设计与运行原理 Spark 环境搭建和使用方法 RDD 编程 Spark SQL Spark Streaming Spark MLlib 等本书每个章节都安排了入门级的编程实践操作, 以便读者更好地学习和掌握 Spark 编程方法本书官网免费提供了全套的在线教学资源, 包括讲义 PPT 习题源代码软件数据集授课视频上机实验指南等

17 附录 F: 高校大数据课程公共服务平台扫一扫访问平台主页扫一扫观看 3 分钟 FLASH 动画宣传片

18 附录 G: 高校大数据实训课程系列案例教材为了更好满足高校开设大数据实训课程的教材需求, 厦门大学数据库实验室林子雨老师团队联合企业共同开发了高校大数据实训课程系列案例, 目前已经完成开发的系列案例包括 : 基于协同过滤算法的电影推荐电信用户行为分析实时日志流处理分析微博用户情感分析互联网广告预测分析网站日志处理分析系列案例教材将于 2019 年陆续出版发行, 教材相关信息, 敬请关注网页后续更新! 扫一扫访问大数据实训课程系列案例教材主页

19 Department of Computer Science, Xiamen University, 2019

大数据技术原理与应用

大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字课程介绍 (PPT 版本号 :2017 年 2 月版本