高校大数据应用与学科人才培养研讨会 厦门大学林子雨博士 / 助理教授 ziyulin@xmu.edu.cn 2017 年 8 月 3 日山东. 烟台
内容提要 大数据课程公共服务平台 大数据技术原理与应用课程建设经验 大数据处理技术 Spark 课程建设经验
大数据课程公共服务平台
大数据课程公共服务平台 建设周期四年 (2013-2017) 投入资金 100 万 +
大数据课程公共服务平台 打造 11 大工程 平台每年访问量超过 100 万次
大数据课程公共服务平台 1 份精美的平台宣传册
大数据课程公共服务平台
大数据课程公共服务平台 制作 5 分钟培训基地宣传片
大数据课程公共服务平台
大数据课程公共服务平台 开展大数据公开课全国高校巡讲计划巡讲 10 个省 13 个高校 1 个科研院所 15 场公开课, 累计听众人数超过 2000 人
大数据课程公共服务平台 全力打造示范班级 大数据技术基础 2013 班级 大数据技术基础 2016 班级 大数据处理技术 Spark2017 班级 大数据技术原理与应用 2017 班级
大数据课程公共服务平台 入门级大数据在线课程 大数据技术原理与应用, 开辟大数据课程网络讲授平台
大数据课程公共服务平台 2016 年 3 月 28 日林子雨主讲 大数据技术原理与应用 在网易云课堂正式上线 2017 年 8 月 1 日学习人数超过 4 万人 99% 为 5 星级最高评价 长期稳居热门排行榜第一名 被众多网友评为 经典课程 MOOC 版本即将发布
大数据课程公共服务平台 建设 1 个大数据课程教师培训交流基地
大数据课程公共服务平台 2016 年 8 月 1 日 -7 日第 1 期 2016 年 8 月 14 日 -20 日第 2 期 2016 年 9 月 2 日 -4 日第 3 期 2017 年 1 月 16 日 -22 日第 4 期 2017 年 7 月 24 日 -31 日第 5 期
大数据课程公共服务平台 举办 4 次大数据课程教师研讨会
大数据课程公共服务平台 承办 3 次全国高校教学研讨会
大数据课程公共服务平台 承办 NDBC2016 全国高校大数据教学论坛
大数据课程公共服务平台
大数据课程公共服务平台
大数据课程公共服务平台
大数据课程公共服务平台 2013 年 9 月, 发布在线免费电子书 大数据技术基础 2014-2016, 发布并持续更新在线教程 大数据软件安装和基础编程指南 2016 年 10 月, 发布免费在线教程 Spark 入门教程
大数据课程公共服务平台 大数据课程实验案例 : 网站用户购物行为分析 Spark 课程综合实验案例 : 淘宝双 11 数据分析与预测 Spark 课程实验案例 :Spark+Kafka 构建实时分析 Dashboard
大数据课程公共服务平台 大数据课程教师交流群 (QQ 群号 :461510122) 促进大数据课程教师之间的沟通和交流 截至目前, 已经有来自全国 300 多所高校的 400 多名教师加入交流群 厦门大学 福建师范大学 厦门理工学院 同济大学 浙江财经大学 安徽大学 大连海洋大学 中北大学 河海大学 中山大学 浙江大学 中国农业大学 重庆邮电大学 华中师范大学 武汉理工大学 贵州师范大学 江西财经大学 山西大学 河北经贸大学 东北大学 山东农业大学 海南大学 中国地质大学 武汉大学 中国传媒大学 湖南大学 中国科技大学
大数据课程公共服务平台 微信公众号名称 : 云谷大数据 公众号定位 : 跟踪行业热点 汇集百家观点 分享教学经验 推荐经典书籍
内容提要 大数据课程公共服务平台 大数据技术原理与应用课程建设经验 大数据处理技术 Spark 课程建设经验
大数据技术原理与应用课程建设经验 课程定位 01 04 实验内容 教材选择 02 05 考核方法 课时安排 03 06 课程资源
大数据技术原理与应用课程建设经验 课程定位 01 入门级课程构建知识体系 阐明基本原理引导初级实践 了解相关应用 授课对象 : 本科生 ( 计算机相关专业 ) 知识储备 : 编程 操作系统 数据库
大数据技术原理与应用课程建设经验 教材选择 02
大数据技术原理与应用课程建设经验 教材选择 02 云计算课程知识要点 云计算概念 云计算体系架构 数据中心 虚拟化技术 ( 平台虚拟化 资源虚拟化 虚拟机的动态迁移 云操作系统 ) SOA 架构及开发技术 云数据中心设计与测试 云数据中心维护与管理 云安全架构 桌面云 PaaS 应用开发平台 开源的云计算管理平台 Openstack Docker 容器 大数据存储与管理 大数据课程知识要点 大数据处理架构 Hadoop 分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库 云数据库 分布式并行编程模型 MapReduce 流计算 图计算 Spark
大数据技术原理与应用课程建设经验 课时安排 03 章或节 主要内容 学时安排 1 介绍大数据的基本概念和应用领域, 并阐述大数据 云计算和物联网 2 的相互关系 2 介绍大数据处理架构 Hadoop 2 3 分布式文件系统 HDFS 的基本原理和使用方法 4 4 分布式数据库 HBase 的基本原理和使用方法 4 5 NoSQL 数据库的概念和基本原理 2 6 云数据库的概念和基本原理 2 7 分布式并行编程模型 MapReduce 原理和使用方法 6 8 流计算基本原理 2 9 图计算基本原理 4 10 数据可视化概念 工具和案例 2 11 大数据在互联网领域的典型应用 : 推荐系统 2
大数据技术原理与应用课程建设经验 04 实验内容 全套机房上机实验指南, 包含题目和答案 用于入门级大数据课程的上机实验课 每个实验都需要连续 4 节上机课来完成 每个实验的设计, 都充分考虑了学生的基础和能力, 力求学生能够在连续 4 节课的上机时间内, 顺利完成课程实验, 提交实验报告 实验一 : 熟悉常用的 Linux 操作和 Hadoop 操作实验二 : 熟悉常用的 HDFS 操作实验三 : 熟悉常用的 HBase 操作实验四 :NoSQL 和关系数据库的操作比较实验五 :MapReduce 初级编程实践 免费在线访问地址 :http://dblab.xmu.edu.cn/post/6131/
大数据技术原理与应用课程建设经验 04 实验内容 大数据课程实验案例 网站用户购物行为分析 采用 2000 万条用户购物数据集 案例涉及数据预处理 存储 查询和可视化分析等数据处理全流程所涉及的各种典型操作 涵盖 Linux MySQL Hadoop HBase Hive Sqoop R Eclipse 等系统和软件的安装和使用方法 案例适合高校 ( 高职 ) 大数据教学, 可以作为学生学习大数据课程后的综合实践案例 免费访问地址 :http://dblab.xmu.edu.cn/post/7499/
大数据技术原理与应用课程建设经验 05 考核方法 平时签到考勤 10% 上机实验报告 20% 期末大实验 20% 期末笔试成绩 50%
大数据技术原理与应用课程建设经验 06 课程资源 大数据软件安装和编程实践指南 详细学习如何安装运行各种大数据软件以及如何进行初级编程实践, 包括 Hadoop HDFS HBase MapReduce Spark MongoDB 等安装 操作 编程指南 访问地址 :http://dblab.xmu.edu.cn/post/5663/
大数据技术原理与应用课程建设经验 06 课程资源 大数据技术原理与应用 备课指南 详细说明了教师如何备课, 包括教学大纲 讲义 PPT 授课视频 课后习题 上机题目等访问地址 :http://dblab.xmu.edu.cn/post/5637/
大数据技术原理与应用课程建设经验 06 课程资源 大数据技术原理与应用 授课视频 网易云课堂 林子雨主讲的全套大数据课程视频, 供老师上课参考 课程内容涵盖大数据 云计算和物联网概念及其相互关系 大数据处理架构 Hadoop 分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库 云数据库 分布式并行编程模型 MapReduce 图计算 流计算 基于内存的大数据处理框架 Spark 基于 Hadoop 的数据仓库 Hive 大数据在不同领域的应用等 访问地址 :http://dblab.xmu.edu.cn/post/bigdata-online-course/
大数据技术原理与应用课程建设经验 06 课程资源 大数据技术原理与应用 实验指南 用于机房统一上机, 包含题目和答案 实验一 : 熟悉常用的 Linux 操作和 Hadoop 操作实验二 : 熟悉常用的 HDFS 操作实验三 : 熟悉常用的 HBase 操作实验四 :NoSQL 和关系数据库的操作比较实验五 :MapReduce 初级编程实践 访问地址 :http://dblab.xmu.edu.cn/post/6131/
大数据技术原理与应用课程建设经验 06 课程资源 大数据课程教师交流群 (QQ 群号 :461510122) 促进大数据课程教师之间的沟通和交流 截至目前, 已经有来自全国 300 多所高校的 400 多名教师加入交流群 厦门大学 福建师范大学 厦门理工学院 同济大学 浙江财经大学 安徽大学 大连海洋大学 中北大学 河海大学 中山大学 浙江大学 中国农业大学 重庆邮电大学 华中师范大学 武汉理工大学 贵州师范大学 江西财经大学 山西大学 河北经贸大学 东北大学 山东农业大学 海南大学 中国地质大学 武汉大学 中国传媒大学 湖南大学 中国科技大学
内容提要 大数据课程公共服务平台 大数据技术原理与应用课程建设经验 大数据处理技术 Spark 课程建设经验
大数据处理技术 Spark 课程建设经验 课程定位 01 04 实验内容 教材选择 02 05 考核方法 课时安排 03
大数据处理技术 Spark 课程建设经验 课程定位 01 大数据技术进阶学习课程授课对象 : 本科生 研究生 ( 计算机相关专业 ) 知识储备 :Java 编程 数据库 操作系统 Hadoop 先修课程 : 入门级大数据课程, 比如 : 大数据技术原理与应用
大数据处理技术 Spark 课程建设经验 教材选择 02 在线免费 Spark 入门教程 Spark 是当前最热门的大数据处理框架, 林子雨编著 Spark 入门教程, 让初学者零基础零障碍学习 Spark 教程采用 Scala 语言编写 Spark 应用程序, 因此, 教程包括 Scala 入门和 Spark 入门两个部分的内容 免费在线教程 :http://dblab.xmu.edu.cn/blog/spark/ 扫一扫手机访问在线教程
大数据处理技术 Spark 课程建设经验 教材选择 02 第一部分 : 快学 Scala 第一章 Scala 简介第二章 Scala 安装第三章 Scala 基础声明值和变量 基本数据类型和操作 Range 打印语句 读写文件第四章控制结构 if 条件表达式 while 循环 for 循环 数据结构 数组 列表 元组 集 映射 迭代器第六章类第七章对象第八章继承第九章特质第十章模式匹配第十一章函数式编程函数定义和高阶函数 针对集合的操作 遍历操作 map 操作和 flatmap 操作 filter 操作 reduce 操作 fold 操作 函数式编程实例 WordCount
大数据处理技术 Spark 课程建设经验 第二部分 :Spark 速成 (Spark2.1.0 版本 ) 第 1 章 Spark 的设计与运行原理 Spark 简介 Spark 运行架构 RDD 的设计与运行原理 Spark 的部署模式第 2 章 Spark 的安装与使用 Spark 的安装与使用 第一个 Spark 应用程序 :WordCount 使用开发工具 Intellij idea 和 Eclipse 编写 Spark 应用程序 Spark 集群环境搭建 在集群上运行 Spark 应用程序第 3 章 Spark 编程基础 RDD 编程 键值对 RDD 共享变量 数据读写 ( 文件数据读写 读写 HBase 数据 ) 第 4 章 Spark SQL Spark SQL 简介 DataFrame 与 RDD 的区别 DataFrame 的创建 从 RDD 转换得到 DataFrame 读取和保存数据 ( 读写 Parquet 通过 JDBC 连接数据库 连接 Hive 读写数据 ) 第 5 章 Spark Streaming 流计算简介 Spark Streaming 简介 DStream 操作 (DStream 操作概述 输入源 [ 文件流 套接字流 RDD 队列流 Apache Kafka Apache Flume] 转换操作 输出操作 ) 第 6 章 Spark MLlib Spark MLlib 简介 机器学习工作流 ( 机器学习工作流 构建一个机器学习工作流 特征抽取 转化和选择 [TF-IDF Word2Vec CountVectorizer 标签和索引的转化 卡方选择器 ]) 分类与回归 ( 逻辑斯蒂回归分类器 决策树分类器 ) 聚类算法 (KMeans 聚类算法 高斯混合模型 (GMM) 聚类算法 ) 推荐算法 ( 协同过滤算法 )
大数据处理技术 Spark 课程建设经验 课时安排 03 章 ( 或节 ) 主要内容学时安排 第 1 章大数据技术概述大数据的基本概念 关键技术和代表性软件 2 第 2 章 Scala 语言基础介绍 Scala 语言基础语法 6 第 3 章 Spark 设计与运行原理 Spark 概述 Spark 生态系统 Spark 运行架构 Spark 的署和应用方式 3 第 4 章 Spark 安装和使用方法 第 5 章 Spark 编程基础 第 6 章 Spark SQL 安装 Spark 在 Spark Shell 中运行代码 编写 Spark 独立应用程序 第一个 Spark 应用程序 :WordCount 使用开发工具编写 Spark 应用程序 Spark 集群环境搭建 在集群上运行 Spark 应用程序 RDD 编程 键值对 RDD 共享变量 数据读写 ( 文件数据读写 读写 HBase 数据 ) Spark SQL 简介 DataFrame 读写 Parquet 通过 JDBC 连接数据库 连接 Hive 读写数据 第 7 章 Spark Streaming 流计算简介 Spark Streaming 简介 DStream 操作 3 第 8 章 Spark MLlib Spark MLlib 简介 机器学习工作流 特征抽取 转化和选择 分类与回归 聚类算法 推荐算法 合计 32 3 6 3 6
大数据处理技术 Spark 课程建设经验 04 实验内容 实验 1:Linux 系统基本命令和 Hadoop 使用方法实验 2:RDD 基本操作实验 3: 迭代式算法编程实践实验 4: 自定义分区 排序 合并实验 5: 利用 DataFrame 实现数据库的读写实验 6: 利用 Spark Streaming 实现流数据处理 备注 : 将放入 Spark 入门教程 教材一起出版
大数据处理技术 Spark 课程建设经验 04 实验内容 Spark 课程综合实验案例 : 淘宝双 11 数据分析与预测 本案例涉及数据预处理 存储 查询和可视化分析等数据处理全流程所涉及的各种典型操作, 涵盖 Linux MySQL Hadoop Hive Sqoop Eclipse ECharts Spark 等系统和软件的安装和使用方法 案例访问地址 :http://dblab.xmu.edu.cn/post/8116/
大数据处理技术 Spark 课程建设经验 04 实验内容 大数据课程实验案例 :Spark+Kafka 构建实时分析 Dashboard 案例由厦门大学数据库实验室团队开发, 旨在满足全国高校大数据教学对实验案例的迫切需求 本案例涉及数据预处理 消息队列发送和接收消息 数据实时处理 数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作, 涵盖 Linux Spark Kafka Flask Flask-SocketIO Highcharts.js sockert.io.js PyCharm 等系统和软件的安装和使用方法 案例适合高校 ( 高职 ) 大数据教学, 可以作为学生学习大数据课程后的综合实践案例 免费在线实验案例主页 :http://dblab.xmu.edu.cn/post/8274/
大数据处理技术 Spark 课程建设经验 05 考核方法 平时签到考勤 10% 上机实验报告 20% 期末大实验 20% 期末笔试成绩 50%
总结 : 大数据课程建设模式 以大量教学实践推动课程和教材建设 以平台思维促进教学资源汇聚和共享 以迭代方法不断优化升级教学内容 自我造血为课程建设提供稳定资金保障
THANKS 敬请指正 @ 林子雨
附录 : 林子雨简介 林子雨 单位 : 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 个人网页 :http://www.cs.xmu.edu.cn/linziyu 数据库实验室网站 :http://dblab.xmu.edu.cn 中国高校首个 数字教师 的提出者和建设者中国高校首个大数据课程公共服务平台建设者 扫一扫访问个人主页 林子雨, 男,1978 年出生, 博士 ( 毕业于北京大学 ), 现为厦门大学计算机科学系助理教授 ( 讲师 ), 曾任厦门大学信息科学与技术学院院长助理 晋江市发展和改革局副局长 中国计算机学会数据库专委会委员, 中国计算机学会信息系统专委会委员 中国高校首个 数字教师 提出者和建设者, 厦门大学数据库实验室负责人, 厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013 年度和 2017 年度厦门大学奖教金 ( 教学类 ) 获得者 主要研究方向为数据库 数据仓库 数据挖掘 大数据 云计算和物联网, 并以第一作者身份在 软件学报 计算机学报 和 计算机研究与发展 等国家重点期刊以及国际学术会议上发表多篇学术论文 作为项目负责人主持的科研项目包括 1 项国家自然科学青年基金项目 (No.61303004) 1 项福建省自然科学青年基金项目 (No.2013J05099) 和 1 项中央高校基本科研业务费项目 (No.2011121049); 主持的教学课题包括 1 项福建省教改课题和 1 项教育部产学合作育人项目课题 ; 同时, 作为课题负责人完成了国家发改委城市信息化重大课题 国家物联网重大应用示范工程区域试点泉州市工作方案 2015 泉州市互联网经济调研等课题 编著出版中国高校第一本系统介绍大数据知识的专业教材 大数据技术原理与应用 并成为畅销书籍 ; 建设了国内高校首个大数据课程公共服务平台, 成为国内高校大数据教学知名品牌, 平台每年访问量超过 100 万次 ; 建设了国内高校首个大数据课程教师培训交流基地, 已经累计为全国 100 余高校培养 100 多名大数据课程教师 ; 主讲厦门大学本科生课程 数据库系统原理 大数据技术原理与应用 和研究生课程 分布式数据库 大数据处理技术 Spark 具有丰富的政府和企业信息化培训经验, 厦门大学管理学院 EDP 中心 浙江大学管理学院 EDP 中心 厦门大学国际关系学院 中国人民大学等特邀培训讲师, 曾先后给中国移动通信集团公司 福州马尾区政府 温州市国资委 厦门市物流协会 福建龙岩卷烟厂 贵阳市政府等多家单位和企业开展信息化培训, 累计培训人数达 3000 人以上