大数据技术原理与应用

Size: px
Start display at page:

Download "大数据技术原理与应用"

Transcription

1 Spark 编程基础 (Python 厦门大学计算机科学系版 ) 厦门大学计算机科学系林子雨 2019 版 ziyulin@xmu.edu.cn Spark 编程基础 (Python 版 ) 教材官网 : 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 5 章 Spark SQL (PPT 版本号 :2019 年春季学期 ) 林子雨厦门大学计算机科学系 扫一扫访问教材官网 ziyulin@xmu.edu.cn 主页 :

2 课程教材 Spark 入门教程 (Python 版 ) 纸质教材预期在 2019 年夏天上市销售 扫一扫访问在线教程 本书以 Python 作为开发 Spark 应用程序的编程语言, 系统介绍了 Spark 编程的基础知识 全书共 8 章, 内容包括大数据技术概述 Spark 的设计与运行原理 Spark 环境搭建和使用方法 RDD 编程 Spark SQL Spark Streaming Structured Streaming Spark MLlib 等 本书每个章节都安排了入门级的编程实践操作, 以便读者更好地学习和掌握 Spark 编程方法 本书官网免费提供了全套的在线教学资源, 包括讲义 PPT 习题 源代码 软件 数据集 授课视频 上机实验指南等

3 提纲 5.1 Spark SQL 简介 5.2 DataFrame 概述 5.3 DataFrame 的创建 5.4 DataFrame 的保存 5.5 DataFrame 的常用操作 5.6 从 RDD 转换得到 DataFrame 5.7 使用 Spark SQL 读写数据库 百度搜索厦门大学数据库实验室网站访问平台

4 5.1 Spark SQL 简介 从 Shark 说起 Spark SQL 设计 为什么推出 Spark SQL

5 5.1.1 从 Shark 说起 Hive: SQL-on-Hadoop 输入 将 SQL 转换成抽象语法树 Parser Semantic Analyzer Logical Plan Generator Logical Optimizer Physical Plan Generator 将抽象语法树转换成查询块 将查询块转换成逻辑查询计划 重写逻辑查询计划 将逻辑计划转成物理计划 Physical Optimizer 选择最佳的优化查询策略 输出 Hive 中 SQL 查询的 MapReduce 作业转化过程

6 5.1.1 从 Shark 说起 Shark 即 Hive on Spark, 为了实现与 Hive 兼容,Shark 在 HiveQL 方面重用了 Hive 中 HiveQL 的解析 逻辑执行计划翻译 执行计划优化等逻辑, 可以近似认为仅将物理执行计划从 MapReduce 作业替换成了 Spark 作业, 通过 Hive 的 HiveQL 解析, 把 HiveQL 翻译成 Spark 上的 RDD 操作

7 5.1.1 从 Shark 说起 Shark 的出现, 使得 SQL-on-Hadoop 的性能比 Hive 有了 倍的提高

8 5.1.1 从 Shark 说起 Shark 的设计导致了两个问题 : 一是执行计划优化完全依赖于 Hive, 不方便添加新的优化策略 二是因为 Spark 是线程级并行, 而 MapReduce 是进程级并行, 因此,Spark 在兼容 Hive 的实现上存在线程安全问题, 导致 Shark 不得不使用另外一套独立维护的打了补丁的 Hive 源码分支

9 5.1.1 从 Shark 说起 2014 年 6 月 1 日 Shark 项目和 Spark SQL 项目的主持人 Reynold Xin 宣布 : 停止对 Shark 的开发, 团队将所有资源放在 Spark SQL 项目上, 至此, Shark 的发展画上了句号, 但也因此发展出两个分支 :Spark SQL 和 Hive on Spark Spark SQL 作为 Spark 生态的一员继续发展, 而不再受限于 Hive, 只是兼容 Hive Hive on Spark 是一个 Hive 的发展计划, 该计划将 Spark 作为 Hive 的底层引擎之一, 也就是说, Hive 将不再受限于一个引擎, 可以采用 Map-Reduce Tez Spark 等引擎

10 5.1.2 Spark SQL 设计 Spark SQL 在 Hive 兼容层面仅依赖 HiveQL 解析 Hive 元数据, 也就是说, 从 HQL 被解析成抽象语法树 (AST) 起, 就全部由 Spark SQL 接管了 Spark SQL 执行计划生成和优化都由 Catalyst( 函数式关系查询优化框架 ) 负责 Client CLI JDBC Driver Cache Mgr. Metastore SQL Parser catalyst Physical Plan Execution Spark HDFS 图 Spark SQL 架构

11 5.1.2 Spark SQL 设计 Spark SQL 增加了 DataFrame( 即带有 Schema 信息的 RDD), 使用户可以在 Spark SQL 中执行 SQL 语句, 数据既可以来自 RDD, 也可以是 Hive HDFS Cassandra 等外部数据源, 还可以是 JSON 格式的数据 Spark SQL 目前支持 Scala Java Python 三种语言, 支持 SQL-92 规范 Scala Python Java HiveQL SQL-92 Spark SQL (DataFrame) HDFS Hive Cassandra JSON 图 Spark SQL 支持的数据格式和编程语言

12 5.1.3 为什么推出 Spark SQL

13 5.1.3 为什么推出 Spark SQL

14 5.1.3 为什么推出 Spark SQL 关系数据库已经很流行 关系数据库在大数据时代已经不能满足要求 首先, 用户需要从不同数据源执行各种操作, 包括结构化 半结构化和非结构化数据 其次, 用户需要执行高级分析, 比如机器学习和图像处理 在实际大数据应用中, 经常需要融合关系查询和复杂分析算法 ( 比如机器学习或图像处理 ), 但是, 缺少这样的系统 Spark SQL 填补了这个鸿沟 : 首先, 可以提供 DataFrame API, 可以对内部和外部各种数据源执行各种关系型操作 其次, 可以支持大数据中的大量数据源和数据分析算法 Spark SQL 可以融合 : 传统关系数据库的结构化数据管理能力和机器学习算法的数据处理能力

15 5.2 DataFrame 概述 DataFrame 的推出, 让 Spark 具备了处理大规模结构化数据的能力, 不仅比原有的 RDD 转化方式更加简单易用, 而且获得了更高的计算性能 Spark 能够轻松实现从 MySQL 到 DataFrame 的转化, 并且支持 SQL 查询 图 DataFrame 与 RDD 的区别 RDD 是分布式的 Java 对象的集合, 但是, 对象内部结构对于 RDD 而言却是不可知的 DataFrame 是一种以 RDD 为基础的分布式数据集, 提供了详细的结构信息

16 5.3 DataFrame 的创建 从 Spark2.0 以上版本开始,Spark 使用全新的 SparkSession 接口替代 Spark1.6 中的 SQLContext 及 HiveContext 接口来实现其对数据加载 转换 处理等功能 SparkSession 实现了 SQLContext 及 HiveContext 所有功能 SparkSession 支持从不同的数据源加载数据, 并把数据转换成 DataFrame, 并且支持把 DataFrame 转换成 SQLContext 自身中的表, 然后使用 SQL 语句来操作数据 SparkSession 亦提供了 HiveQL 以及其他依赖于 Hive 的功能的支持 可以通过如下语句创建一个 SparkSession 对象 : from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate() 实际上, 在启动进入 pyspark 以后,pyspark 就默认提供了一个 SparkContext 对象 ( 名称为 sc) 和一个 SparkSession 对象 ( 名称为 spark)

17 5.3 DataFrame 的创建 在创建 DataFrame 时, 可以使用 spark.read 操作, 从不同类型的文件中加载数据创建 DataFrame, 例如 : spark.read.text("people.txt"): 读取文本文件 people.txt 创建 DataFrame spark.read.json("people.json"): 读取 people.json 文件创建 DataFrame; 在读取本地文件或 HDFS 文件时, 要注意给出正确的文件路径 spark.read.parquet( people.parquet ): 读取 people.parquet 文件创建 DataFrame

18 5.3 DataFrame 的创建 或者也可以使用如下格式的语句 : spark.read.format("text").load("people.txt"): 读取文本文件 people.json 创建 DataFrame; spark.read.format("json").load("people.json"): 读取 JSON 文件 people.json 创建 DataFrame; spark.read.format("parquet").load("people.parquet"): 读取 Parquet 文件 people.parquet 创建 DataFrame

19 5.3 DataFrame 的创建 一个实例 在 /usr/local/spark/examples/src/main/resources/ 这个目录下, 这个目录下有两个样例数据 people.json 和 people.txt people.json 文件的内容如下 : {"name":"michael"} {"name":"andy", "age":30} {"name":"justin", "age":19} people.txt 文件的内容如下 : Michael, 29 Andy, 30 Justin, 19

20 5.3 DataFrame 的创建 >>> df = spark.read.json("file:///usr/local/spark/examples/src/main/resources/people.json") >>> df.show() age name null Michael 30 Andy 19 Justin

21 5.4 DataFrame 的保存 可以使用 spark.write 操作, 把一个 DataFrame 保存成不同格式的文件, 例如, 把一个名称为 df 的 DataFrame 保存到不同格式文件中, 方法如下 : df.write.text("people.txt") df.write.json("people.json ) df.write.parquet("people.parquet ) 或者也可以使用如下格式的语句 : df.write.format("text").save("people.txt") df.write.format("json").save("people.json") df.write.format ("parquet").save("people.parquet")

22 5.4 DataFrame 的保存 下面从示例文件 people.json 中创建一个 DataFrame, 名称为 peopledf, 把 peopledf 保存到另外一个 JSON 文件中, 然后, 再从 peopledf 中选取一个列 ( 即 name 列 ), 把该列数据保存到一个文本文件中 >>> peopledf = spark.read.format("json").\... load("file:///usr/local/spark/examples/src/main/resources/people.json") >>> peopledf.select("name", "age").write.format("json").\... save("file:///usr/local/spark/mycode/sparksql/newpeople.json") >>> peopledf.select("name").write.format("text").\... save("file:///usr/local/spark/mycode/sparksql/newpeople.txt") 会新生成一个名称为 newpeople.json 的目录 ( 不是文件 ) 和一个名称为 newpeople.txt 的目录 ( 不是文件 ) part db90180-ec7c-4291-ad05-df8e45c77f4d.json _SUCCESS

23 5.5 DataFrame 的常用操作 可以执行一些常用的 DataFrame 操作 >>> df=spark.read.json( people.json ) printschema() select()

24 5.5 DataFrame 的常用操作 filter() groupby()

25 5.5 DataFrame 的常用操作 sort()

26 5.6 从 RDD 转换得到 DataFrame 利用反射机制推断 RDD 模式 使用编程方式定义 RDD 模式

27 5.6.1 利用反射机制推断 RDD 模式 在 /usr/local/spark/examples/src/main/resources/ 目录下, 有个 Spark 安装时自带的样例数据 people.txt, 其内容如下 : Michael, 29 Andy, 30 Justin, 19 现在要把 people.txt 加载到内存中生成一个 DataFrame, 并查询其中的数据

28 5.6.1 利用反射机制推断 RDD 模式 >>> from pyspark.sql import Row >>> people = spark.sparkcontext.\... textfile("file:///usr/local/spark/examples/src/main/resources/people.txt").\... map(lambda line: line.split(",")).\... map(lambda p: Row(name=p[0], age=int(p[1]))) >>> schemapeople = spark.createdataframe(people) # 必须注册为临时表才能供下面的查询使用 >>> schemapeople.createorreplacetempview("people") >>> personsdf = spark.sql("select name,age from people where age > 20") #DataFrame 中的每个元素都是一行记录, 包含 name 和 age 两个字段, 分别用 p.name 和 p.age 来获取值 >>> personsrdd=personsdf.rdd.map(lambda p:"name: "+p.name+ ","+"Age: "+str(p.age)) >>> personsrdd.foreach(print) Name: Michael,Age: 29 Name: Andy,Age: 30

29 5.6.2 使用编程方式定义 RDD 模式 当无法提前获知数据结构时, 就需要采用编程方式定义 RDD 模式 比如, 现在需要通过编程方式把 people.txt 加载进来生成 DataFrame, 并完成 SQL 查询 第 1 步 : 制作 表头 name age 第 2 步 : 制作 表中的记录 Michael 29 Andy 30 Justin 19 第 3 步 : 把 表头 和 表中的记录 拼装在一起 name age Michael 29 Andy 30 Justin 19 图通过编程方式定义 RDD 模式的实现过程

30 5.6.2 使用编程方式定义 RDD 模式 >>> from pyspark.sql.types import * >>> from pyspark.sql import Row # 下面生成 表头 >>> schemastring = "name age" >>> fields = [StructField(field_name, StringType(), True) for field_name in schemastring.split(" ")] >>> schema = StructType(fields) # 下面生成 表中的记录 >>> lines = spark.sparkcontext.\... textfile("file:///usr/local/spark/examples/src/main/resources/people.txt") >>> parts = lines.map(lambda x: x.split(",")) >>> people = parts.map(lambda p: Row(p[0], p[1].strip())) # 下面把 表头 和 表中的记录 拼装在一起 >>> schemapeople = spark.createdataframe(people, schema) 剩余代码见下一页

31 5.6.2 使用编程方式定义 RDD 模式 # 注册一个临时表供下面查询使用 >>> schemapeople.createorreplacetempview("people") >>> results = spark.sql("select name,age FROM people") >>> results.show() name age Michael 29 Andy 30 Justin

32 5.7 使用 Spark SQL 读写数据库 Spark SQL 可以支持 Parquet JSON Hive 等数据源, 并且可以通过 JDBC 连接外部数据源 准备工作 读取 MySQL 数据库中的数据 向 MySQL 数据库写入数据

33 5.7.1 准备工作 请参考厦门大学数据库实验室博客教程 Ubuntu 安装 MySQL, 在 Linux 系统中安装好 MySQL 数据库教程地址 : 平台每年访问量超过 100 万次

34 5.7.1 准备工作 在 Linux 中启动 MySQL 数据库 $ service mysql start $ mysql -u root -p # 屏幕会提示你输入密码 输入下面 SQL 语句完成数据库和表的创建 : mysql> create database spark; mysql> use spark; mysql> create table student (id int(4), name char(20), gender char(4), age int(4)); mysql> insert into student values(1,'xueqian','f',23); mysql> insert into student values(2,'weiliang','m',24); mysql> select * from student;

35 5.7.1 准备工作 下载 MySQL 的 JDBC 驱动程序, 比如 mysql-connectorjava tar.gz 把该驱动程序拷贝到 spark 的安装目录 /usr/local/spark/jars 下 启动 pyspark $ cd /usr/local/spark $./bin/pyspark

36 5.7.2 读取 MySQL 数据库中的数据 执行以下命令连接数据库, 读取数据, 并显示 : >>> jdbcdf = spark.read \.format("jdbc") \.option("driver","com.mysql.jdbc.driver") \.option("url", "jdbc:mysql://localhost:3306/spark") \.option("dbtable", "student") \.option("user", "root") \.option("password", "123456") \.load() >>> jdbcdf.show() id name gender age Xueqian F 23 2 Weiliang M

37 5.7.3 向 MySQL 数据库写入数据 在 MySQL 数据库中创建了一个名称为 spark 的数据库, 并创建了一个名称为 student 的表创建后, 查看一下数据库内容 :

38 5.7.3 向 MySQL 数据库写入数据 现在开始编写程序, 往 spark.student 表中插入两条记录 #!/usr/bin/env python3 from pyspark.sql import Row from pyspark.sql.types import * from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate() # 下面设置模式信息 schema = StructType([StructField("id", IntegerType(), True), \ StructField("name", StringType(), True), \ StructField("gender", StringType(), True), \ StructField("age", IntegerType(), True)])

39 5.7.3 向 MySQL 数据库写入数据 # 下面设置两条数据, 表示两个学生的信息 studentrdd = spark \.sparkcontext \.parallelize(["3 Rongcheng M 26","4 Guanhua M 27"]) \.map(lambda x:x.split(" ")) # 下面创建 Row 对象, 每个 Row 对象都是 rowrdd 中的一行 rowrdd = studentrdd.map(lambda p:row(int(p[0].strip()), p[1].strip(), p[2].strip(), int(p[3].strip()))) # 建立起 Row 对象和模式之间的对应关系, 也就是把数据和模式对应起来 studentdf = spark.createdataframe(rowrdd, schema) # 写入数据库 prop = {} prop['user'] = 'root' prop['password'] = '123456' prop['driver'] = "com.mysql.jdbc.driver" studentdf.write.jdbc("jdbc:mysql://localhost:3306/spark",'student','append', prop)

40 5.7.3 向 MySQL 数据库写入数据 可以看一下效果, 看看 MySQL 数据库中的 spark.student 表发生了什么变化 mysql> select * from student; id name gender age Xueqian F 23 2 Weiliang M 24 3 Rongcheng M 26 4 Guanhua M rows in set (0.00 sec)

41 附录 A: 主讲教师林子雨简介 主讲教师 : 林子雨 单位 : 厦门大学计算机科学系 ziyulin@xmu.edu.cn 个人网页 : 数据库实验室网站 : 扫一扫访问个人主页 林子雨, 男,1978 年出生, 博士 ( 毕业于北京大学 ), 现为厦门大学计算机科学系助理教授 ( 讲师 ), 曾任厦门大学信息科学与技术学院院长助理 晋江市发展和改革局副局长 中国计算机学会数据库专业委员会委员, 中国计算机学会信息系统专业委员会委员 国内高校首个 数字教师 提出者和建设者, 厦门大学数据库实验室负责人, 厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013 年度和 2017 年度厦门大学教学类奖教金获得者, 荣获 2017 年福建省精品在线开放课程 2018 年厦门大学高等教育成果特等奖 2018 年福建省高等教育教学成果二等奖 2018 年国家精品在线开放课程 主要研究方向为数据库 数据仓库 数据挖掘 大数据 云计算和物联网, 并以第一作者身份在 软件学报 计算机学报 和 计算机研究与发展 等国家重点期刊以及国际学术会议上发表多篇学术论文 作为项目负责人主持的科研项目包括 1 项国家自然科学青年基金项目 (No ) 1 项福建省自然科学青年基金项目 (No.2013J05099) 和 1 项中央高校基本科研业务费项目 (No ), 主持的教改课题包括 1 项 2016 年福建省教改课题和 1 项 2016 年教育部产学协作育人项目, 同时, 作为课题负责人完成了国家发改委城市信息化重大课题 国家物联网重大应用示范工程区域试点泉州市工作方案 2015 泉州市互联网经济调研等课题 中国高校首个 数字教师 提出者和建设者,2009 年至今, 数字教师 大平台累计向网络免费发布超过 500 万字高价值的研究和教学资料, 累计网络访问量超过 500 万次 打造了中国高校大数据教学知名品牌, 编著出版了中国高校第一本系统介绍大数据知识的专业教材 大数据技术原理与应用, 并成为京东 当当网等网店畅销书籍 ; 建设了国内高校首个大数据课程公共服务平台, 为教师教学和学生学习大数据课程提供全方位 一站式服务, 年访问量超过 100 万次

42 附录 B: 大数据学习路线图 大数据学习路线图访问地址 :

43 附录 C: 大数据技术原理与应用 教材 大数据技术原理与应用 概念 存储 处理 分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著, 是国内高校第一本系统介绍大数据知识的专业教材 人民邮电出版社 ISBN: 定价 :49.80 元 全书共有 15 章, 系统地论述了大数据的基本概念 大数据处理架构 Hadoop 分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库 云数据库 分布式并行编程模型 MapReduce Spark 流计算 图计算 数据可视化以及大数据在互联网 生物医学和物流等各个领域的应用 在 Hadoop HDFS HBase 和 MapReduce 等重要章节, 安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术 扫一扫访问教材官网 本书可以作为高等院校计算机专业 信息管理等相关专业的大数据课程教材, 也可供相关技术人员参考 学习 培训之用 欢迎访问 大数据技术原理与应用 概念 存储 处理 分析与应用 教材官方网站 :

44 附录 D: 大数据基础编程 实验和案例教程 本书是与 大数据技术原理与应用 ( 第 2 版 ) 教材配套的唯一指定实验指导书 清华大学出版社 ISBN: 定价 :59 元 步步引导, 循序渐进, 详尽的安装指南为顺利搭建大数据实验环境铺平道路 深入浅出, 去粗取精, 丰富的代码实例帮助快速掌握大数据基础编程方法 精心设计, 巧妙融合, 五套大数据实验题目促进理论与编程知识的消化和吸收 结合理论, 联系实际, 大数据课程综合实验案例精彩呈现大数据分析全流程

45 附录 E: Spark 编程基础 (Scala 版 ) Spark 编程基础 (Scala 版 ) 厦门大学林子雨, 赖永炫, 陶继平编著 披荆斩棘, 在大数据丛林中开辟学习捷径填沟削坎, 为快速学习 Spark 技术铺平道路深入浅出, 有效降低 Spark 技术学习门槛资源全面, 构建全方位一站式在线服务体系 人民邮电出版社出版发行,ISBN: 教材官网 : 本书以 Scala 作为开发 Spark 应用程序的编程语言, 系统介绍了 Spark 编程的基础知识 全书共 8 章, 内容包括大数据技术概述 Scala 语言基础 Spark 的设计与运行原理 Spark 环境搭建和使用方法 RDD 编程 Spark SQL Spark Streaming Spark MLlib 等 本书每个章节都安排了入门级的编程实践操作, 以便读者更好地学习和掌握 Spark 编程方法 本书官网免费提供了全套的在线教学资源, 包括讲义 PPT 习题 源代码 软件 数据集 授课视频 上机实验指南等

46 附录 F: 高校大数据课程公共服务平台 扫一扫访问平台主页 扫一扫观看 3 分钟 FLASH 动画宣传片

47 Department of Computer Science, Xiamen University, 2019

大数据技术原理与应用

大数据技术原理与应用 大数据导论 ( 通识课版 ) 教材官网 : http://dblab.xmu.edu.cn/post/bigdataintroduction/ 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 大数据导论 ( 通识课版 ) 课程介绍 (PPT 版本号 :2019 年秋季学期 ) 林子雨厦门大学计算机科学系 扫一扫访问教材官网 E-mail: ziyulin@xmu.edu.cn

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 课程介绍 (PPT 版本号 :2017 年 2 月版本

More information

使用Spark SQL读取Hive上的数据

使用Spark SQL读取Hive上的数据 使用 Spark SQL 读取 Hive 上的数据 Spark SQL 主要目的是使得用户可以在 Spark 上使用 SQL, 其数据源既可以是 RDD, 也可以是外部的数据源 ( 比如 Parquet Hive Json 等 ) Spark SQL 的其中一个分支就是 Spark on Hive, 也就是使用 Hive 中 HQL 的解析 逻辑执行计划翻译 执行计划优化等逻辑, 可以近似认为仅将物理执行计划从

More information

幻灯片 1

幻灯片 1 高校大数据应用与学科人才培养研讨会 厦门大学林子雨博士 / 助理教授 ziyulin@xmu.edu.cn 2017 年 8 月 3 日山东. 烟台 内容提要 大数据课程公共服务平台 大数据技术原理与应用课程建设经验 大数据处理技术 Spark 课程建设经验 大数据课程公共服务平台 大数据课程公共服务平台 建设周期四年 (2013-2017) 投入资金 100 万 + 大数据课程公共服务平台 打造

More information

大数据导论 ( 通识课版 ) 教材官网 : 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 5 章大数据安全 (PPT 版本号 :2019 年秋季学期 ) 林子雨厦门大

大数据导论 ( 通识课版 ) 教材官网 :   温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 5 章大数据安全 (PPT 版本号 :2019 年秋季学期 ) 林子雨厦门大 大数据导论 ( 通识课版 ) 教材官网 : http://dblab.xmu.edu.cn/post/bigdataintroduction/ 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 5 章大数据安全 (PPT 版本号 :2019 年秋季学期 ) 林子雨厦门大学计算机科学系 扫一扫访问教材官网 E-mail: ziyulin@xmu.edu.cn 主页 :http://www.cs.xmu.edu.cn/linziyu

More information

SparkR(R on Spark)编程指南

SparkR(R on Spark)编程指南 概论 SparkR 是一个 R 语言包, 它提供了轻量级的方式使得可以在 R 语言中使用 Apache Spark 在 Spark 1.4 中,SparkR 实现了分布式的 data frame, 支持类似查询 过滤以及聚合的操作 ( 类似于 R 中的 data frames:dplyr), 但是这个可以操作大规模的数据集 SparkR DataFrames DataFrame 是数据组织成一个带有列名称的分布式数据集

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用 http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第八讲基于 Hadoop 的数据仓库 Hive (PPT 版本号 :2016 年 4 月 6 日版本 ) 林子雨厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 主页 :http://www.cs.xmu.edu.cn/linziyu

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用 厦门大学计算机科学系厦门大学计算机科学系林子雨 2015 年版 ziyulin@xmu.edu.cn 大数据技术原理与应用 http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第二章大数据处理架构 Hadoop (PPT 版本号 :2015 年 6 月第 1.0 版 ) 林子雨厦门大学计算机科学系

More information

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 完整的大数据解決方案 ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 Dataframe Pig YARN Spark Stand Alone HDFS Spark Stand Alone Mesos Mesos Spark Streaming Hive Hadoop

More information

大数据技术原理与应用

大数据技术原理与应用 厦门大学研究生课程 大数据处理技术 Spark http://dblab.xmu.edu.cn/post/7659/ 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 4 章 Spark 安装和使用方法 (PPT 版本号 :2017 年春季学期 ) 林子雨厦门大学计算机科学系 扫一扫访问班级主页 E-mail: ziyulin@xmu.edu.cn 主页 :http://www.cs.xmu.edu.cn/linziyu

More information

培 训 机 构 介 绍 中 科 普 开 是 国 内 首 家 致 力 于 IT 新 技 术 领 域 的 领 航 者, 专 注 于 云 计 算 大 数 据 物 联 网 移 动 互 联 网 技 术 的 培 训, 也 是 国 内 第 一 家 开 展 Hadoop 云 计 算 的 培

培 训 机 构 介 绍  中 科 普 开 是 国 内 首 家 致 力 于 IT 新 技 术 领 域 的 领 航 者, 专 注 于 云 计 算 大 数 据 物 联 网 移 动 互 联 网 技 术 的 培 训, 也 是 国 内 第 一 家 开 展 Hadoop 云 计 算 的 培 Hadoop 2.0 培 训 Hadoop 2.0Training Hadoop 2.0 运 维 与 开 发 实 战 培 训 邀 请 函 培 训 机 构 介 绍 www.zkpk.org 中 科 普 开 是 国 内 首 家 致 力 于 IT 新 技 术 领 域 的 领 航 者, 专 注 于 云 计 算 大 数 据 物 联 网 移 动 互 联 网 技 术 的 培 训, 也 是 国 内 第 一 家 开

More information

PowerPoint 演示文稿

PowerPoint 演示文稿 Apache Spark 与 多 数 据 源 的 结 合 田 毅 @ 目 录 为 什 么 会 用 到 多 个 数 据 源 Spark 的 多 数 据 源 方 案 有 哪 些 已 有 的 数 据 源 支 持 Spark 在 GrowingIO 的 实 践 分 享 为 什 么 会 用 到 多 个 数 据 源 从 数 据 本 身 来 看 大 数 据 的 特 性 之 一 :Variety 数 据 的 多 样

More information

SDK 概要 使用 Maven 的用户可以从 Maven 库中搜索 "odps-sdk" 获取不同版本的 Java SDK: 包名 odps-sdk-core odps-sdk-commons odps-sdk-udf odps-sdk-mapred odps-sdk-graph 描述 ODPS 基

SDK 概要 使用 Maven 的用户可以从 Maven 库中搜索 odps-sdk 获取不同版本的 Java SDK: 包名 odps-sdk-core odps-sdk-commons odps-sdk-udf odps-sdk-mapred odps-sdk-graph 描述 ODPS 基 开放数据处理服务 ODPS SDK SDK 概要 使用 Maven 的用户可以从 Maven 库中搜索 "odps-sdk" 获取不同版本的 Java SDK: 包名 odps-sdk-core odps-sdk-commons odps-sdk-udf odps-sdk-mapred odps-sdk-graph 描述 ODPS 基础功能的主体接口, 搜索关键词 "odpssdk-core" 一些

More information

Reducing Client Incidents through Big Data Predictive Analytics

Reducing Client Incidents through Big Data Predictive Analytics IT@lntel 白 皮 书 英 特 尔 IT 部 门 IT 最 佳 实 践 大 数 据 预 测 分 析 2013 年 12 月 通 过 大 数 据 预 测 分 析 减 少 客 户 端 事 故 总 体 概 述 相 比 过 去 的 被 动 反 应, 我 们 现 在 能 够 更 容 易 主 动 找 出 客 户 端 问 题, 并 及 时 将 其 修 复 以 免 问 题 扩 大, 从 而 为 企 业 节 约

More information

业 务 与 运 营 Business & Operation (Transform) 加 载 (Load) 至 目 的 端 的 过 程, 该 部 分 在 数 据 挖 掘 和 分 析 过 程 中 为 最 基 础 的 一 部 分 一 个 良 好 的 ETL 系 统 应 该 有 以 下 几 个 功 能 1

业 务 与 运 营 Business & Operation (Transform) 加 载 (Load) 至 目 的 端 的 过 程, 该 部 分 在 数 据 挖 掘 和 分 析 过 程 中 为 最 基 础 的 一 部 分 一 个 良 好 的 ETL 系 统 应 该 有 以 下 几 个 功 能 1 Business & Operation 业 务 与 运 营 大 数 据 技 术 在 精 准 营 销 中 的 应 用 王 小 鹏 北 京 东 方 国 信 科 技 股 份 有 限 公 司 北 京 100102 摘 要 简 要 介 绍 主 流 的 大 数 据 技 术 架 构 和 大 数 据 挖 掘 技 术 ; 阐 述 大 数 据 技 术 在 精 准 营 销 与 维 系 系 统 建 设 中 的 应 用,

More information

大数据技术原理与应用

大数据技术原理与应用 分布式数据库厦门大学云计算与大数据研究中心 HBase 厦门大学云计算与大数据研究中心林子雨 2015 ziyulin@xmu.edu.cn 年版 大数据技术公开课 大数据概念 技术与应用 2015 年 10 月 13 日山东大学 第 4 讲分布式数据库 HBase 林子雨博士 / 助理教授厦门大学计算机科学系厦门大学云计算与大数据研究中心 E-mail: ziyulin@xmu.edu.cn 山东大学公开课主页

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用 ( 第 2 版 ) http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 9 章 Spark (PPT 版本号 :2017 年 2 月版本 ) 林子雨厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 主页 :http://www.cs.xmu.edu.cn/linziyu

More information

通过Hive将数据写入到ElasticSearch

通过Hive将数据写入到ElasticSearch 我在 使用 Hive 读取 ElasticSearch 中的数据 文章中介绍了如何使用 Hive 读取 ElasticSearch 中的数据, 本文将接着上文继续介绍如何使用 Hive 将数据写入到 ElasticSearch 中 在使用前同样需要加入 elasticsearch-hadoop-2.3.4.jar 依赖, 具体请参见前文介绍 我们先在 Hive 里面建个名为 iteblog 的表,

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 1 章大数据概述 (PPT 版本号 :2017 年

More information

Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上 手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运 行行时 5. Kubernetes 的 网络管理理 6. Kubernetes 的存储管理理 7.

Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上 手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运 行行时 5. Kubernetes 的 网络管理理 6. Kubernetes 的存储管理理 7. Kubernetes 包管理理 工具 Helm 蔺礼强 Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上 手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运 行行时 5. Kubernetes 的 网络管理理 6. Kubernetes 的存储管理理 7. Kubernetes

More information

长 安 大 学 硕 士 学 位 论 文 基 于 数 据 仓 库 和 数 据 挖 掘 的 行 为 分 析 研 究 姓 名 : 杨 雅 薇 申 请 学 位 级 别 : 硕 士 专 业 : 计 算 机 软 件 与 理 论 指 导 教 师 : 张 卫 钢 20100530 长安大学硕士学位论文 3 1 3系统架构设计 行为分析数据仓库的应用模型由四部分组成 如图3 3所示

More information

水晶分析师

水晶分析师 大数据时代的挑战 产品定位 体系架构 功能特点 大数据处理平台 行业大数据应用 IT 基础设施 数据源 Hadoop Yarn 终端 统一管理和监控中心(Deploy,Configure,monitor,Manage) Master Servers TRS CRYSTAL MPP Flat Files Applications&DBs ETL&DI Products 技术指标 1 TRS

More information

DPark MapReduce (Davies) davies@douban.com 2011/12/07 Velocity China 2011 Douban Douban 5500 Douban 5500 1000G, Douban 5500 1000G, 60+ Douban 5500 1000G, 60+ 200+ Douban 5500 1000G, 60+ 200+ > MooseFS

More information

帝国CMS下在PHP文件中调用数据库类执行SQL语句实例

帝国CMS下在PHP文件中调用数据库类执行SQL语句实例 帝国 CMS 下在 PHP 文件中调用数据库类执行 SQL 语句实例 这篇文章主要介绍了帝国 CMS 下在 PHP 文件中调用数据库类执行 SQL 语句实例, 本文还详细介绍了帝国 CMS 数据库类中的一些常用方法, 需要的朋友可以参考下 例 1: 连接 MYSQL 数据库例子 (a.php)

More information

厦门大学辅助国内高校开设大数据课程公益项目 一 项目名称厦门大学辅助国内高校开设大数据课程公益项目二 项目介绍大数据时代的到来, 迫切需要高校及时建立大数据技术课程体系, 为社会培养和输送一大批具备大数据专业素养的高级人才, 满足社会对大数据人才日益旺盛的需求 本项目旨在为高校教师开设入门级大数据课

厦门大学辅助国内高校开设大数据课程公益项目 一 项目名称厦门大学辅助国内高校开设大数据课程公益项目二 项目介绍大数据时代的到来, 迫切需要高校及时建立大数据技术课程体系, 为社会培养和输送一大批具备大数据专业素养的高级人才, 满足社会对大数据人才日益旺盛的需求 本项目旨在为高校教师开设入门级大数据课 说 明 书 厦门大学数据库实验室 2015 年 9 月 1 日 厦门大学辅助国内高校开设大数据课程公益项目 一 项目名称厦门大学辅助国内高校开设大数据课程公益项目二 项目介绍大数据时代的到来, 迫切需要高校及时建立大数据技术课程体系, 为社会培养和输送一大批具备大数据专业素养的高级人才, 满足社会对大数据人才日益旺盛的需求 本项目旨在为高校教师开设入门级大数据课程提供全流程辅助, 大力推进高校大数据课程建设

More information

白 皮 书 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 目 录 要 点 概 述...1 业 务 挑 战...2 Hadoop* 分 发 版 注 意 事 项...3 Hadoop* 基 础 架 构 注 意 事 项

白 皮 书 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 目 录 要 点 概 述...1 业 务 挑 战...2 Hadoop* 分 发 版 注 意 事 项...3 Hadoop* 基 础 架 构 注 意 事 项 IT@Intel 白 皮 书 英 特 尔 IT 部 门 大 数 据 和 商 业 智 能 2013 年 10 月 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 要 点 概 述 仅 在 五 周 之 内, 我 们 就 实 施 了 基 于 Apache Hadoop* 英 特 尔 分 发 版 的 低 成 本 可 完 全 实 现 的 大 数

More information

一 我国部分研究型大学 大学生创新性实验计划 实施的现状 莙政基 莙政基金 外 在学生中有

一 我国部分研究型大学 大学生创新性实验计划 实施的现状 莙政基 莙政基金 外 在学生中有 高等教育研究 乔 连 全 厦门大学教育研究院 福建厦门 从调研情况来看 教育部 大学生创新性实验计划 的实施已取得一定的成效 但 也存在一些问题和不足 结合与国外类似项目的比较 各参与高校应从提高思想认识 创新管理模式 构建课程体系 拓展项目类型 加强项目评价 建立交流平台 落实激励措施等方面进 一步改进和完善 以更好地推动高校人才培养模式改革 培养高素质的创新型人才 研究型大学 创新型人才 本科生科研

More information

學 科 100% ( 為 單 複 選 題, 每 題 2.5 分, 共 100 分 ) 1. 請 參 閱 附 圖 作 答 : (A) 選 項 A (B) 選 項 B (C) 選 項 C (D) 選 項 D Ans:D 2. 下 列 對 於 資 料 庫 正 規 化 (Normalization) 的 敘

學 科 100% ( 為 單 複 選 題, 每 題 2.5 分, 共 100 分 ) 1. 請 參 閱 附 圖 作 答 : (A) 選 項 A (B) 選 項 B (C) 選 項 C (D) 選 項 D Ans:D 2. 下 列 對 於 資 料 庫 正 規 化 (Normalization) 的 敘 ITE 資 訊 專 業 人 員 鑑 定 資 料 庫 系 統 開 發 與 設 計 實 務 試 卷 編 號 :IDS101 注 意 事 項 一 本 測 驗 為 單 面 印 刷 試 題, 共 計 十 三 頁 第 二 至 十 三 頁 為 四 十 道 學 科 試 題, 測 驗 時 間 90 分 鐘 : 每 題 2.5 分, 總 測 驗 時 間 為 90 分 鐘 二 執 行 CSF 測 驗 系 統 -Client

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用 厦门大学计算机科学系厦门大学计算机科学系林子雨 2016 年版 ziyulin@xmu.edu.cn 大数据技术原理与应用 http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第一章大数据概述 (PPT 版本号 :2016 年 1 月 24 日版本 ) 林子雨厦门大学计算机科学系

More information

<4D6963726F736F667420576F7264202D204861646F6F70B4F3CAFDBEDDBCB0BAA3C1BFCAFDBEDDCDDABEF2D3A6D3C3B9A4B3CCCAA6C5E0D1B5B0E056312E332E646F63>

<4D6963726F736F667420576F7264202D204861646F6F70B4F3CAFDBEDDBCB0BAA3C1BFCAFDBEDDCDDABEF2D3A6D3C3B9A4B3CCCAA6C5E0D1B5B0E056312E332E646F63> 关 于 举 办 Hadoop 大 数 据 及 海 量 数 据 挖 掘 应 用 工 程 师 培 训 班 的 通 知 随 着 云 时 代 的 来 临, 大 数 据 技 术 将 具 有 越 来 越 重 要 的 战 略 意 义 大 数 据 分 析 与 挖 掘 技 术 已 经 渗 透 到 每 一 个 行 业 和 业 务 职 能 领 域, 逐 渐 成 为 重 要 的 生 产 要 素, 人 们 对 于 海 量 数

More information

目錄

目錄 資 訊 素 養 線 上 教 材 單 元 五 資 料 庫 概 論 及 Access 5.1 資 料 庫 概 論 5.1.1 為 什 麼 需 要 資 料 庫? 日 常 生 活 裡 我 們 常 常 需 要 記 錄 一 些 事 物, 以 便 有 朝 一 日 所 記 錄 的 事 物 能 夠 派 得 上 用 場 我 們 能 藉 由 記 錄 每 天 的 生 活 開 銷, 就 可 以 在 每 個 月 的 月 底 知

More information

PowerPoint 演示文稿

PowerPoint 演示文稿 Hadoop 生 态 技 术 在 阿 里 全 网 商 品 搜 索 实 战 阿 里 巴 巴 - 王 峰 自 我 介 绍 真 名 : 王 峰 淘 宝 花 名 : 莫 问 微 博 : 淘 莫 问 2006 年 硕 士 毕 业 后 加 入 阿 里 巴 巴 集 团 淘 及 搜 索 事 业 部 ( 高 级 技 术 与 家 ) 目 前 负 责 搜 索 离 线 系 统 团 队 技 术 方 向 : 分 布 式 计 算

More information

Apache CarbonData集群模式使用指南

Apache CarbonData集群模式使用指南 我们在 Apache CarbonData 快速入门编程指南 文章中介绍了如何快速使用 Apache CarbonData, 为了简单起见, 我们展示了如何在单机模式下使用 Apache CarbonData 但是生产环境下一般都是使用集群模式, 本文主要介绍如何在集群模式下使用 Apache CarbonData 启动 Spark shell 这里以 Spark shell 模式进行介绍,master

More information

(Microsoft Word - 1_\252\354\244p\257S\300u_\254\374\304R\252\272\254K\244\321.doc)

(Microsoft Word - 1_\252\354\244p\257S\300u_\254\374\304R\252\272\254K\244\321.doc) 一 教 案 作 品 名 稱 美 麗 的 春 天 參 賽 組 別 初 小 組 適 用 年 級 一 年 級 教 學 總 節 數 3 節 A-1-5-4-1 能 應 用 注 音 符 號, 輔 助 表 達 自 己 的 經 驗 和 想 法 A-1-6 能 應 用 注 音 符 號, 擴 充 語 文 學 習 的 空 間, 增 進 語 文 學 習 興 趣 B-1-1-2-1 能 自 然 安 靜 的 聆 聽 B-1-2-4-3

More information

二 外汇风险溢酬的度量及其时间序列模型

二 外汇风险溢酬的度量及其时间序列模型 外汇风险溢酬理论述评 郑振龙 邓弋威 一 外汇风险溢酬问题的提出 国家自然科学基金项目 非完美信息下基于观点偏差调整的资产定价 福建省自然科 学基金项目 卖空交易对证券市场的影响研究 教育部人文社科一般项目 市场有效性 价格发现与 定价权争夺 基于人民币即期汇率和远期汇率的研究 教育部留学回国人员科研启动基金 人民币 即期与远期汇率关系及外汇市场协同稳定机制研究 郑振龙 男 福建平潭人 厦门大学金融系教授

More information

第 06 期 李祥池 : 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 1 日志 1.1 日志定义 IT 1.2 日志处理方案演进 v1.0 v2.0 Hadoop Storm Spark Hadoop/Storm/Spark v3.0 TB Splunk ELK SI

第 06 期 李祥池 : 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 1 日志 1.1 日志定义 IT 1.2 日志处理方案演进 v1.0 v2.0 Hadoop Storm Spark Hadoop/Storm/Spark v3.0 TB Splunk ELK SI 电子科学技术第 02 卷第 06 期 2015 年 11 月 Electronic Science & Technology Vol.02 No.06 Nov.2015 年 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 李祥池 ( 杭州华三通信技术有限公司北京研究所, 北京,100085) 摘要 : 在大数据时代 对数据平台各组件的运行状态实时监控与运行分析具有重要意义

More information

Microsoft Word - 《Hadoop大数据技术与应用》教学大纲.doc

Microsoft Word - 《Hadoop大数据技术与应用》教学大纲.doc Hadoop 大数据技术原理与应用 课程教学大纲 ( 课程英文名称 ) 课程编号 :201800522062 学分 :5 学分学时 :63 学时 ( 其中 : 讲课学时 51 上机学时 :12) 先修课程 : 后续课程 :Spark 适用专业 : 大数据应用技术开课部门 : 一 课程的性质与目标 Hadoop 大数据技术原理与应用 是互联网 + 创业教育学院软件工程 ( 大数据 人工智能 ) 专业的一门校定必修专业课

More information

目 录 1 不 断 开 发 工 具 以 管 理 大 数 据...2 1.1 Hadoop* 简 介 : 支 持 从 大 数 据 中 获 得 出 色 价 值 的 可 靠 框 架... 2 1.2 大 数 据 技 术 的 行 业 生 态 系 统... 2 2 在 关 键 组 件 中 实 现 平 衡...

目 录 1 不 断 开 发 工 具 以 管 理 大 数 据...2 1.1 Hadoop* 简 介 : 支 持 从 大 数 据 中 获 得 出 色 价 值 的 可 靠 框 架... 2 1.2 大 数 据 技 术 的 行 业 生 态 系 统... 2 2 在 关 键 组 件 中 实 现 平 衡... 白 皮 书 英 特 尔 固 态 硬 盘 英 特 尔 以 太 网 融 合 网 络 英 特 尔 Hadoop* 发 行 版 软 件 应 用 大 数 据 技 术 获 得 近 实 时 分 析 巨 大 成 效 1 平 衡 的 基 础 设 施 使 工 作 负 载 完 成 时 间 从 4 小 时 缩 短 为 7 如 今, 基 于 广 泛 可 用 的 计 算 存 储 和 网 络 组 件 的 改 进, 商 业 学 术

More information

Presentation title goes here

Presentation title goes here ACP- 如何在微软 Azure HDInsight 优化 Hadoop 董乃文 Nevin Dong 资深技术顾问开发工具及平台事业部 (DX) 微软公司 朱晓勇 Xiaoyong Zhu 产品经理云计算与企业事业部 (C&E) 微软公司 Hadoop, HDInsight 及关键能力 HDInsight 性能及调优 典型应用场景 HDInsight 概述及关键能力 Hadoop as a Service,

More information

1 1 大概思路 创建 WebAPI 创建 CrossMainController 并编写 Nuget 安装 microsoft.aspnet.webapi.cors 跨域设置路由 编写 Jquery EasyUI 界面 运行效果 2 创建 WebAPI 创建 WebAPI, 新建 -> 项目 ->

1 1 大概思路 创建 WebAPI 创建 CrossMainController 并编写 Nuget 安装 microsoft.aspnet.webapi.cors 跨域设置路由 编写 Jquery EasyUI 界面 运行效果 2 创建 WebAPI 创建 WebAPI, 新建 -> 项目 -> 目录 1 大概思路... 1 2 创建 WebAPI... 1 3 创建 CrossMainController 并编写... 1 4 Nuget 安装 microsoft.aspnet.webapi.cors... 4 5 跨域设置路由... 4 6 编写 Jquery EasyUI 界面... 5 7 运行效果... 7 8 总结... 7 1 1 大概思路 创建 WebAPI 创建 CrossMainController

More information

是 证 券 市 场 的 后 来 者, 但 在 前 景 广 阔 的 道 路 上 前 行, 终 将 成 为 这 个 市 场 的 领 先 者, 这 里 会 给 你 一 个 巨 大 的 舞 台, 这 里 有 你 需 要 的 机 会, 这 里 欢 迎 优 秀 的 你! 二 招 收 条 件 1. 遵 守 国 家

是 证 券 市 场 的 后 来 者, 但 在 前 景 广 阔 的 道 路 上 前 行, 终 将 成 为 这 个 市 场 的 领 先 者, 这 里 会 给 你 一 个 巨 大 的 舞 台, 这 里 有 你 需 要 的 机 会, 这 里 欢 迎 优 秀 的 你! 二 招 收 条 件 1. 遵 守 国 家 全 国 中 小 企 业 股 份 转 让 系 统 有 限 责 任 公 司 2016 年 暑 期 实 习 生 招 收 公 告 一 公 司 简 介 全 国 中 小 企 业 股 份 转 让 系 统 ( 以 下 简 称 新 三 板 ) 是 经 国 务 院 批 准, 依 据 证 券 法 设 立 的 继 上 交 所 深 交 所 之 后 第 三 家 全 国 性 证 券 交 易 场 所, 也 是 境 内 第 一 家

More information

Azure_s

Azure_s Azure ? Azure Azure Windows Server Database Server Azure Azure Azure Azure Azure Azure Azure Azure OpenSource Azure IaaS Azure VM Windows Server Linux PaaS Azure ASP.NET PHP Node.js Python MS SQL MySQL

More information

分布式数据库期中作业说明

分布式数据库期中作业说明 厦门大学林子雨编著 大数据技术原理与应用 ( 版本号 :2016 年 4 月 20 日版本 ) ( 备注 :2015 年 8 月 1 日第一版教材中没有本章, 本章为 2016 年新增内容, 将被放入第二版教材中 ) ( 版权声明 : 版权所有, 请勿用于商业用途 ) 主讲教师 : 林子雨厦门大学数据库实验室二零一六年四月 中国高校大数据课程公共服务平台, 由中国高校首个 数字教师 的提出者和建设者

More information

PowerPoint Presentation

PowerPoint Presentation 利用 Oracle Big Data Connectors 将 Hadoop 与 Oracle 集成 罗海雄甲骨文公司资深技术顾问 1 Copyright 2011, Oracle and/or its affiliates. All rights 以下内容旨在概述产品的总体发展方向 该内容仅供参考, 不可纳入任何合同 该内容不构成提供任何材料 代码或功能的承诺, 并且不应该作为制定购买决策的依据

More information

* 4 6 R P r p . 1 2 3 4 7 89bk 6 5 1 2 3 4 5 6 7 8 9 0 bk r bl bm bn^ bo bl br bq bpbo bn bm [ ] [ ] [ ] bp 8 2 4 6 bq p [ ] [SET] br clckbt bs bs bt ck cl. 1 2 1 2+- 3 3 . 1 2 3 4 5 6 7 8 9 bk bl bm

More information

PowerPoint Presentation

PowerPoint Presentation MATLAB 与 Spark/Hadoop 相集成 : 实现大数据的处理和价值挖 马文辉 2015 The MathWorks, Inc. 1 内容 大数据及其带来的挑战 MATLAB 大数据处理 tall 数组 并行与分布式计算 MATLAB 与 Spark/Hadoop 集成 MATLAB 访问 HDFS(Hadoop 分布式文件系统 ) 在 Spark/Hadoop 集群上运行 MATLAB

More information

仅 中 方 证 书 学 历 证 书 学 位 证 书 仅 外 方 证 书 学 位 证 书 文 凭 颁 发 证 书 中 外 双 方 证 书 中 方 证 书 学 历 证 书 学 位 证 书 外 方 证 书 学 位 证 书 文 凭 其 他 证 书 证 书 名 称 说 明 : 请 参 照 学 位 授 予 和

仅 中 方 证 书 学 历 证 书 学 位 证 书 仅 外 方 证 书 学 位 证 书 文 凭 颁 发 证 书 中 外 双 方 证 书 中 方 证 书 学 历 证 书 学 位 证 书 外 方 证 书 学 位 证 书 文 凭 其 他 证 书 证 书 名 称 说 明 : 请 参 照 学 位 授 予 和 上 海 师 范 大 学 与 法 国 柏 莱 斯 帕 斯 卡 尔 大 学 合 作 举 办 计 算 机 科 学 与 技 术 专 业 本 科 教 育 项 目 5 年 度 自 评 报 告 一 基 本 情 况 信 息 Ⅰ 基 本 信 息 项 目 名 称 上 海 师 范 大 学 与 法 国 柏 莱 斯 帕 斯 卡 尔 大 学 合 作 举 办 计 算 机 科 学 与 技 术 专 业 本 科 教 育 项 目 Co-operative

More information

untitled

untitled -JAVA 1. Java IDC 20 20% 5 2005 42.5 JAVA IDC JAVA 60% 70% JAVA 3 5 10 JAVA JAVA JAVA J2EE J2SE J2ME 70% JAVA JAVA 20 1 51 2. JAVA SUN JAVA J2EE J2EE 3. 1. CSTP CSTP 2 51 2. 3. CSTP IT CSTP IT IT CSTP

More information

旅游科学

旅游科学 旅 游 科 学 王春雷 会展专业人才培养模式是一个院校对于会展办学的整体设计 因而需要进行系统性的构建 但目前这方面的研究成果不多 更缺乏实证性的研究 本 文基于文献综述的发现和会展专业的特点 从理论上构建了一个项目驱动型会展 专业人才培养模式的基本框架 进而以上海师范大学会展经济与管理专业为例 侧重从教育理念 培养目标 培养过程 培养制度和培养评价等方面进行了实证研究 项目驱动型 会展专业 人才培养模式

More information

2019 级大数据技术与应用专业人才培养方案 一 专业名称及代码专业名称 : 大数据技术与应用专业代码 : 二 入学要求高中阶段教育毕业生或同等学力人员三 修业年限三年, 专科四 职业面向 ( 一 ) 服务面向 所属专业大类 ( 代码 ) 所属专业类 ( 代码 ) 对应行业 ( 代码 )

2019 级大数据技术与应用专业人才培养方案 一 专业名称及代码专业名称 : 大数据技术与应用专业代码 : 二 入学要求高中阶段教育毕业生或同等学力人员三 修业年限三年, 专科四 职业面向 ( 一 ) 服务面向 所属专业大类 ( 代码 ) 所属专业类 ( 代码 ) 对应行业 ( 代码 ) 2019 级大数据技术与应用专业人才培养方案 一 专业名称及代码专业名称 : 大数据技术与应用专业代码 :610215 二 入学要求高中阶段教育毕业生或同等学力人员三 修业年限三年, 专科四 职业面向 ( 一 ) 服务面向 所属专业大类 所属专业类 对应行业 主要职业类别 主要岗位类别 ( 或技术领域 ) 职业资格证书或技能等级证书举例 电子信息 大类 (61) 计算机类 (02) 软件和信息技术服务业

More information

5 2. 过程与方法 情感 态度与价值观 三 知识结构图 四 教学内容和教学要求 课 程 教学要求 课时安排

5 2. 过程与方法 情感 态度与价值观 三 知识结构图 四 教学内容和教学要求 课 程 教学要求 课时安排 单元教学综述 一 内容概述 2 IE 5 5 10 11 12 13 14 二 教学目标 1. 知识与技能 1 2 3 4 5 2. 过程与方法 1 2 3 4 3. 情感 态度与价值观 1 2 3 三 知识结构图 四 教学内容和教学要求 课 程 教学要求 课时安排 1 10 1 2 11 1 1 2 12 1 2 3 4 1 小学信息技术第 3 册教师用书 续表 课 程 教学要求 课时安排 13

More information

Spark读取Hbase中的数据

Spark读取Hbase中的数据 Spark 读取 Hbase 中的数据 Spark 和 Flume-ng 整合, 可以参见本博客 : Spark 和 Flume-ng 整合 使用 Spark 读取 HBase 中的数据 如果想及时了解 Spark Hadoop 或者 Hbase 相关的文章, 欢迎关注微信公共帐号 :iteblog_hadoop 大家可能都知道很熟悉 Spark 的两种常见的数据读取方式 ( 存放到 RDD 中 ):(1)

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 2 章大数据处理架构 Hadoop (PPT 版本号

More information

课程设置—国民经济学

课程设置—国民经济学 课程设置 国民经济学 序号 课程类型 课程名称 学期 学分 总学时 授课语言 任课教师 ( 职称 ) 1 科学社会主义理论与实践 秋季学期 2 32 中文 学校统开 2 资本论 选读秋季学期 1.5 28 中文经院统开公共学位 3 经济思想史秋季学期 1.5 28 中文经院统开 4 英语 秋季 春季学期 4 64 英文 学校统开 5 高级宏观经济学 Ⅰ 秋季学期 3 56 中文 经院统开 6 高级计量经济学

More information

大数据技术原理与应用

大数据技术原理与应用 分布式数据库厦门大学云计算与大数据研究中心 HBase 厦门大学云计算与大数据研究中心林子雨 2015 ziyulin@xmu.edu.cn 年版 大数据专题技术型公开课 第 2 讲分布式数据库 HBase 林子雨博士 / 助理教授厦门大学计算机科学系厦门大学云计算与大数据研究中心 E-mail: ziyulin@xmu.edu.cn 主页 :http://www.cs.xmu.edu.cn/linziyu

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用 厦门大学计算机科学系厦门大学计算机科学系林子雨 2015 年版 ziyulin@xmu.edu.cn 大数据技术原理与应用 http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第一章大数据概述 (PPT 版本号 :2015 年 6 月第 1.0 版 ) 林子雨厦门大学计算机科学系

More information

Hive:用Java代码通过JDBC连接Hiveserver

Hive:用Java代码通过JDBC连接Hiveserver Hive: 用 Java 代码通过 JDBC 连接 Hiveserver 我们可以通过 CLI Client Web UI 等 Hive 提供的用户接口来和 Hive 通信, 但这三种方式最常用的是 CLI;Client 是 Hive 的客户端, 用户连接至 Hive Server 在启动 Client 模式的时候, 需要指出 Hive Server 所在节点, 并且在该节点启动 Hive Server

More information

作者简介 韩 峰 1972 年出生 中共党员 山东省青州市王府街道五里小学教师 教 导主任 潍坊市教学能手 青州市特级教师 青州市创新型教师 青州市优秀教师 多年从事小学数学教学及研究工作 组织并实施了中央教科所十五重点规划课题 教学媒体协调教学与小学生运用数学知识解决实际问题能力 的实验研究 并于 2006 年 9 月被中央教科所鉴定结题 现在正进行山东省十一五规划课题 小学数 学教学中学生良好学习习惯培养策略

More information

第 03 期 刘高军等 : 基于 CNONIX 的 XML 与 EXCEL 相互转换技术研究 XML XML CNONIX XML EXCEL EXCEL EXCEL EXCEL CNONIXEXCEL XML EXCEL CNONIX XML EXCEL CNONIX 1 CNONIX 数据元分析

第 03 期 刘高军等 : 基于 CNONIX 的 XML 与 EXCEL 相互转换技术研究 XML XML CNONIX XML EXCEL EXCEL EXCEL EXCEL CNONIXEXCEL XML EXCEL CNONIX XML EXCEL CNONIX 1 CNONIX 数据元分析 电子科学技术电子科学技术第 02 卷第 03 期 Electronic 2015 年 Science 5 月 & Technology Electronic Science & Technology Vol.02 No.03 May.2015 年 基于 CNONIX 的 XML 与 EXCEL 相互转换技术研究 刘高军, 李丹, 程利伟, 钱程, 段然 ( 北方工业大学计算机学院, 北京,100144)

More information

大数据分析技术 [13] 1.1 大数据 Big Data [2] IBM 5V Volume Velocity Variety Value Veracity Volume Velocity Variety Value Veracity 表 1 大数据特征表 Tab.1

大数据分析技术 [13] 1.1 大数据 Big Data [2] IBM 5V Volume Velocity Variety Value Veracity Volume Velocity Variety Value Veracity 表 1 大数据特征表 Tab.1 2016 2016, Vol. 37, No. 01 37 01 COMPUTER ENGINEERING & SOFTWARE IT 大数据在输变电设备状态评估中的研究 周广 1, 闫丹凤 1, 许光可 2, 李笋 1. 100876 2. 250001 2 摘要 : 电网的高速发展带来海量数据的存储和分析问题, 传统的数据管理和分析工具不再适用 本文主要对大数据分析的相关技术在输变电设备状态评估中的应用进行了研究

More information

1-1 database columnrow record field 不 DBMS Access Paradox SQL Server Linux MySQL Oracle IBM Informix IBM DB2 Sybase 1-2

1-1 database columnrow record field 不 DBMS Access Paradox SQL Server Linux MySQL Oracle IBM Informix IBM DB2 Sybase 1-2 CHAPTER 1 Understanding Core Database Concepts 1-1 database columnrow record field 不 DBMS Access Paradox SQL Server Linux MySQL Oracle IBM Informix IBM DB2 Sybase 1-2 1 Understanding Core Database Concepts

More information

untitled

untitled Database System Principle Database System Principle 1 SQL 3.1 SQL 3.2-3.3 3.4 3.5 3.6 Database System Principle 2 3.1 SQL SQL Structured Query Language SQL Database System Principle 3 SQL 3.1.1 SQL 3.1.2

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 13 章大数据在不同领域的应用 (PPT 版本号 :2017

More information

大数据技术原理与应用

大数据技术原理与应用 大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第 3 章分布式文件系统 HDFS (PPT 版本号 :2017

More information

大数据技术原理与应用

大数据技术原理与应用 分布式数据库厦门大学云计算与大数据研究中心 HBase 厦门大学云计算与大数据研究中心林子雨 2015 ziyulin@xmu.edu.cn 年版 大数据技术公开课 ( 专题技术型 ) 第 2 讲分布式数据库 HBase 林子雨博士 / 助理教授厦门大学计算机科学系厦门大学云计算与大数据研究中心 E-mail: ziyulin@xmu.edu.cn 主页 :http://www.cs.xmu.edu.cn/linziyu

More information

气溶胶光学厚度 的测量原理 Ê

气溶胶光学厚度 的测量原理 Ê 肖钟湧 江洪 余树全 周国模 陈然 宋晓东 焦荔 洪盛茂 常杰 江波 南京大学国际地球系统科学研究所 南京 浙江林学院国际空间生态与生态系统生态研究中心 杭州 杭州市环境监测总站 杭州 浙江大学生命科学学院 杭州 浙江省林业科学研究院 杭州 气溶胶光学厚度 的测量原理 Ê 仪器和观测 实验场地 数据处理 气溶胶光学厚度的高光谱反演 浑浊度系数 波长指数 Ê Ê 精度检验 气溶胶光学厚度 浑浊度系数

More information

PowerPoint Presentation

PowerPoint Presentation 巧妙利用 AWS 进行物联网解决方案开发 牛付强, AWS 解决方案架构师 议程 AWS IoT 组成单元 利用 AWS IoT Device SDK 进行 AWS IoT 的开发 演示 AWS IoT 的作用 如果你知道每一个事物的状态 并能在数据上面推理 你会解决什么问题 AWS IoT 架构 ( 设备到云端 ) IoT 设备类型 IoT 设备类型 Amazon FreeRTOS Amazon

More information

省份批次科类录取专业招生数 录取 最低分 备注 艺术 音乐学 ( 地方免费师范生 ) 专业成绩 美术学 ( 地方免费师范生 ) 综合成绩 提前艺术体育本 科 提前一批本科 体育 ( 文 ) 体育 ( 理 ) 文史 体育教育 ( 地方免费师范生 ) 专

省份批次科类录取专业招生数 录取 最低分 备注 艺术 音乐学 ( 地方免费师范生 ) 专业成绩 美术学 ( 地方免费师范生 ) 综合成绩 提前艺术体育本 科 提前一批本科 体育 ( 文 ) 体育 ( 理 ) 文史 体育教育 ( 地方免费师范生 ) 专 省份批次科类录取专业招生数 录取 最低分 备注 艺术 音乐学 ( 地方免费师范生 ) 31 81.1 专业成绩 美术学 ( 地方免费师范生 ) 30 593.7 综合成绩 提前艺术本 科 提前一批本科 ( 文 ) ( 理 ) 教育 ( 地方免费师范生 ) 12 67.4 专业成绩 社会指导与管理 5 67.4 专业成绩 教育 33 61.9 专业成绩 教育 ( 地方免费师范生 ) 15 68.9 专业成绩

More information

基于增强稳定组模型的移动 P2P 网络信任评估方法 作者 : 吴旭, WU Xu 作者单位 : 西安邮电大学计算机科学与技术系西安 710121; 西安交通大学计算机科学与技术系西安 710049 刊名 : 计算机学报 英文刊名 : Chinese Journal of Computers 年, 卷 ( 期 ): 2014,37(10) 本文链接 :http://d.wanfangdata.com.cn/periodical_jsjxb201410006.aspx

More information

客户端虚拟机使用说明

客户端虚拟机使用说明 Spark 客户端云主机使用手册 更新时间 2016-05-13 目录 1 集群和客户端云主机信息... 3 2 配置主机名解析... 4 3 HDFS 测试... 4 3.1 配置客户端... 4 3.2 查询 HDFS 集群信息... 4 3.3 HDFS 文件和目录操作示例... 5 4 Spark 测试... 6 4.1 启动 spark-shell... 6 4.2 示例 :Pi 估值...

More information

80 1. 芬兰教育发展联盟

80 1. 芬兰教育发展联盟 范怡红 柯丹云 : 文章从芬兰高等教育概况 教师发展政策 组织机构三个方面描述了芬兰高校教师发展的背景与概 况, 并以赫尔辛基大学为案例, 从教师发展部门 教师发展理念 教师发展项目 评估措施 奖励机制等方面进行研 究, 归纳出赫尔辛基大学及芬兰大学教师发展的特色, 为我国的大学教师发展提供参考 : 传统文化 ; 现代文化 ; 连通性 :G65 : A : 1005-9245(2012)05-0079-08

More information

nb.PDF

nb.PDF 2 3 4 5 6 51,482.10 7 8 2000 8 8697.843 2002 12 6 2 PROP 2000 10 210860 2003 1 ( ) PROP PROP (2) 1948 1983 ( ) 26, 90 9 10 11 12 13 14 (1) 2002 12 31 2001 12 31 % 312,520,919.29 70,150,996.67 345.50 79.875.142.53

More information

考试时间课程名称级人数考试地点 机械工程 17 级卓越 1 30 D-386 机械工程 17 级卓越 2 30 D-386 自动化 17 级 1 30 D-3108 自动化 17 级 2 30 D-3108 电子信息工程 17 级 1 32 C-170 电子信息工程 17 级 2 32 C-242

考试时间课程名称级人数考试地点 机械工程 17 级卓越 1 30 D-386 机械工程 17 级卓越 2 30 D-386 自动化 17 级 1 30 D-3108 自动化 17 级 2 30 D-3108 电子信息工程 17 级 1 32 C-170 电子信息工程 17 级 2 32 C-242 考试时间课程名称级人数考试地点 纺织工程 17 级 1 26 D-282 纺织工程 17 级 2 28 D-282 纺织工程 17 级 3 29 D-284 纺织工程 17 级 4 29 D-284 纺织工程 17 级 5 28 D-286 纺织工程 17 级 6 26 D-286 高分子材料与工程 17 级 1 31 C-142 非织造材料与工程 17 级 1 24 D-2108 纺织工程 17

More information

untitled

untitled http://idc.hust.edu.cn/~rxli/ 1.1 1.2 1.3 1.4 1.5 1.6 2 1.1 1.1.1 1.1.2 1.1.3 3 1.1.1 Data (0005794, 601,, 1, 1948.03.26, 01) (,,,,,) 4 1.1.1 Database DB 5 1.1.1 (DBMS) DDL ( Create, Drop, Alter) DML(

More information

合集

合集 Ver 1.0 版 本 目 录 第 一 章 当 大 数 据 遇 上 SSD 01 第 二 章 广 东 移 动 运 用 Hadoop 创 新 应 用 04 第 三 章 第 四 章 第 五 章 第 六 章 第 七 章 第 八 章 第 九 章 第 十 章 如 何 利 用 大 数 据 分 析 提 升 垃 圾 短 信 过 滤 效 果 广 东 电 信 用 大 数 据 重 构 室 内 网 优 大 数 据 提 升

More information

基于ECO的UML模型驱动的数据库应用开发1.doc

基于ECO的UML模型驱动的数据库应用开发1.doc ECO UML () Object RDBMS Mapping.Net Framework Java C# RAD DataSetOleDbConnection DataGrod RAD Client/Server RAD RAD DataReader["Spell"].ToString() AObj.XXX bug sql UML OR Mapping RAD Lazy load round trip

More information

教学输入与学习者的语言输出 温晓虹 本文从三个方面探讨了语言的输入与输出的关系 首先从理论研究的角度讨 论了从语言输入到语言输出的习得过程 实验研究表明 输入的语言素材必须被学习者所接收 即使接收了的内容也并不会自动进入中介语的体系 而是需要进一步对输入语言进行 分解 归类等分析性与综合性的处理 在语言 内化 的基础上 学习者的中介语系统才能 够不断地得到重新组合 趋于目的语 另外 学习者在语言输出前和输出时需要调节

More information

支付宝2011年 IT资产与费用预算

支付宝2011年 IT资产与费用预算 OceanBase 支 持 ACID 的 可 扩 展 关 系 数 据 库 qushan@alipay.com 2013 年 04 月 关 系 数 据 库 发 展 1970-72:E.F.Codd 数 据 库 关 系 模 式 20 世 纨 80 年 代 第 一 个 商 业 数 据 库 Oracle V2 SQL 成 为 数 据 库 行 业 标 准 可 扩 展 性 Mainframe: 小 型 机 =>

More information

Ioncube Php Encoder 8 3 Crack 4. llamaba octobre traslado General Search colony

Ioncube Php Encoder 8 3 Crack 4. llamaba octobre traslado General Search colony Ioncube Php Encoder 8 3 Crack 4 ->>->>->> DOWNLOAD 1 / 5 2 / 5 Press..the..General..Tools..category4Encrypt..and..protect..files..with..PHP..encoding,..encryption,..ob fuscation..and..licensing... 2016

More information

About Me 亚信科技 - 田毅 Spark 社区 Contributor 北京 SparkMeetup 的发起人 主要关注 SparkSQL 与 Spark Streaming

About Me 亚信科技 - 田毅 Spark 社区 Contributor 北京 SparkMeetup 的发起人 主要关注 SparkSQL 与 Spark Streaming Spark 应用案例分析 About Me 田毅 tianyi.asiainfo@gmail.com @ 亚信科技 - 田毅 Spark 社区 Contributor 北京 SparkMeetup 的发起人 主要关注 SparkSQL 与 Spark Streaming 目录 Spark 的优势和收益 Spark 与现有 Hadoop 生态的互操作性 Spark 实践分享 使用 Spark 的建议

More information

Untitled Spreadsheet

Untitled Spreadsheet 20190001001 01 职高汽车营销实习指导教师 缺考 20190001008 01 职高汽车营销实习指导教师 43.5 20190001011 01 职高汽车营销实习指导教师 70 20190002002 02 职高面点实习指导教师 67 20190002005 02 职高面点实习指导教师 62 20190002006 02 职高面点实习指导教师 62 20190002007 02 职高面点实习指导教师

More information

C++ 程序设计 告别 OJ1 - 参考答案 MASTER 2019 年 5 月 3 日 1

C++ 程序设计 告别 OJ1 - 参考答案 MASTER 2019 年 5 月 3 日 1 C++ 程序设计 告别 OJ1 - 参考答案 MASTER 2019 年 月 3 日 1 1 INPUTOUTPUT 1 InputOutput 题目描述 用 cin 输入你的姓名 ( 没有空格 ) 和年龄 ( 整数 ), 并用 cout 输出 输入输出符合以下范例 输入 master 999 输出 I am master, 999 years old. 注意 "," 后面有一个空格,"." 结束,

More information

考试研究 % 第 卷第 期 # # # # #

考试研究 % 第 卷第 期 # # # # # 张亚群! 北京大学 清华大学自主招生是在高考基础上进行自主选拔 综合评价 降分录取的招生模式 它适应了建设一流大学和培养创新人才的要求 为全面发展或具有特长的考生提供了更多的入学选择机会 两校自主选拔竞争激烈 招生范围逐年扩大 取得了一定的成效 但也存在操作复杂 成本高 忽视弱势阶层考生 特长生优势不显著等不足 需要进一步改革与完善其选拔机制! 北京大学清华大学自主招生考试!!! 张亚群 教授 博士生导师

More information

* r p . 4 6 12 3 5 7 8 9bk bm btbsbrbqbp bo bn bl [ ] [ ] [ ] [ ] [SET] 1 2 3 4 5 6 7. cmcl ck 8 9 0 bk bl bm bn bo 1 2 1 2+ - bp bq 8 2 4 6 br r bs p bt ck cl cm 3 3 . 1 2 3 4 5 6 7 8 9 bk bl bm

More information

SP_ SP_03 JAVA...6 SP_10 SQL...8 SP_ SP_ SP_ SP_ SP_ SP_ SP_ SP_04.NET...33 SP_02 C...37 SP_05

SP_ SP_03 JAVA...6 SP_10 SQL...8 SP_ SP_ SP_ SP_ SP_ SP_ SP_ SP_04.NET...33 SP_02 C...37 SP_05 1 SP_01...3 SP_03 JAVA...6 SP_10 SQL...8 SP_51...12 SP_32...15 SP_53...18 SP_20...21 SP_22...24 SP_21...27 SP_23...30 SP_04.NET...33 SP_02 C...37 SP_05 FLASH...39 SP_06...42 2 SP_01 1. 8. Excel 2. 9. PowerPoint

More information

大数据技术原理与应用

大数据技术原理与应用 NoSQL 数据库 厦门大学云计算与大数据研究中心厦门大学云计算与大数据研究中心林子雨 2015 ziyulin@xmu.edu.cn 年版 大数据知识体系型公开课 大数据概念 技术与应用 第 5 讲 NoSQL 数据库 林子雨博士 / 助理教授厦门大学计算机科学系厦门大学云计算与大数据研究中心 E-mail: ziyulin@xmu.edu.cn 主页 :http://www.cs.xmu.edu.cn/linziyu

More information

DB2 (join) SQL DB2 11 SQL DB2 SQL 9.1 DB2 DB2 ( ) SQL ( ) DB2 SQL DB2 DB2 SQL DB2 DB2 SQL DB2 ( DB2 ) DB2 DB2 DB2 SQL DB2 (1) SQL (2) S

DB2 (join) SQL DB2 11 SQL DB2 SQL 9.1 DB2 DB2 ( ) SQL ( ) DB2 SQL DB2 DB2 SQL DB2 DB2 SQL DB2 ( DB2 ) DB2 DB2 DB2 SQL DB2 (1) SQL (2) S 9 DB2 优化器 DB2 SQL select c1 c2 from ( DB2 )??? DB2?!?, no no DB2 I/O ( transrate overhead ) SQL DML (INSERT UPDATE DELETE) DB2 (access plan) DB2 (join) SQL DB2 11 SQL DB2 SQL 9.1 DB2 DB2 ( 728 747 ) SQL

More information

Microsoft Word - 11900電腦軟體設計.doc

Microsoft Word - 11900電腦軟體設計.doc 技 能 檢 定 規 範 之 一 一 九 電 腦 軟 體 行 政 院 勞 工 委 員 會 職 業 訓 練 局 編 印 軟 體 技 術 士 技 能 檢 定 規 範 目 錄 一 軟 體 技 術 士 技 能 檢 定 規 範 說 明... 1 二 丙 級 軟 體 技 術 士 技 能 檢 定 規 範... 3 三 乙 級 軟 體 技 術 士 技 能 檢 定 規 範... 5 四 甲 級 軟 體 技 術 士 技

More information

Microsoft Word - CDA LⅡ大数据分析师考试大纲(第四届).docx

Microsoft Word - CDA LⅡ大数据分析师考试大纲(第四届).docx CDA LEVELⅡ 考试大纲 CERTIFIED DATA ANALYST LEVELⅡEXAMINATION OUTLINE CDA 考试大纲是 CDA 命题组基于 CDA 数据分析师等级认证标准而设定的一套科学 详细 系统的考试纲要 考纲规定并明确了 CDA 数据分析师认证考试的具体范围 内容和知识点, 考生可按照 CDA 考试大纲进行相关知识的复习 CDA 大数据分析师考试大纲 基础理论 (

More information

站在hadoop上看hive

站在hadoop上看hive Hive 优化以及执行原理 数据平台杨新彦 2014-01-13 1. 整体架构优化 2. MR 阶段优化 3. JOB 优化 4. SQL 作业优化 5. 平台优化 开发量大 为什么要用 hive 简单 SELECT word, count(1) FROM ( select explode(split(line, \s )) AS word FROM article ) w GROUP BY word

More information

入学时间 :9 月学制 :2 年学费 : 每年 10,924 科阶段 学制 :2 个学期 /24 周学费 : 每学期 3,750 科课程 学制 :2 个学期 /24 周学费 : 每学期 3,400 Computing and Information Systems 安格利亚鲁斯金大学 ( 学士学位

入学时间 :9 月学制 :2 年学费 : 每年 10,924 科阶段 学制 :2 个学期 /24 周学费 : 每学期 3,750 科课程 学制 :2 个学期 /24 周学费 : 每学期 3,400 Computing and Information Systems 安格利亚鲁斯金大学 ( 学士学位 计算机专业 : ( 录取标准 : 修完高三 计算机专业 : 大学预科阶段 课程 : 平均成绩至少为 75%) Business Information Systems 安格利亚鲁斯金大学 ( 学士学位 ) 商业信息系统入学时间 :9 月学制 :2 年学费 : 每年 10,924 CRIC~ 1st Year CRIC~ 安格利亚鲁斯金大学 ( 大一课程 ) 计算机科学与技术雅思 :5.5 分入学时间

More information

C++ 程序设计 告别 OJ2 - 参考答案 MASTER 2019 年 5 月 3 日 1

C++ 程序设计 告别 OJ2 - 参考答案 MASTER 2019 年 5 月 3 日 1 C++ 程序设计 告别 OJ2 - 参考答案 MASTER 2019 年 5 月 3 日 1 1 TEMPLATE 1 Template 描述 使用模板函数求最大值 使用如下 main 函数对程序进行测试 int main() { double a, b; cin >> a >> b; cout c >> d; cout

More information