b. Java 基础 (4%) c. Python 基础 (4%) d. Linux & Ubuntu 基础 (2%) PART 2 Hadoop 理论占比 (15%) a. Hadoop 安装配置及运行机制解析 (3%) b. Hadoop 分布式文件系统 (2%) c. MapReduce 理论

Size: px

Start display at page:

Download "b. Java 基础 (4%) c. Python 基础 (4%) d. Linux & Ubuntu 基础 (2%) PART 2 Hadoop 理论占比 (15%) a. Hadoop 安装配置及运行机制解析 (3%) b. Hadoop 分布式文件系统 (2%) c. MapReduce 理论"

闪詹
5 years ago
Views:

1 CDA LEVELⅡ 大数据分析师考试大纲一总则 CERTIFIED DATA ANALYST LEVEL Ⅱ EXAMINATION OUTLINE CDA 数据分析师人才行业标准是面向全行业数据分析及大数据相关岗位的一套科学化专业化正规化系统化的人才技能准则经管之家 CDA 数据分析师认证考试是评判标准化人才的唯一考核路径 CDA 考试大纲规定并明确了数据分析师认证考试的具体范围内容和知识点, 考生可按照大纲要求进行相关知识的学习, 获取技能, 成为专业人才二考试形式与试卷结构考试方式 : 线下统考, 上机答题考试题型 : 客观题 ( 单选 + 多选 ) 考试时间 :150 分钟考试成绩 : 分为 A B C D 四个层次,A B C 为通过考试,D 为不通过三知识要求针对不同知识, 掌握程度的要求分为领会熟知应用三个级别, 考生应按照不同知识要求进行学习 1. 领会 : 考生能够领会了解规定的知识点, 并能够了解规定知识点的内涵与外延, 了解其内容要点和它们之间的区别与联系, 并能做出正确的阐述解释和说明 2. 熟知 : 考生须掌握知识的要点, 并能够正确理解和记忆相关理论方法, 能够根据不同要求, 做出逻辑严密的解释说明和阐述此部分为考试的重点部分 3. 应用 : 考生须学会将知识点落地实践, 并能够结合相关工具进行商业应用, 能够根据具体要求, 给出问题的具体实施流程和策略四考试范围 PART 1 大数据基础理论占比 (12%) a. 数据分析基础 (2%) 第 1 页, 共 15 页

2 b. Java 基础 (4%) c. Python 基础 (4%) d. Linux & Ubuntu 基础 (2%) PART 2 Hadoop 理论占比 (15%) a. Hadoop 安装配置及运行机制解析 (3%) b. Hadoop 分布式文件系统 (2%) c. MapReduce 理论及实战 (8%) d. Hadoop 生态环境简介 (2%) PART 3 大数据分析之数据库理论及工具占比 (16%) a. 数据库导论 (2%) b. MySQL 理论及实战 (3%) c. Sqoop 安装及应用 (3%) d. Hive 安装部署及应用 (5%) e. HBase 理论及实战 (3%) PART 4 大数据分析之数据挖掘理论占比 (10%) a. 数据挖掘的基本思想 (2%) b. 数据挖掘之聚类算法 (3%) c. 数据挖掘之分类算法 (2%) d. 数据挖掘之主题推荐 (3%) PART 5 大数据分析之 Mahout 工具及实战占比 (7%) a. Mahout 之聚类及实战 (2%) b. Mahout 之分类及实战 (3%) c. Mahout 之推荐系统及实战 (2%) PART 6 大数据分析之 Spark 工具及实战占比 (35%) a. Spark 基础理论 (8%) b. Spark 作业调度策略 (2%) c. 实时数据流处理框架 Spark Streaming(3%) d. 交互式数据查询框架 Spark SQL(5%) e. 数据挖掘框架 Spark MLlib(10%) 第 2 页, 共 15 页

3 f. 图计算框架 Spark GraphX(7%) PART 7 大数据分析之数据可视化方法占比 (5%) a. 数据可视化基本原则 (1%) b. 制图工具 Echarts 基本使用方法 (2%) c. BI 工具 Tableau 永洪 BI 的基本使用方法 (2%) 五考试内容 PART 1 大数据基础理论 1 数据分析基础领会数据分析和数据挖掘的概念数据描述性统计分析抽样参数估计和假设检验的基础知识方差分析和回归分析的基础知识熟知明确数据分析的目标和意义数据分析方法与数据挖掘方法的区别和联系明确数据分析中不同人员的角色与职责衡量数据集中趋势离中趋势和数据分布的常用指标及计算方法 P 值检验的原理方差分析和回归分析的应用前提应用根据不同数据类型选用不同的统计指标来进行数据的集中趋势离中趋势和数据分布的衡量, 方差分析和回归分析的实现 2 Java 基础领会 Java 编程语言的主要特性 Java 虚拟机的主要功能熟知第 3 页, 共 15 页

4 Java 基础语法流程控制与数组 Java 常用类库面向对象编程异常处理和 IO 操作 3 Python 基础领会 Python 语言的特点语法应用场景熟知 Python 基础语法基本数据类型运算符条件控制语句循环语句函数类模块文件操作数据库连接异常处理等 Python 可视化常用包及其基本使用方法 Python 网络爬虫 4 Linux 与 Ubuntu 基础领会 Linux 入门 Linux 与 Ubuntu 的关系 Ubuntu 的安装及配置 Ubuntu 文件组织形式 Ubuntu 操作系统的常用命令 SSH 理论基础了解其他常用 Linux 系统, 如 CentOS,RedHat,SUSE 等熟知 Ubuntu 操作系统命令及使用命令编辑文件 IP 地址的基础理论 SSH 命令使用方法利用 SSH 基于密匙的安全验证进行多个节点间的无密码登陆应用安装配置 Linux 操作系统利用 SSH 基于密匙的安全验证进行多个节点间的无密码登陆掌握部分 shell 命令进行 Linux 操作, 如 awk grep sed 典型的文本处理工具第 4 页, 共 15 页

5 PART 2 Hadoop 理论 1 Hadoop 安装配置及运行机制解析领会分布式系统设计的基本思想 Hadoop 概念版本历史 Hadoop 单机伪分布及集群模式的安装配置步骤如何通过命令行和浏览器观察 Hadoop 的运行状态熟知 Hadoop 单机伪分布及集群模式的安装配置过程和内容 Hadoop 参数格式 Hadoop 参数的修改与优化 Hadoop 的安全模式应用进行 Hadoop 集群的配置查看和管理 Hadoop 集群 Hadoop 运行的日志信息查看与分析 2 Hadoop 分布式文件系统领会 HDFS 的概念及设计 HDFS 体系结构及运行机制, NameNode DataNode SecondaryNameNode 的作用及运行机制 HDFS 的备份机制和文件管理机制熟知 HDFS 的运行机制 NameNode DataNode SecondaryNameNode 的配置文件 HDFS 文件系统的常用命令应用使用命令及 Java 语句操作 HDFS 中的文件使用 JPS 查看 NameNode DataNode SecondaryNameNode 的运行状态 3 MapReduce 理论及实战第 5 页, 共 15 页

6 领会 MapReduce 的概念及设计 MapReduce 运行过程中类的调用过程 Mapper 类和 Reducer 类的继承机制 job 的生命周期 MapReduce 中 block 的调度及作业分配机制熟知 MapReduce 程序编写的主要内容 MapReduce 程序提交的执行过程 MapReduce 程序在浏览器的查看应用 Mapper 类和 Reducer 类的主要编写内容和模式 job 的实现和编写编写基于 MapReduce 模型的 wordcount 程序相应 jar 包的打包和集群运行 4 Hadoop 生态环境领会 ZooKeeper 的基本功能结构熟知 ZooKeeper 的安装配置参数及常用命令应用 ZooKeeper 的安装运行 PART 3 大数据分析之数据库理论及工具 1 数据库导论领会数据数据库数据库管理系统数据库系统数据仓库的概念数据管理发展的三个阶段, 不同阶段数据管理的特点, 特别是数据库系统的特点数据依赖及数据规范化理论数据模型理论及方法熟知第 6 页, 共 15 页

7 SQL 的基本概念和特点 SQL 的数据定义功能 SQL 的数据查询功能 CRUD 操作 SQL 的数据更新功能不同 NoSQL 数据库的特点及使用场合 2 MySQL 理论及实战领会数据库表索引和视图的相关概念数据库完整性约束的概念定义及使用方法数据库表索引和视图的维护方法熟知 MySQL 中 SELECT 命令的基本格式掌握单表查询的方法和技巧掌握多表连接查询的方法和技巧掌握嵌套查询集合查询的方法和技巧应用 MySQL 平台下的 SQL 交互操作 3 Hive 数据仓库基础领会 Hive 数据仓库在 Hadoop 生态系统中的地位熟知 Hive 与 HBase 的区别应用使用 Hive 进行频率统计 4 Hive 的基本命令领会 Hive 中的数据库概念修改数据库熟知创建表管理表外部表分区表删除表第 7 页, 共 15 页

8 应用向表中增加数据通过查询语句向表中插入数据单个查询语句中创建表并加载数据导出数据 5 Hive 中检索数据领会 Hive 中的命令语句是类 SQL 语句熟知 SELECT FROM 语句应用使用列值进行计算算术运算符使用函数列别名嵌套 SELECT 语句 WHERE 语句 group by 语句集合运算多表连接内连接外连接笛卡尔积连接 order by 语句抽样查询视图 6 Sqoop 基础领会 Sqoop 是一个数据转储工具, 它能够将 Hadoop HDFS 中的数据转储到关系型数据库中, 也能将关系型数据库中的数据转储到 HDFS 中熟知 Sqoop 链接数据库需要 JDBC 的支持应用 Sqoop 的安装方法从 Hadoop HDFS 向 MySQL 导入数据从 MySQL 向 Hadoop HDFS 导入数据 7 HBase 理论及实战领会 HBase 的基础概念数据模型存储模型 HBase 集群配置参数分析 HBase 集群查看方式熟知第 8 页, 共 15 页

9 HBase shell 常用的操作命令 HBase 的参数配置 HBase 的每个数据单元的操作方式区域服务器 (Region Server) 和主服务器 (Master Server) 的管理模式 HBase 的存储模式应用 HBase 的伪分布和集群的安装及配置 HBase 的 API 操作项目实战 PART 4 大数据分析之数据挖掘理论 1 数据挖掘概述领会数据挖掘的基本思想数据挖掘的概念熟知数据挖掘的常用算法数据挖掘的过程数据挖掘的常用工具及数据挖掘的应用场景 2 数据挖掘之聚类算法领会聚类算法概述常用的聚类算法熟知类与类之间的距离点与点之间的距离聚类的有效性函数层次聚类快速聚类 K-Means 聚类 Canopy 聚类等算法的原理和思想应用能使用 Python 语言对常用聚类算法进行数据分析 3 数据挖掘之分类算法第 9 页, 共 15 页

10 领会分类算法概述常用的分类算法分类中的训练样本测试样本特征变量目标变量等常用术语熟知 AUC TPR TNR ROC 曲线等分类算法模型性能评估指标朴素贝叶斯 Logistic 回归决策树随机森林分类算法的原理和思想应用能使用 Python 语言对常用分类算法进行数据分析 4 数据挖掘之推荐算法领会推荐算法概述常用的推荐算法熟知欧几里德距离皮尔逊相关系数余弦相似性等计算物品和内容相似性的方法 TF-IDF 统计方法基于内容的推荐算法的原理和思想基于关联规则的推荐算法的原理和思想协同过滤推荐算法 ( 基于物品基于用户 ALS-WR) 的原理和思想应用能使用 Python 语言对常用推荐算法进行数据分析 PART 5 大数据分析之 Mahout 工具及实战 1 大数据分析工具之 Mahout 熟知 Mahout 常用的聚类算法命令及各命令的参数各个参数的使用场景 Mahout 核心组件应用 Mahout 大数据分析工具在 Hadoop 上安装配置第 10 页, 共 15 页

11 2 Mahout 之聚类及实战领会 K-Means Canopy 算法 MapReduce 实现原理及过程熟知 K-Means Canopy 算法的实现过程结果查看命令各种算法在 Mahout 中执行的命令及参数调整应用使用 Mahout 大数据分析工具进行聚类算法实战 3 Mahout 之分类及实战熟知 Mahout 常用的分类算法命令及各命令的参数各个参数的使用场景应用使用 Mahout 大数据分析工具进行朴素贝叶斯 Logistic 回归决策树随机森林等算法结果分析使用 Mahout 大数据分析工具进行分类算法实战 4 Mahout 之推荐及实战熟知 Mahout 常用的推荐算法命令及各命令的参数各个参数的使用场景应用使用 Mahout 大数据分析工具进行基于内容的推荐算法基于关联规则的推荐算法协同过滤推荐算法 ( 基于物品的协同过滤算法基于用户的协同过滤算法 ALS-WR 算法 ) 进行个性化推荐, 推荐结果的实际应用分析 PART 6 大数据分析之 Spark 工具及实战 1 Spark 基础理论领会 Spark 大数据生态系统的功能与结构 Spark Hadoop 之间的区别与联系 Spark 大数据生态系统的特点第 11 页, 共 15 页

12 Scala 基本语法熟知 Spark 生态系统中的四大核心组件 Spark 与 MapReduce 的对比与分析 Spark 与 MapReduce 适用的应用场景 Spark 的多种运行模式应用熟练掌握 Standalone 模式下 Spark 集群的搭建步骤配置文件中参数的具体含义 2 Spark RDD 与内核领会 Spark RDD 基本概念 Spark API Spark 任务调度策略熟知 Spark RDD 的特性 RDD 上的转换操作执行操作持久化操作 RDD 之间的宽依赖关系与窄依赖关系应用基于 Spark API 编写词频统计程序, 并在词频统计程序基础上进行功能扩展, SparkContext TaskScheduler DAGScheduler 等核心代码的分析与调试 3 实时数据流处理框架 Spark Streaming 领会 Kafka 分布式消息分发机制 Spark Streaming 应用场景 Spark Streaming 基本概念 Spark DStream 的存储级别熟知批处理间隔离散数据流 Spark DSteam 窗口滑动间隔窗口间隔等重要概念熟练使用 Spark DSteam 的相关操作第 12 页, 共 15 页

13 Spark Streaming 的三种应用模式, 以及实现三种模式的相关操作应用搭建 Kafka 环境, 能够将 Kafka 作为高级数据源时使用 Spark Streaming, 基于 HDFS 上文本数据创建 Spark DStream, 并利用相关操作进行数据分析, 基于网络中实时数据创建 Spark DStream, 并结合窗口等概念和相关操作进行数据分析, 基于无状态模式处理 HDFS 上的文本数据, 基于 stateful 与 window 模式处理网络实时数据 4 交互式数据查询框架 Spark SQL 领会 Spark SQL 的发展历程 Spark SQL 的性能 Spark SQL Hive Shark 之间的联系 Spark SQL 的应用场景 hive/console 的安装过程与基本原理熟知基于 Hadoop 搭建 Spark SQL 的测试环境掌握 LogicalPlan SqlParser Analyzer Optimizer 等组件 SchemaRDD 的基本概念与相关操作不同数据源的运行计划不同查询的运行计划查询优化策略应用 HiveContext 与 SQLContext 的基础应用, 利用 Spark SQL 对 JSON 文件 Parquet 文件以及 Hive 上的数据进行交互式查询 5 数据分析框架 Spark MLlib 领会 Spark MLlib 的基本框架与原理 Spark MLlib 目前支持的三种常见数据挖掘问题 ( 分类聚类和协同过滤 ) 熟知 Spark MLlib 中的矩阵向量运算库 jblas Spark MLlib 中的梯度下降算法第 13 页, 共 15 页

14 应用 LinearRegressionWithSGD 源码分析与调试 Spark MLlib 中协同过滤算法的源码分析与调试 Spark MLlib 中 K-Means 算法源码中的相关参数 K-Means 源码分析与调试从源码角度分析并掌握 K-Means 的重要步骤 6 图计算框架 Spark GrapX 领会 Spark GraphX 简介 Spark GraphX GraphLab Pregel 的联系与区别 Spark GraphX 中表视图与图视图的两种数据的转换图论基本概念熟知 Spark GraphX 中数据的主要表示形式图的存储模型 Spark GraphX 提供的切分策略图的构建操作图的属性操作图的结构操作应用 Spark GraphX 源码分析与调试基于 Pregel 的 API 实现图的 PageRank 和最短路径算法 PART 7 大数据分析之数据可视化方法 1 数据可视化基本原则领会数据可视化应用场景常用数据可视化工具 2 制图工具 Echarts 基本使用方法领会第 14 页, 共 15 页

15 Echarts 不同类型图形使用情景熟知 Echart 中基本图形绘制方法, 即条形图柱状图饼图等图形绘制方法了解绘图常用参数含义, 能够通过简单调参优化图形显示效果 3 BI 工具 Tableau 永洪 BI 的基本使用方法领会商业智能软件在数据分析中的使用场景 Tableau 工具和永洪 BI 与 MySQL 数据库 Hadoop 集群连接方法了解 Tableau 可视化常见应用场景熟知使用 Tableau 永洪 BI 进行数据展示, 并生成大数据分析报告使用 Tableau 永洪 BI Python 进行数据的发布和共享使用仪表盘建立动作使用预测趋势线参数表计算等功能进行高级分析六推荐学习书目说明 : 推荐学习书目中考生可根据自身需求选择性学习参考书目不需全部学完, 根据考纲知识点进行针对性学习即可 [1] 经管之家. CDA 数据分析师考试辅导手册 ( 电子版 ) [2] Jonathan R. Owens, Jon Lentz, Brian Femiano. Hadoop 实战手册 [M]. 人民邮电出版社,2014. [3] 王雨竹, 高飞. MySQL 入门经典 [M]. 机械工业出版社,2013. [4] Sean Owen,Robin Anil,Ted Dunning,Ellen Friedman. Mahout 实战 [M]. 人民邮电出版社, [5] 经管之家, 董轶群. Spark 大数据分析技术与实战 [M]. 电子工业出版社,2017. CDA LEVELⅡ 大数据分析师考试大纲最终解释权归经管之家 CDA 数据分析研究院所有 CDA Institute 经管之家 CDA 数据分析研究院第 15 页, 共 15 页

Microsoft Word - CDA LⅡ大数据分析师考试大纲（第四届）.docx

Microsoft Word - CDA LⅡ大数据分析师考试大纲（第四届）.docx CDA LEVELⅡ 考试大纲 CERTIFIED DATA ANALYST LEVELⅡEXAMINATION OUTLINE CDA 考试大纲是 CDA 命题组基于 CDA 数据分析师等级认证标准而设定的一套科学详细系统的考试纲要考纲规定并明确了 CDA 数据分析师认证考试的具体范围内容和知识点, 考生可按照 CDA 考试大纲进行相关知识的复习 CDA 大数据分析师考试大纲基础理论 (