客户端虚拟机使用说明

Size: px

Start display at page:

Download "客户端虚拟机使用说明"

耄栋
5 years ago
Views:

1 Spark 客户端云主机使用手册更新时间

2 目录 1 集群和客户端云主机信息配置主机名解析 HDFS 测试配置客户端查询 HDFS 集群信息 HDFS 文件和目录操作示例 Spark 测试启动 spark-shell 示例 :Pi 估值示例 : 单词计数示例 :SparkSQL Web UI 页面查看... 7

集群和客户端云主机信息在 Spark 列表页面的客户端一栏, 您可以看到客户端云主机的名称 :

3 在创建 Spark 集群时, 您可以同时创建客户端云主机 ( 如果您还没有这样的云主机 ), 该云主机运行着 CentOS 7 系统, 其中已经安装了 JDK Hadoop 和 Spark, 本文将演示如何通过该云主机进行一些基本的验证和操作 1 集群和客户端云主机信息在 Spark 列表页面的客户端一栏, 您可以看到客户端云主机的名称 : 点击该名称即可进入客户端云主机详情页面 : 您可以像管理普通云主机那样管理该客户端主机点击 Spark 列表中的集群 ID, 页面将会显示集群的详情信息, 这里有节点列表信息 :

4 其中, 名称一列是各个节点的主机名, 相关信息 : 主机主机名私有网络 IP 地址 Spark Master 节点 spark master Hadoop NameNode 节点 spark namenode 客户端主机 host 说明本文中的示例是使用 root 账号在客户端主机上进行操作的 2 配置主机名解析我们目前尚未提供内网域名解析服务, 在进行操作之前, 您需要先在客户端主机配置一下各个节点的主机名解析在客户端主机的 /etc/hosts 文件中追加客户端主机 Hadoop NameNode 和 Spark Master 节点的主机名解析记录 : /etc/hosts host spark namenode spark master HDFS 测试客户端云主机上已经安装了 Hadoop, 安装目录为 /opt/hadoop, 您可以使用 Hadoop 客户端连接到 HDFS 集群进行操作 3.1 配置客户端修改客户端主机上 /opt/hadoop/etc/hadoop/core-site.xml 文件, 替换为如下内容 : /opt/hadoop/etc/hadoop/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://spark namenode-001:8020</value> </property> </configuration> 注意我们提供的 HDFS 服务的端口为查询 HDFS 集群信息您可以使用 hdfs 命令来查询 HDFS 集群各节点的信息, 示例如下 : # /opt/hadoop/bin/hdfs dfsadmin -report Configured Capacity: ( GB) Present Capacity: ( GB) DFS Remaining: ( GB) DFS Used: (32 KB) Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 Missing blocks (with replication factor 1):

5 Live datanodes (4): Name: :50010 ( ) Hostname: spark worker-003.localdomain Decommission Status : Normal Configured Capacity: (49.98 GB) DFS Used: 8192 (8 KB) Non DFS Used: (32.21 MB) DFS Remaining: (49.94 GB) DFS Remaining%: 99.94% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: % Cache Remaining%: 0.00% Xceivers: 1 Last contact: Fri May 13 10:54:42 CST 2016 Name: :50010 ( ) Hostname: spark worker-001.localdomain Decommission Status : Normal Configured Capacity: (49.98 GB) DFS Used: 8192 (8 KB) Non DFS Used: (32.21 MB) DFS Remaining: (49.94 GB) DFS Remaining%: 99.94% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: % Cache Remaining%: 0.00% Xceivers: 1 Last contact: Fri May 13 10:54:43 CST 2016 Name: :50010 ( ) Hostname: spark worker-004.localdomain Decommission Status : Normal Configured Capacity: (49.98 GB) DFS Used: 8192 (8 KB) Non DFS Used: (32.21 MB) DFS Remaining: (49.94 GB) DFS Remaining%: 99.94% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: % Cache Remaining%: 0.00% Xceivers: 1 Last contact: Fri May 13 10:54:42 CST 2016 Name: :50010 ( ) Hostname: spark worker-002.localdomain Decommission Status : Normal Configured Capacity: (49.98 GB) DFS Used: 8192 (8 KB) Non DFS Used: (32.21 MB) DFS Remaining: (49.94 GB) DFS Remaining%: 99.94% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: % Cache Remaining%: 0.00% Xceivers: 1 Last contact: Fri May 13 10:54:42 CST HDFS 文件和目录操作示例

6 说明以下操作使用的是 root 账号以下是一些基本操作示例在 HDFS 的根目录下创建一个 data 目录 : # /opt/hadoop/bin/hadoop fs -mkdir /data 可以上传文件到 HDFS 文件系统, 我们将 Spark 目录中的 README.md 文件上传到 HDFS 中刚创建的 /data 目录 : # /opt/hadoop/bin/hadoop fs -put /opt/spark/readme.md /data/ 可以查看相关的信息 : # /opt/hadoop/bin/hadoop fs -ls /data Found 1 items -rw-r--r-- 3 root supergroup :57 /data/readme.md 4 Spark 测试客户端云主机的 Spark 服务安装目录为 /opt/spark, 您可以在 /opt/spark/release 中查询相关的版本信息 4.1 启动 spark-shell 使用如下命令启动 Spark 交互式控制台 : # /opt/spark/bin/spark-shell --master spark://spark master-001:7077 启动过程会显示一系列日志, 成功以后, 会显示 : scala> 注意这里需要使用 Spark Master 节点主机名, 不能使用 IP 地址, 否则启动过程中会报错接下来就可以直接输入命令了, 下面的示例来自 Spark 的官方文档 4.2 示例 :Pi 估值过程演示如下 : scala> val NUM_SAMPLES = NUM_SAMPLES: Int = scala> val count = sc.parallelize(1 to NUM_SAMPLES).map{i => val x = Math.random() val y = Math.random() if (x*x + y*y < 1) 1 else 0 }.reduce(_ + _) count: Int = scala> println("pi is roughly " * count / NUM_SAMPLES) Pi is roughly 说明这段代码每次计算的 Pi 估值会稍有区别

7 4.3 示例 : 单词计数参考前面 HDFS 测试小节, 在 HDFS 中先创建好 /data 目录, 然后上传一个 README.md 文件到该目录, 下面的示例统计文件里面的单词数量 : scala> val lines = sc.textfile("hdfs://spark namenode-001:8020/data/readme.md") lines: org.apache.spark.rdd.rdd[string] = MapPartitionsRDD[1] at textfile at <console>:21 scala> lines.flatmap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).count() res0: Long = 268 注意这里使用的是 8020 接口 4.4 示例 :SparkSQL 执行过程 : scala> val sqlcontext = new org.apache.spark.sql.sqlcontext(sc) sqlcontext: org.apache.spark.sql.sqlcontext = org.apache.spark.sql.sqlcontext@ae59abe scala> val df = sqlcontext.read.json("/opt/spark/examples/src/main/resources/people.json") df: org.apache.spark.sql.dataframe = [age: bigint, name: string] scala> df.show() age name null Michael 30 Andy 19 Justin scala> df.printschema() root -- age: long (nullable = true) -- name: string (nullable = true) scala> df.groupby("age").count().show() age count null Web UI 页面查看 HDFS 和 Spark 本身都有提供 Web UI 页面, 展示系统的一些状态信息由于 Spark 集群是部署在内网中的, 您需要将集群所在的私有网络连接到一个路由器并在路由器上配置端口转发才可以访问到该页面说明即便是这样, 还是有限制的, 比如点击 Spark Master 节点 Web UI 页面上的 Worker 节点链接, 并不能够正确的跳转, 因为链接里面的地址是无法从公网访问的服务 HDFS Spark Web UI 入口 NameNode IP>: Master IP>:8080

8 当运行 Spark 应用时, 会启动相应的 Driver Driver 可能在客户端主机上运行, 也可能在 Spark 集群中的某个节点运行每个 Driver 在运行期间都会提供一个 Web UI 入口,IP 是 Driver 所在主机 IP 地址, 端口是 4040( 或者 4041, 4042,..., 如果前面的端口已经被占用 ), 您可以通过该入口来查看应用执行的信息

口行政管理部门进行安全条件审查未经安全条件审查通过, 港口建设项目不得开工建设第六条交通运输部指导监督全国港口建设项目安全条件审查工作国务院国家发展改革委

口行政管理部门进行安全条件审查未经安全条件审查通过, 港口建设项目不得开工建设第六条交通运输部指导监督全国港口建设项目安全条件审查工作国务院国家发展改革委港口危险货物安全管理规定 (2012 年 12 月 11 日交通运输部令第 9 号公布自 2013 年 2 月 1 日起施行 ) 第一章总则第一条为加强港口危险货物管理, 预防和减少危险货物事故, 保障人民生命财产安全, 保护环境, 根据中华人民共和国港