目录 1 安装 INTELLIJ IDEA 安装软件下载 IDEA 安装文件解压缩并移动目录配置 /etc/profile 环境变量配置 SCALA 环境启动 Int

Size: px

Start display at page:

Download "目录 1 安装 INTELLIJ IDEA 安装软件下载 IDEA 安装文件解压缩并移动目录配置 /etc/profile 环境变量配置 SCALA 环境启动 Int"

冷川牲瞿
5 years ago
Views:

1 Spark 编程模型 ( 下 ) --IDEA 搭建及开发第 1 页共 18 页

2 目录 1 安装 INTELLIJ IDEA 安装软件下载 IDEA 安装文件解压缩并移动目录配置 /etc/profile 环境变量配置 SCALA 环境启动 IntelliJ IDEA 下载 Scala 插件设置界面主题使用 IDEA 编写例子创建项目设置项目基本信息设置 Modules 配置 Library 例子 1: 直接运行编写代码编译代码运行环境配置运行结果查看例子 2: 打包运行编写代码生成打包文件运行查看结果问题解决出现 "*** is already defined as object ***" 错误第 2 页共 18 页

1 安装 IntelliJ IDEA Spark 编程模型 ( 下 ) IDEA 全称 IntelliJ IDEA, 是 java 语言开发的集成环境,IntelliJ 在业界被公认为最好的 java 开发工具之一, 尤其在智能代码助手代码自动提示重构 J2EE 支持 Ant JUnit CVS 整合代码审查创新的 GUI 设计等方面的功能可以说是超常的 IDEA 是 JetBrains

3 1 安装 IntelliJ IDEA Spark 编程模型 ( 下 ) IDEA 全称 IntelliJ IDEA, 是 java 语言开发的集成环境,IntelliJ 在业界被公认为最好的 java 开发工具之一, 尤其在智能代码助手代码自动提示重构 J2EE 支持 Ant JUnit CVS 整合代码审查创新的 GUI 设计等方面的功能可以说是超常的 IDEA 是 JetBrains 公司的产品, 这家公司总部位于捷克共和国的首都布拉格, 开发人员以严谨著称的东欧程序员为主 IDEA 每个版本提供 Community 和 Ultimate 两个版本, 如下图所示, 其中 Community 是完全免费的, 而 Ultimate 版本可以使用 30 天, 过这段时间后需要收费从安装后使用对比来看, 下载一个 Community 版本足够了 1.1 安装软件下载 IDEA 安装文件可以到 Jetbrains 官网选择最新的安装文件由于以后的练习需要在 Linux 开发 Scala 应用程序, 选择 Linux 系统 IntelliJ IDEA14, 如下图所示 : 第 3 页共 18 页

注在该系列配套资源的 install 目录下分别提供了 ideaic-14.0.2.tar.gz( 社区版 ) 和 ideaiu-14.0.2.tar.gz( 正式版 ) 安装文件, 对于 Scala 开发来说两个版本区别不大 1.1.2 解压缩并移动目录把下载的安装文件上传到目标机器, 用如下命令解压缩 IntelliJ IDEA 安装文件, 并迁移到 /app 目录下 : cd /home/hadoop/upload tar -zxf ideaiu-14.

4 注在该系列配套资源的 install 目录下分别提供了 ideaic tar.gz( 社区版 ) 和 ideaiu tar.gz( 正式版 ) 安装文件, 对于 Scala 开发来说两个版本区别不大解压缩并移动目录把下载的安装文件上传到目标机器, 用如下命令解压缩 IntelliJ IDEA 安装文件, 并迁移到 /app 目录下 : cd /home/hadoop/upload tar -zxf ideaiu tar.gz sudo mv idea-iu /app/idea-iu 配置 /etc/profile 环境变量使用如下命令打开 /etc/profile 文件 : sudo vi /etc/profile 确认 JDK 配置变量正确配置 ( 参见第 2 节 Spark 编译与部署中关于基础环境搭建介绍 ): export JAVA_HOME=/usr/lib/java/jdk1.7.0_55 第 4 页共 18 页

export PATH=$PATH:$JAVA_HOME 1.2 配置 Scala 环境 1.2.1 启动 IntelliJ IDEA 可以通过两种方式启动 IntelliJ IDEA: 到 IntelliJ IDEA 安装所在目录下, 进入 bin 目录双击 idea.sh 启动 IntelliJ IDEA; 在命令行终端中, 进入 $IDEA_HOME/bin 目录, 输入./idea.

5 export PATH=$PATH:$JAVA_HOME 1.2 配置 Scala 环境启动 IntelliJ IDEA 可以通过两种方式启动 IntelliJ IDEA: 到 IntelliJ IDEA 安装所在目录下, 进入 bin 目录双击 idea.sh 启动 IntelliJ IDEA; 在命令行终端中, 进入 $IDEA_HOME/bin 目录, 输入./idea.sh 进行启动 IDEA 初始启动目录如下,IDEA 默认情况下并没有安装 Scala 插件, 需要手动进行安装, 安装过程并不复杂, 下面将演示如何进行安装下载 Scala 插件参见上图, 在启动界面上选择 Configure-->Plugins" 选项, 然后弹出插件管理界面, 在该界面上列出了所有安装好的插件, 由于 Scala 插件没有安装, 需要点击 Install JetBrains 第 5 页共 18 页

6 plugins" 进行安装, 如下图所示 : 待安装的插件很多, 可以通过查询或者字母顺序找到 Scala 插件, 选择插件后在界面的右侧出现该插件的详细信息, 点击绿色按钮 "Install plugin 安装插件, 如下图所示 : 安装过程将出现安装进度界面, 通过该界面了解插件安装进度, 如下图所示 : 第 6 页共 18 页

3 设置界面主题从 IntelliJ IDEA12 开始起推出了 Darcula 主题的全新用户界面,

7 安装插件后, 在启动界面中选择创建新项目, 弹出的界面中将会出现 "Scala" 类型项目, 选择后将出现提示创建的项目是仅 Scala 代码项目还是 SBT 代码项目, 如下图所示 : 设置界面主题从 IntelliJ IDEA12 开始起推出了 Darcula 主题的全新用户界面, 该界面以黑色为主题风格得到很多开发人员的喜爱, 下面我们将介绍如何进行配置在主界面中选择 File 菜单, 然后选择 Setting 子菜单, 如下图所示 : 第 7 页共 18 页

8 在弹出的界面中选择 Appearance &Behavior 中 Appearance, 其中 Theme 中选择 Darcula 主题, 如下图所示 : 保存该主题重新进入, 可以看到如下图样式的开发工具, 是不是很酷! 第 8 页共 18 页

9 2 使用 IDEA 编写例子 2.1 创建项目设置项目基本信息在 IDEA 菜单栏选择 File->New Project, 出现如下界面, 选择创建 Scala 项目 : 第 9 页共 18 页

2 设置 Modules 创建该项目后, 可以看到现在还没有源文件, 只有一个存放源文件的目录 src 以及存放工程其他信息的杂项通过双击 src

10 在项目的基本信息填写项目名称项目所在位置 Project SDK 和 Scala SDK, 在这里设置项目名称为 class3, 关于 Scala SDK 的安装参见第 2 节 Spark 编译与部署下 Spark 编译安装介绍 : 设置 Modules 创建该项目后, 可以看到现在还没有源文件, 只有一个存放源文件的目录 src 以及存放工程其他信息的杂项通过双击 src 目录或者点击菜单上的项目结构图标打开项目配置界面, 如下图所示 : 在 Modules 设置界面中,src 点击右键选择新加文件夹添加 src->main->scala 目录 : 第 10 页共 18 页

11 在 Modules 设置界面中, 分别设置 main->scala 目录为 Sources 类型 : 配置 Library 选择 Library 目录, 添加 Scala SDK Library, 这里选择 scala 版本添加 Java Library, 这里选择的是在 $SPARK_HOME/lib/spark-assembly hadoop2.2.0.jar 文件, 添加完成的界面如下 : 第 11 页共 18 页

$apache.spark.sparkcontext._ import org.apache.spark.{sparkconf, SparkContext} object SogouResult{ def main(args: Array[String]) { if (args.length == 0) { System.err.$

12 2.2 例子 1: 直接运行 Spark 编程模型 ( 上 )-- 概念及 Shell 试验中使用 Spark-Shell 进行了搜狗日志的查询, 在这里我们使用 IDEA 对 Session 查询次数排行榜进行重新练习, 可以发现借助专业的开发工具可以方便快捷许多编写代码在 src->main->scala 下创建 class3 包, 在该包中添加 SogouResult 对象文件, 具体代码如下 : package class3 import org.apache.spark.sparkcontext._ import org.apache.spark.{sparkconf, SparkContext} object SogouResult{ def main(args: Array[String]) { if (args.length == 0) { System.err.println("Usage: SogouResult <file1> <file2>") System.exit(1) } val conf = new SparkConf().setAppName("SogouResult").setMaster("local") val sc = new SparkContext(conf) //session 查询次数排行榜 val rdd1 = sc.textfile(args(0)).map(_.split("\t")).filter(_.length==6) val rdd2=rdd1.map(x=>(x(1),1)).reducebykey(_+_).map(x=>(x._2,x._1)).sortbykey(false).map(x=>(x._2,x._1)) 第 12 页共 18 页

rdd2.saveastextfile(args(1)) sc.stop() } } 2.2.2 编译代码

编译, 编译结果会在 Event Log 进行提示, 如果出现异常可以根据提示进行修改 2.

13 rdd2.saveastextfile(args(1)) sc.stop() } } 编译代码代码在运行之前需要进行编译, 可以点击菜单 Build->Make Project 或者 Ctrl+F9 对代码进行编译, 编译结果会在 Event Log 进行提示, 如果出现异常可以根据提示进行修改运行环境配置 SogouResult 首次运行或点击菜单 Run->Edit Configurations 打开 " 运行 / 调试配置界面 " 第 13 页共 18 页

txt 输出结果路径 :hdfs://hadoop1:9000/class3/output2

14 运行 SogouResult 时需要输入搜狗日志文件路径和输出结果路径两个参数, 需要注意的是 HDFS 的路径参数路径需要全路径, 否则运行会报错 : 搜狗日志文件路径 : 使用上节上传的搜狗查询日志文件 hdfs://hadoop1:9000/sogou/sogouq1.txt 输出结果路径 :hdfs://hadoop1:9000/class3/output 运行结果查看启动 Spark 集群, 点击菜单 Run->Run 或者 Shift+F10 运行 SogouResult, 在运行结果窗口可以运行情况当然了如果需要观察程序运行的详细过程, 可以加入断点, 使用调试模式根据程序运行过程第 14 页共 18 页

使用如下命令查看运行结果, 该结果和上节运行的结果一致 hadoop fs -ls /class3/output2 hadoop fs -cat /class3/output2/part-00000 less 2.

$apache.spark.sparkcontext._ import org.apache.spark.{sparkconf, SparkContext} object Join{ def main(args: Array[String]) { if (args.$

15 使用如下命令查看运行结果, 该结果和上节运行的结果一致 hadoop fs -ls /class3/output2 hadoop fs -cat /class3/output2/part less 2.3 例子 2: 打包运行上个例子使用了 IDEA 直接运行结果, 在该例子中将使用 IDEA 打包程序进行执行编写代码在 class3 包中添加 Join 对象文件, 具体代码如下 : package class3 import org.apache.spark.sparkcontext._ import org.apache.spark.{sparkconf, SparkContext} object Join{ def main(args: Array[String]) { if (args.length == 0) { System.err.println("Usage: Join <file1> <file2>") System.exit(1) } 第 15 页共 18 页

$date, uuid: String, cust_id: String, lat: Float,lng: Float) case class Click (d: java.util.date, uuid: String, landing_page: Int) val reg = sc.textfile(args(0)).map(_.split("\t")).$

16 val conf = new SparkConf().setAppName("Join").setMaster("local") val sc = new SparkContext(conf) val format = new java.text.simpledateformat("yyyy-mm-dd") case class Register (d: java.util.date, uuid: String, cust_id: String, lat: Float,lng: Float) case class Click (d: java.util.date, uuid: String, landing_page: Int) val reg = sc.textfile(args(0)).map(_.split("\t")).map(r => (r(1), Register(format.parse(r(0)), r(1), r(2), r(3).tofloat, r(4).tofloat))) val clk = sc.textfile(args(1)).map(_.split("\t")).map(c => (c(1), Click(format.parse(c(0)), c(1), c(2).trim.toint))) reg.join(clk).take(2).foreach(println) sc.stop() } } 生成打包文件第一步配置打包信息在项目结构界面中选择 "Artifacts", 在右边操作界面选择绿色 "+" 号, 选择添加 JAR 包的 "From modules with dependencies" 方式, 出现如下界面, 在该界面中选择主函数入口为 Join: 第二步填写该 JAR 包名称和调整输出内容注意的是默认情况下"Output Layout" 会附带 Scala 相关的类包, 由于运行环境已经有 Scala 相关类包, 所以在这里去除这些包只保留项目的输出内容第 16 页共 18 页

第三步输出打包文件点击菜单 Build->Build Artifacts, 弹出选择动作, 选择

/home/hadoop/ideaprojects/out/artifacts/class3 cp

17 第三步输出打包文件点击菜单 Build->Build Artifacts, 弹出选择动作, 选择 Build 或者 Rebuild 动作第四步复制打包文件到 Spark 根目录下 cd /home/hadoop/ideaprojects/out/artifacts/class3 cp LearnSpark.jar /app/hadoop/spark-1.1.0/ ls /app/hadoop/spark-1.1.0/ 运行查看结果通过如下命令调用打包中的 Join 方法, 运行结果如下 : cd /app/hadoop/spark 第 17 页共 18 页

bin/spark-submit --master spark://hadoop1:7077 --class class3.

tsv hdfs://hadoop1:9000/class3/join/clk.tsv 3 问题解决 3.

is already as object SogouResult" 的错误, 出现这个错误很可能不是程序代码的问题, 很可能是使用 Scala JDK

18 bin/spark-submit --master spark://hadoop1: class class3.join --executor-memory 1g LearnSpark.jar hdfs://hadoop1:9000/class3/join/reg.tsv hdfs://hadoop1:9000/class3/join/clk.tsv 3 问题解决 3.1 出现 "*** is already defined as object ***" 错误编写好 SogouResult 后进行编译, 出现 "Sogou is already as object SogouResult" 的错误, 出现这个错误很可能不是程序代码的问题, 很可能是使用 Scala JDK 版本问题, 作者在使用 scala 遇到该问题, 换成 scala 后重新编译该问题得到解决, 需要检查两个地方配置 :Libraries 和 Global Libraries 分别修改为 scala 第 18 页共 18 页

Microsoft Word - 在VMWare-5.5+RedHat-9下建立本机QTopia-2.1.1虚拟平台a.doc

Microsoft Word - 在VMWare-5.5+RedHat-9下建立本机QTopia-2.1.1虚拟平台a.doc 在 VMWare-5.5+RedHat-9 下建立本机 QTopia-2.1.1 虚拟平台张大海 2008-5-9 一资源下载 1. 需要以下安装包 : tmake-1.13.tar.gz qtopia-free-source-2.1.1.tar.gz qt-embedded-2.3.10-free.tar.gz qt-x11-2.3.2.tar.gz qt-x11-free-3.3.4.tar.gz

目录 1 安装 INTELLIJ IDEA 安装软件 下载 IDEA 安装文件 解压缩并移动目录 配置 /etc/profile 环境变量 配置 SCALA 环境 启动 Int

目录 1 安装 INTELLIJ IDEA 安装软件下载 IDEA 安装文件解压缩并移动目录配置 /etc/profile 环境变量配置 SCALA 环境启动 Int