目录 1 HIVE 介绍 HIVE 介绍 HIVE 运行架构 HIVE 数据模型 HIVE 数据类型 HIVE 与关系数据库的区别 HIVE 搭建过程安装 MYSQL 数据库

Size: px

Start display at page:

Download "目录 1 HIVE 介绍 HIVE 介绍 HIVE 运行架构 HIVE 数据模型 HIVE 数据类型 HIVE 与关系数据库的区别 HIVE 搭建过程安装 MYSQL 数据库"

裹音磋鲁
5 years ago
Views:

1 Hive 简介及安装部署第 1 页共 28 页

2 目录 1 HIVE 介绍 HIVE 介绍 HIVE 运行架构 HIVE 数据模型 HIVE 数据类型 HIVE 与关系数据库的区别 HIVE 搭建过程安装 MYSQL 数据库下载 mysql 安装文件上传 mysql 安装文件卸载旧的 mysql 安装 mysql 设置 root 密码设置 hive 用户创建 hive 数据库安装 HIVE 下载 hive 安装文件下载 mysql 驱动上传 hive 安装文件和 mysql 驱动解压缩把 mysql 驱动放到 hive 的 lib 目录下配置 /etc/profile 环境变量设置 hive-env.sh 配置文件设置 hive-site.xml 配置文件启动并验证 HIVE 启动 Hive 在 hive 中操作问题解决设置 MYSQL 数据库 ROOT 用户密码报错 HIVE 启动, 报 COMMANDNEEDRETRYEXCEPTION 异常在 HIVE 中使用操作语言第 2 页共 28 页

3 Hive 简介及安装部署 1 Hive 介绍 1.1 Hive 介绍 Hive 是一个基于 Hadoop 的开源数据仓库工具, 用于存储和处理海量结构化数据它是 Facebook 2008 年 8 月开源的一个数据仓库框架, 提供了类似于 SQL 语法的 HQL 语句作为数据访问接口,Hive 有如下优缺点 : 优点 : 1. Hive 使用类 SQL 查询语法, 最大限度的实现了和 SQL 标准的兼容, 大大降低了传统数据分析人员学习的曲线 ; 2. 使用 JDBC 接口 /ODBC 接口, 开发人员更易开发应用 ; 3. 以 MR 作为计算引擎 HDFS 作为存储系统, 为超大数据集设计的计算 / 扩展能力 ; 4. 统一的元数据管理 (Derby MySql 等 ), 并可与 Pig Presto 等共享 ; 缺点 : 1. Hive 的 HQL 表达的能力有限, 有些复杂运算用 HQL 不易表达 ; 2. 由于 Hive 自动生成 MapReduce 作业, HQL 调优困难 ; 3. 粒度较粗, 可控性差第 3 页共 28 页

4 1.2 Hive 运行架构由上图可知,Hadoop 的 MapReduce 是 Hive 架构的根基 Hive 架构包括如下组件 :CLI (Command Line Interface) JDBC/ODBC Thrift Server WEB GUI Metastore 和 Driver(Complier Optimizer 和 Executor), 这些组件分为两大类 : 服务端组件和客户端组件服务端组件 : Driver 组件 : 该组件包括 Complier Optimizer 和 Executor, 它的作用是将 HiveQL ( 类 SQL) 语句进行解析编译优化, 生成执行计划, 然后调用底层的 MapReduce 计算框架 ; Metastore 组件 : 元数据服务组件, 这个组件存储 Hive 的元数据,Hive 的元数据存储在关系数据库里,Hive 支持的关系数据库有 Derby 和 Mysql 元数据对于 Hive 十分重要, 因此 Hive 支持把 Metastore 服务独立出来, 安装到远程的服务器集群里, 从而解耦 Hive 服务和 Metastore 服务, 保证 Hive 运行的健壮性 ; Thrift 服务 :Thrift 是 Facebook 开发的一个软件框架, 它用来进行可扩展且跨语言的服务的开发,Hive 集成了该服务, 能让不同的编程语言调用 Hive 的接口第 4 页共 28 页

客户端组件 : CLI:Command Line Interface, 命令行接口 Thrift 客户端 : 上面的架构图里没有写上 Thrift 客户端, 但是 Hive 架构的许多客户端接口是建立在 Thrift 客户端之上, 包括 JDBC 和 ODBC 接口 WEBGUI:Hive 客户端提供了一种通过网页的方式访问 Hive

5 客户端组件 : CLI:Command Line Interface, 命令行接口 Thrift 客户端 : 上面的架构图里没有写上 Thrift 客户端, 但是 Hive 架构的许多客户端接口是建立在 Thrift 客户端之上, 包括 JDBC 和 ODBC 接口 WEBGUI:Hive 客户端提供了一种通过网页的方式访问 Hive 所提供的服务这个接口对应 Hive 的 HWI 组件 (Hive Web Interface), 使用前要启动 HWI 服务 Hive 的执行流程三种部署模式 1. 单用户模式此模式连接到一个 In-Memory 的数据库 Derby, 一般用于 Unit Test 2. 多用户模式通过网络连接到一个数据库中, 是最经常使用到的模式第 5 页共 28 页

6 3. 远程服务器模式用于非 Java 客户端访问元数据库, 在服务器端启动 MetaStoreServer, 客户端利用 Thrift 协议通过 MetaStoreServer 访问元数据库 1.3 Hive 数据模型 Hive 没有专门的数据存储格式, 用户可以自由的组织 Hive 中的表, 只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据 Hive 中所有的数据都存储在 HDFS 中, 存储结构主要包括数据库文件表和视图 Hive 中包含以下数据模型 :Table 内部表,External Table 外部表,Partition 分区,Bucket 桶 Hive 默认可以直接加载文本文件, 还支持 sequence file RCFile 1. Hive 数据库类似传统数据库的 DataBase, 在第三方数据库里实际是一张表简单示例命令行 : create database test_database; 2. 内部表 Hive 的内部表与数据库中的 Table 在概念上是类似每一个 Table 在 Hive 中都有一个相应的目录存储数据例如一个表 tbinner, 它在 HDFS 中的路径为 /user/hive/warehouse/tbinner, 其中 /user/hive/warehouse 是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的数据仓库的目录, 所有的 Table 数据 ( 不包括 External Table) 都保存在这个目录中内部表删除时, 元数据与数据都会被删除内部表简单示例 : 创建数据文件 :test_inner_table.txt 创建表 :create table test_inner_table (key string); 第 6 页共 28 页

7 加载数据 :LOAD DATA LOCAL INPATH 'filepath' INTO TABLE test_inner_table; 查看数据 :select * from test_inner_table; 删除表 : drop table test_inner_table; 3. 外部表外部表指向已经在 HDFS 中存在的数据, 并可以创建 Partition 它和内部表在元数据的组织上是相同的, 而实际数据的存储则有较大的差异内部表的创建过程和数据加载过程这两个过程可以分别独立完成, 也可以在同一个语句中完成, 在加载数据的过程中, 实际数据会被移动到数据仓库目录中 ; 之后对数据对访问将会直接在数据仓库目录中完成删除表时, 表中的数据和元数据将会被同时删除而外部表只有一个过程, 加载数据和创建表同时完成 (CREATE EXTERNAL TABLE LOCATION), 实际数据是存储在 LOCATION 后面指定的 HDFS 路径中, 并不会移动到数据仓库目录中当删除一个 External Table 时, 仅删除该链接外部表简单示例 : 创建数据文件 :test_external_table.txt 创建表 :create external table test_external_table (key string); 加载数据 :LOAD DATA INPATH filepath INTO TABLE test_inner_table; 查看数据 :select * from test_external_table; 删除表 :drop table test_external_table; 4. 分区 Partition 对应于数据库中的 Partition 列的密集索引, 但是 Hive 中 Partition 的组织方式和数据库中的很不相同在 Hive 中, 表中的一个 Partition 对应于表下的一个目录, 所有的 Partition 的数据都存储在对应的目录中例如 pvs 表中包含 ds 和 city 两个 Partition, 则对应于 ds = , ctry = US 的 HDFS 子目录为 /user/hive/warehouse/pvs/ds= /ctry=us; 对应于 ds = , ctry = CA 的 HDFS 子目录为 /user/hive/warehouse/pvs/ds= /ctry=ca 分区表简单示例 : 创建数据文件 :test_partition_table.txt 创建表 :create table test_partition_table (key string) partitioned by (dt string); 加载数据 :LOAD DATA INPATH filepath INTO TABLE test_partition_table partition (dt= 2006 ); 查看数据 :select * from test_partition_table; 删除表 :drop table test_partition_table; 5. 桶 Buckets 是将表的列通过 Hash 算法进一步分解成不同的文件存储它对指定列计算 Hash, 第 7 页共 28 页

8 根据 Hash 值切分数据, 目的是为了并行, 每一个 Bucket 对应一个文件例如将 user 列分散至 32 个 bucket, 首先对 user 列的值计算 Hash, 对应 Hash 值为 0 的 HDFS 目录为 /user/hive/warehouse/pvs/ds= /ctry=us/part-00000;hash 值为 20 的 HDFS 目录为 /user/hive/warehouse/pvs/ds= /ctry=us/part 如果想应用很多的 Map 任务这样是不错的选择桶的简单示例 : 创建数据文件 :test_bucket_table.txt 创建表 :create table test_bucket_table (key string) clustered by (key) into 20 buckets; 加载数据 :LOAD DATA INPATH filepath INTO TABLE test_bucket_table; 查看数据 :select * from test_bucket_table; set hive.enforce.bucketing = true; 6. Hive 的视图视图与传统数据库的视图类似视图是只读的, 它基于的基本表, 如果改变, 数据增加不会影响视图的呈现 ; 如果删除, 会出现问题如果不指定视图的列, 会根据 select 语句后的生成示例 :create view test_view as select * from test; 1.4 Hive 数据类型 Hive 支持两种数据类型, 一类叫原子数据类型, 一类叫复杂数据类型原子数据类型包括数值型布尔型和字符串类型, 具体如下表所示 : 基本数据类型类型描述示例 TINYINT 1 个字节 (8 位 ) 有符号整数 1 SMALLINT 2 字节 (16 位 ) 有符号整数 1 INT 4 字节 (32 位 ) 有符号整数 1 BIGINT 8 字节 (64 位 ) 有符号整数 1 FLOAT 4 字节 (32 位 ) 单精度浮点数 1.0 DOUBLE 8 字节 (64 位 ) 双精度浮点数 1.0 BOOLEAN true/false true STRING 字符串 xia, xia 由上表我们看到 Hive 不支持日期类型, 在 Hive 里日期都是用字符串来表示的, 而常用的第 8 页共 28 页

日期格式转化操作则是通过自定义函数进行操作 Hive 是用 Java 开发的,Hive 里的基本数据类型和 java 的基本数据类型也是一一对应的, 除了 String 类型有符号的整数类型 :TINYINT SMALLINT INT 和 BIGINT 分别等价于 Java 的 Byte Short Int 和 Long 原子类型, 它们分别为 1 字节 2 字节 4 字节和 8

9 日期格式转化操作则是通过自定义函数进行操作 Hive 是用 Java 开发的,Hive 里的基本数据类型和 java 的基本数据类型也是一一对应的, 除了 String 类型有符号的整数类型 :TINYINT SMALLINT INT 和 BIGINT 分别等价于 Java 的 Byte Short Int 和 Long 原子类型, 它们分别为 1 字节 2 字节 4 字节和 8 字节有符号整数 Hive 的浮点数据类型 FLOAT 和 DOUBLE, 对应于 Java 的基本类型 Float 和 Double 类型而 Hive 的 BOOLEAN 类型相当于 Java 的基本数据类型 Boolean 对于 Hive 的 String 类型相当于数据库的 Varchar 类型, 该类型是一个可变的字符串, 不过它不能声明其中最多能存储多少个字符, 理论上它可以存储 2GB 的字符数复杂数据类型包括数组 (ARRAY) 映射(MAP) 和结构体 (STRUCT), 具体如下所示 : 1.5 Hive 与关系数据库的区别由于 Hive 采用了 SQL 的查询语言 HQL, 因此很容易将 Hive 理解为数据库其实从结构上来看,Hive 和数据库除了拥有类似的查询语言, 再无类似之处数据库可以用在 Online 的应用中, 但是 Hive 是为数据仓库而设计的, 清楚这一点, 有助于从应用角度理解 Hive 的特性 Hive 和数据库的比较如下表 : Hive RDBMS 查询语言 HQL SQL 数据存储 HDFS Raw Device or Local FS 数据格式用户定义系统决定数据更新不支持支持索引无有第 9 页共 28 页

10 执行 MapReduce Executor 执行延迟高低处理数据规模大小可扩展性高低 2 Hive 搭建过程 2.1 安装 MySql 数据库下载 MySql 安装文件下载地址 : 使用系统为 CentOS 选择 Red Hat Enterprise Linux/Oracle 系列 : 操作系统为 64 位, 选择对应安装包进行下载 : 下载在本地目录如下图 : 上传 MySql 安装文件把下载的 mysql 安装包, 使用 SSH Secure File Transfer 工具 ( 参见 Spark 编译与部署 ( 上 ) 第 10 页共 28 页

-- 基础环境搭建 1.3.1 介绍 ) 上传到 /home/hadoop/upload 目录下, 如下图所示 : 2.1.3 卸载旧的 MySql (1) 查找以前是否安装有 mysql 使用命令查看是否已经安装过 mysql: $rpm -qa grep -i mysql 可以看到如下图的所示 : 说明之前安装了 : MySQL-client-5.

x86_64 MySQL-server-5.x86_64 MySQL-devel-5.

11 -- 基础环境搭建介绍 ) 上传到 /home/hadoop/upload 目录下, 如下图所示 : 卸载旧的 MySql (1) 查找以前是否安装有 mysql 使用命令查看是否已经安装过 mysql: $rpm -qa grep -i mysql 可以看到如下图的所示 : 说明之前安装了 : MySQL-client el6.x86_64 MySQL-server el6.x86_64 MySQL-devel el6.x86_64 如果没有结果, 可以进行 mysql 数据库安装 (2) 停止 mysql 服务删除之前安装的 mysql 停止 mysql 服务删除之前安装的 mysql 删除命令 :rpm -e nodeps 包名 $sudo rpm -ev MySQL-server el6.x86_64 $sudo rpm -ev MySQL-devel el6.x86_64 $sudo rpm -ev MySQL-client el6.x86_64 如果存在 CentOS 自带 mysql-libs el6.x86_64 使用下面的命令卸载即可第 11 页共 28 页

12 $sudo rpm -ev --nodeps mysql-libs el6.x86_64 (3) 查找之前老版本 mysql 的目录并且删除老版本 mysql 的文件和库 $sudo find / -name mysql 删除对应的 mysql 目录 $sudo rm -rf /usr/lib64/mysql $sudo rm -rf /var/lib/mysql (4) 再次查找机器是否安装 mysql $sudo rpm -qa grep -i mysql 无结果, 说明已经卸载彻底接下来直接安装 mysql 即可安装 MySql 进入安装文件的目录, 安装 mysql 服务端 $cd /home/hadoop/upload $sudo rpm -ivh MySQL-server el6.x86_64.rpm 第 12 页共 28 页

安装 mysql 客户端 mysql-devel $sudo rpm -ivh MySQL-client-5.6.21-1.el6.x86_64.rpm $sudo rpm -ivh MySQL-devel-5.6.21-1.el6.x86_64.rpm 2.

5 下安装 mysql 设置 root 密码时, 出现如下错误 : /usr/bin/mysqladmin: connect to server at 'localhost' failed error: 'Access

13 安装 mysql 客户端 mysql-devel $sudo rpm -ivh MySQL-client el6.x86_64.rpm $sudo rpm -ivh MySQL-devel el6.x86_64.rpm 设置 root 密码在 CentOS6.5 下安装 mysql 设置 root 密码时, 出现如下错误 : /usr/bin/mysqladmin: connect to server at 'localhost' failed error: 'Access denied for user 'root'@'localhost' (using password: NO)' 可以进入安全模式进行设置 root 密码 (1) 停止 mysql 服务使用如下命令停止 mysql 服务 : $sudo service mysql stop $sudo service mysql status 第 13 页共 28 页

14 (2) 跳过验证启动 mysql 使用如下命令验证启动 mysql, 由于 & 结尾是后台运行进程, 运行该命令可以再打开命令窗口或者 Ctr+C 继续进行下步操作, 由于 mysql 启动时间会长点, 需要等待几分钟再查看启动状态 : $sudo mysqld_safe --skip-grant-tables & $sudo service mysql status (3) 跳过验证启动 MySQL 验证 mysql 服务已经在后台运行后, 执行如下语句, 其中后面三条命令是在 mysql 语句 : mysql -u root mysql>use mysql; mysql>update user set password = password('root') where user = 'root'; mysql>flush privileges; mysql>quit; (4) 跳过验证启动 MySQL 重启 mysql 服务并查看状态第 14 页共 28 页

$sudo service mysql stop $sudo service mysql start $sudo service mysql status 2.1.

15 $sudo service mysql stop $sudo service mysql start $sudo service mysql status 设置 Hive 用户进入 mysql 命令行, 创建 Hive 用户并赋予所有权限 : mysql -uroot -proot mysql>set password=password('root'); mysql>create user 'hive' identified by 'hive'; mysql>grant all on *.* TO 'hive'@'%' with grant option; mysql>flush privileges; mysql>quit; ( 注意 : 如果是 root 第一次登录数据库, 需要重新设置一下密码, 所报异常信息如下 :ERROR 1820 (HY000): You must SET PASSWORD before executing this statement) 创建 Hive 数据库使用 hive 用户登录, 创建 Hive 数据库 : mysql -uhive -phive 第 15 页共 28 页

mysql>create database hive; mysql>show databases; 2.2 安装 Hive 2.2.1 下载 Hive 安装文件可以到 Apache 基金 hive 官网 http://hive.apache.org/downloads.html, 选择镜像下载地址 :http://mirrors.cnnic.

16 mysql>create database hive; mysql>show databases; 2.2 安装 Hive 下载 Hive 安装文件可以到 Apache 基金 hive 官网选择镜像下载地址 : 下载一个稳定版本, 这里选择下载 apache-hive bin.tar.gz 文件, 如下图所示 : 下载 MySql 驱动到 mysql 官网进入下载页面 : 默认情第 16 页共 28 页

况下是 Windows 安装包, 这里需要选择 Platform Independent 版本下载 zip 格式的文件 2.

17 况下是 Windows 安装包, 这里需要选择 Platform Independent 版本下载 zip 格式的文件上传 Hive 安装文件和 MySql 驱动把下载的 hive 安装包和 mysql 驱动包, 使用 SSH Secure File Transfer 工具 ( 参见 Spark 编译与部署 ( 上 )-- 基础环境搭建介绍 ) 上传到 /home/hadoop/upload 目录下, 如下图所示 : 解压缩到上传目录下, 用如下命令解压缩 hive 安装文件 : cd /home/hadoop/upload tar -zxf hive bin.tar.gz 第 17 页共 28 页

改名并迁移到 /app/hadoop 目录下 : sudo mv apache-hive-0.13.

2.5 把 MySql 驱动放到 Hive 的 lib 目录下把下载的 hive 安装包和 mysql 驱动包, 使用 cd

18 改名并迁移到 /app/hadoop 目录下 : sudo mv apache-hive bin /app/hadoop/hive ll /app/hadoop 把 MySql 驱动放到 Hive 的 lib 目录下把下载的 hive 安装包和 mysql 驱动包, 使用 cd /home/hadoop/upload cp mysql-connector-java bin.jar /app/hadoop/hive /lib 配置 /etc/profile 环境变量使用如下命令打开 /etc/profile 文件 : sudo vi /etc/profile 设置如下参数 : export HIVE_HOME=/app/hadoop/hive export PATH=$PATH:$HIVE_HOME/bin 第 18 页共 28 页

19 export CLASSPATH=$CLASSPATH:$HIVE_HOME/bin 使配置文件生效 : source /etc/profile 设置 hive-env.sh 配置文件进入 hive /conf 目录, 复制 hive-env.sh.templaete 为 hive-env.sh: cd /app/hadoop/hive /conf cp hive-env.sh.template hive-env.sh ls 使用如下命令边界配置文件 sudo vi hive-env.sh 分别设置 HADOOP_HOME 和 HIVE_CONF_DIR 两个值 : # Set HADOOP_HOME to point to a specific hadoop install directory export HADOOP_HOME=/app/hadoop/hadoop # Hive Configuration Directory can be controlled by: export HIVE_CONF_DIR=/app/hadoop/hive /conf 第 19 页共 28 页

2.2.8 设置 hive-site.xml 配置文件复制 hive-default.xml.templaete 为 hive-site.

local</name> <value>false</value> </property> (2) 修改配置项 hive 默认为 derby 数据库,derby

20 2.2.8 设置 hive-site.xml 配置文件复制 hive-default.xml.templaete 为 hive-site.xml cp hive-default.xml.template hive-site.xml sudo vi hive-site.xml (1) 加入配置项默认 metastore 在本地, 添加配置改为非本地 <property> <name>hive.metastore.local</name> <value>false</value> </property> (2) 修改配置项 hive 默认为 derby 数据库,derby 数据只运行单个用户进行连接, 这里需要调整为 mysql 数据库 <property> <name>hive.metastore.uris</name> <value>thrift://hadoop1:9083</value> <description>thrift URI for the remote metastore....</description> 第 20 页共 28 页

21 </property> <property> <name>javax.jdo.option.connectionurl</name> <value>jdbc:mysql://hadoop1:3306/hive?=createdatabaseifnotexist=true</value> <description>jdbc connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.connectiondrivername</name> <value>com.mysql.jdbc.driver</value> <description>driver class name for a JDBC metastore</description> </property>... <property> <name>javax.jdo.option.connectionusername</name> <value>hive</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.connectionpassword</name> <value>hive</value> <description>password to use against metastore database</description> </property> 第 21 页共 28 页

3 启动并验证 Hive 2.3.1 启动 Hive 实际使用时, 一般通过后台启动 metastore 和 hiveserver 实现服务, 命令如下 :

22 把 hive.metastore.schema.verification 配置项值修改为 false <property> <name>hive.metastore.schema.verification</name> <value>false</value> <desc...> </property> 2.3 启动并验证 Hive 启动 Hive 实际使用时, 一般通过后台启动 metastore 和 hiveserver 实现服务, 命令如下 : hive --service metastore & hive --service hiveserver & 启动用通过 jps 命令可以看到两个进行运行在后台第 22 页共 28 页

23 2.3.2 在 Hive 中操作登录 hive, 在 hive 创建表并查看该表, 命令如下 : hive hive>create table test(a string, b int); hive>show tables; hive>desc test; 登录 mysql, 在 TBLS 表中查看新增 test 表 : mysql -uhive -phive mysql>use hive; mysql>select TBL_ID, CREATE_TIME, DB_ID, OWNER, TBL_NAME,TBL_TYPE from TBLS; 第 23 页共 28 页

24 3 问题解决 3.1 设置 MySql 数据库 root 用户密码报错在 CentOS6.5 下安装 mysql 设置 root 密码时, 出现如下错误 : /usr/bin/mysqladmin: connect to server at 'localhost' failed error: 'Access denied for user 'root'@'localhost' (using password: NO)' (1) 停止 mysql 服务使用如下命令停止 mysql 服务 : sudo service mysql stop sudo service mysql status (2) 跳过验证启动 mysql 使用如下命令验证启动 mysql, 由于 & 结尾是后台运行进程, 运行该命令可以再打开命令窗口或者 Ctr+C 继续进行下步操作 : mysqld_safe --skip-grant-tables & 第 24 页共 28 页

password('root') where user = 'root'; mysql>flush privileges; (4) 跳过验证启动 MySQL 重启

25 sudo service mysql status (3) 跳过验证启动 MySQL 验证 mysql 服务已经在后台运行后, 执行如下语句, 其中后面三条命令是在 mysql 语句 : mysql -u root mysql>use mysql; mysql>update user set password = password('root') where user = 'root'; mysql>flush privileges; (4) 跳过验证启动 MySQL 重启 mysql 服务并查看状态 sudo service mysql stop sudo service mysql start sudo service mysql status 第 25 页共 28 页

main(runjar.java:149) Caused by: java.lang.classnotfoundexception: org.apache.hadoop.hive.ql.commandneedretryexception at java.net.urlclassloader$1.run(urlclassloader.java:366) at java.net.urlclassloader$1.run(urlclassloader.java:355) at java.

26 3.2 Hive 启动, 报 CommandNeedRetryException 异常启动 Hive 时, 出现 CommandNeedRetryException 异常, 具体信息如下 : Exception in thread "main" java.lang.noclassdeffounderror:org/apache/hadoop/hive/ql/commandneedretryexception at java.lang.class.forname0(native Method) at java.lang.class.forname(class.java:270) at org.apache.hadoop.util.runjar.main(runjar.java:149) Caused by: java.lang.classnotfoundexception: org.apache.hadoop.hive.ql.commandneedretryexception at java.net.urlclassloader$1.run(urlclassloader.java:366) at java.net.urlclassloader$1.run(urlclassloader.java:355) at java.security.accesscontroller.doprivileged(native Method) at java.net.urlclassloader.findclass(urlclassloader.java:354) at java.lang.classloader.loadclass(classloader.java:425) at java.lang.classloader.loadclass(classloader.java:358) 由于以前使用 hadoop 时, 修改 hadoop-env.sh 的 HADOOP_CLASSPATH 配置项, 由以前的 : export HADOOP_CLASSPATH=/usr/local/hadoop-1.1.2/myclass 修改为 : export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hadoop-1.1.2/myclass 第 26 页共 28 页

3.3 在 Hive 中使用操作语言启动 Hive 后, 使用 HSQL 出现异常, 需要启动 metastore 和

27 3.3 在 Hive 中使用操作语言启动 Hive 后, 使用 HSQL 出现异常, 需要启动 metastore 和 hiveserver FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.ddltask. java.lang.runtimeexception: Unable to instantiate org.apache.hadoop.hive.metastore.hivemetastoreclient 在使用 hive 之前需要启动 metastore 和 hiveserver 服务, 通过如下命令启用 : hive --service metastore & hive --service hiveserver & 启动用通过 jps 命令可以看到两个进行运行在后台第 27 页共 28 页

28 参考资料 : (1) Hive 体系结构 (2) 大数据时代的技术 hive : hive 的数据类型和数据模型第 28 页共 28 页

规模数据的机制 Hive 定义了简单的类 SQL 查询语言, 称为 HQL, 它允许熟悉 SQL 的用户查询数据同时, 这个语言也允许熟悉 MapReduce 开发者的开发自定义的 Mapper 和 Reducer 来处理内建的 Mapper 和 Reducer 无法完成的复杂的分析工作 2.1

规模数据的机制 Hive 定义了简单的类 SQL 查询语言, 称为 HQL, 它允许熟悉 SQL 的用户查询数据同时, 这个语言也允许熟悉 MapReduce 开发者的开发自定义的 Mapper 和 Reducer 来处理内建的 Mapper 和 Reducer 无法完成的复杂的分析工作 2.1 Hive 介绍和安装部署本文版权归作者和博客园共有, 欢迎转载, 但未经作者同意必须保留此段声明, 且在文章页面明显位置给出原文连接, 博主为石山园, 博客地址为 http://www.cnblogs.com/shishanyuan 该系列课程是应邀实验楼整理编写的, 这里需要赞一下实验楼提供了学习的新方式, 可以边看博客边上机实验, 课程地址为 https://www.shiyanlou.com/courses/237

目录 1 HIVE 介绍 HIVE 介绍 HIVE 运行架构 HIVE 数据模型 HIVE 数据类型 HIVE 与关系数据库的区别 HIVE 搭建过程 安装 MYSQL 数据库

目录 1 HIVE 介绍 HIVE 介绍 HIVE 运行架构 HIVE 数据模型 HIVE 数据类型 HIVE 与关系数据库的区别 HIVE 搭建过程安装 MYSQL 数据库