Hive几种数据导入方式

Size: px

Start display at page:

Download "Hive几种数据导入方式"

歙浪芒
5 years ago
Views:

1 写在前面的话, 学 Hive 这么久了, 发现目前国内还没有一本完整的介绍 Hive 的书籍, 而且互联网上面的资料很乱, 于是我决定写一些关于 Hive 的那些事序列文章, 分享给大家我会在接下来的时间整理有关 Hive 的资料, 如果对 Hive 的东西感兴趣, 请关注本博客好久没写 Hive 的那些事了, 今天开始写点吧今天的话题是总结 Hive 的几种常见的数据导入方式, 我总结为四种 : 从本地文件系统中导入数据到 Hive 表 ; 从 HDFS 上导入数据到 Hive 表 ; 从别的表中查询出相应的数据并导入到 Hive 表中 ; 在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中我会对每一种数据的导入进行实际的操作, 因为纯粹的文字让人看起来很枯燥, 而且学起来也很抽象好了, 开始操作! 一从本地文件系统中导入数据到 Hive 表先在 Hive 里面创建好表, 如下 : hive> create table wyp > (id int, name string, > age int, tel string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE; Time taken: seconds 这个表很简单, 只有四个字段, 具体含义我就不解释了本地文件系统里面有个 /home/wyp/wyp.txt 文件, 内容如下 : [wyp@master ~]$ cat wyp.txt 1 wyp test zs / 7

2 wyp.txt 文件中的数据列之间是使用 \t 分割的, 可以通过下面的语句将这个文件里面的数据导入到 wyp 表里面, 操作如下 : hive> load data local inpath 'wyp.txt' into table wyp; Copying data from file:/home/wyp/wyp.txt Copying file: file:/home/wyp/wyp.txt Loading data to table default.wyp Table default.wyp stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 67] Time taken: seconds 这样就将 wyp.txt 里面的内容导入到 wyp 表里面去了 ( 关于这里面的执行过程大家可以参见本博客的 Hive 表与外部表 ), 可以到 wyp 表的数据目录下查看, 如下命令 : hive> dfs -ls /user/hive/warehouse/wyp ; Found 1 items -rw-r--r--3 wyp supergroup :23 /hive/warehouse/wyp/wyp.txt 数据的确导入到 wyp 表里面去了和我们熟悉的关系型数据库不一样,Hive 现在还不支持在 insert 语句里面直接给出一组记录的文字形式, 也就是说,Hive 并不支持 INSERT INTO... VALUES 形式的语句二 HDFS 上导入数据到 Hive 表从本地文件系统中将数据导入到 Hive 表的过程中, 其实是先将数据临时复制到 HDFS 的一个目录下 ( 典型的情况是复制到上传用户的 HDFS home 目录下, 比如 /home/wyp/), 然后再将数据从那个临时目录下移动 ( 注意, 这里说的是移动, 不是复制!) 到对应的 Hive 表的数据目录里面既然如此, 那么 Hive 肯定支持将数据直接从 HDFS 上的一个目录移动到相应 Hive 表的数据目录下, 假设有下面这个文件 /home/wyp/add.txt, 具体的操作如下 : [wyp@master /home/q/hadoop-2.2.0]$ bin/hadoop fs -cat /home/wyp/add.txt 5 wyp wyp wyp wyp / 7

3 上面是需要插入数据的内容, 这个文件是存放在 HDFS 上 /home/wyp 目录 ( 和一中提到的不同, 一中提到的文件是存放在本地文件系统上 ) 里面, 我们可以通过下面的命令将这个文件里面的内容导入到 Hive 表中, 具体操作如下 : hive> load data inpath '/home/wyp/add.txt' into table wyp; Loading data to table default.wyp Table default.wyp stats: [num_partitions: 0, num_files: 2, num_rows: 0, total_size: 215] Time taken: 0.47 seconds hive> select * from wyp; 5 wyp wyp wyp wyp wyp test zs Time taken: seconds, Fetched: 7 row(s) 从上面的执行结果我们可以看到, 数据的确导入到 wyp 表中了! 请注意 load data inpath '/home/wyp/add.txt' into table wyp; 里面是没有 local 这个单词的, 这个是和一中的区别三从别的表中查询出相应的数据并导入到 Hive 表中假设 Hive 中有 test 表, 其建表语句如下所示 : hive> create table test( > id int, name string >,tel string) > partitioned by > (age int) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE; 3 / 7

4 Time taken: seconds 大体和 wyp 表的建表语句类似, 只不过 test 表里面用 age 作为了分区字段 ( 关于什么是分区字段, 请参见本博客的 Hive 的数据存储模式中的介绍, 其详细的介绍本博客将会在接下来的时间内介绍, 请关注本博客!) 下面语句就是将 wyp 表中的查询结果并插入到 test 表中 : hive> insert into table test > partition (age='25') > select id, name, tel 这里输出了一堆 Mapreduce 任务信息, 这里省略 Total MapReduce CPU Time Spent: 1 seconds 310 msec Time taken: seconds hive> select * from test; 5 wyp wyp wyp wyp wyp test zs Time taken: seconds, Fetched: 7 row(s) 通过上面的输出, 我们可以看到从 wyp 表中查询出来的东西已经成功插入到 test 表中去了! 如果目标表 (test) 中不存在分区字段, 可以去掉 partition (age='25') 语句当然, 我们也可以在 select 语句里面通过使用分区值来动态指明分区 : hive> set hive.exec.dynamic.partition.mode=nonstrict; hive> insert into table test > partition (age) > select id, name, > tel, age 4 / 7

5 这里输出了一堆 Mapreduce 任务信息, 这里省略 Total MapReduce CPU Time Spent: 1 seconds 510 msec Time taken: seconds hive> select * from test; 5 wyp wyp wyp wyp wyp test zs Time taken: seconds, Fetched: 7 row(s) 这种方法叫做动态分区插入, 但是 Hive 中默认是关闭的, 所以在使用前需要先把 hive.exec.dynam ic.partition.mode 设置为 nonstrict 当然,Hive 也支持 insert overwrite 方式来插入数据, 从字面我们就可以看出,overwrite 是覆盖的意思, 是的, 执行完这条语句的时候, 相应数据目录下的数据将会被覆盖! 而 insert into 则不会, 注意两者之间的区别例子如下 : hive> insert overwrite table test > PARTITION (age) > select id, name, tel, age 更可喜的是,Hive 还支持多表插入, 什么意思呢? 在 Hive 中, 我们可以把 insert 语句倒过来, 把 fr om 放在最前面, 它的执行效果和放在后面是一样的, 如下 : hive> show create table test3; CREATE TABLE test3( id int, name string) 5 / 7

6 Time taken: seconds, Fetched: 18 row(s) hive> from wyp > insert into table test > partition(age) > select id, name, tel, age > insert into table test3 > select id, name > where age>25; hive> select * from test3; 8 wyp4 2 test 3 zs Time taken: seconds, Fetched: 3 row(s) 可以在同一个查询中使用多个 insert 子句, 这样的好处是我们只需要扫描一遍源表就可以生成多个不相交的输出这个很酷吧! 四在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中在实际情况中, 表的输出结果可能太多, 不适于显示在控制台上, 这时候, 将 Hive 的查询输出结果直接存在一个新的表中是非常方便的, 我们称这种情况为 CTAS(create table.. as select) 如下 : hive> create table test4 > as > select id, name, tel hive> select * from test4; 5 wyp wyp wyp wyp wyp test zs Time taken: seconds, Fetched: 7 row(s) 6 / 7

7 Powered by TCPDF ( 数据就插入到 test4 表中去了,CTAS 操作是原子的, 因此如果 select 查询由于某种原因而失败, 新表是不会创建的! 好了, 很晚了, 今天就到这, 洗洗睡!2014 年 2 月 20 日 00:59:17 本博客文章除特别声明, 全部都是原创! 转载本文请加上 : 转载自过往记忆 ( 本文链接 : () 7 / 7

通过Hive将数据写入到ElasticSearch

通过Hive将数据写入到ElasticSearch 我在使用 Hive 读取 ElasticSearch 中的数据文章中介绍了如何使用 Hive 读取 ElasticSearch 中的数据, 本文将接着上文继续介绍如何使用 Hive 将数据写入到 ElasticSearch 中在使用前同样需要加入 elasticsearch-hadoop-2.3.4.jar 依赖, 具体请参见前文介绍我们先在 Hive 里面建个名为 iteblog 的表,