使用Hive读取ElasticSearch中的数据

Size: px

Start display at page:

Download "使用Hive读取ElasticSearch中的数据"

水宿
4 years ago
Views:

1 本文将介绍如何通过 Hive 来读取 ElasticSearch 中的数据, 然后我们可以像操作其他正常 Hive 表一样, 使用 Hive 来直接操作 ElasticSearch 中的数据, 将极大的方便开发人员本文使用的各组件版本分别为 Hive0.12 Hadoop ElasticSearch 我们先来看看 ElasticSearch 中相关表的 mapping: { "user": { "properties": { "regtime": {, "uid": { "type": "integer", "mobile": {, "username": { ElasticSearch 中的 index 名为 iteblog,type 为 user;user 有 regtime uid mobile 以及 username 四个属性现在我们在 Hive 端进行操作要让 Hive 能够操作 ElasticSearch 中的数据我们需要对 Hive 进行一些设置值得高兴的是,Ela sticsearch 官方为我们提供了一些类库可以实现这些要求我们需要引入相应的 elasticsearchhadoop-xxx.jar 包, 因为我们得 ElasticSearch 版本是 2.x 的, 所以我们最少需要使用 ES-Hadoop 2.2.x, 本文使用的是 elasticsearch-hadoop jar, 这个可以到 Maven 中央仓库下载要让 Hive 能够加载 elasticsearch-hadoop jar 文件有好几种方式 : 1 / 5

1 直接通过 add 命令加载, 如下 : hive > ADD JAR /home/iteblog/elasticsearch-hadoop-2.3.4.jar; Added [/home/iteblog/elasticsearch-hadoop-2.3.4.jar] to class path Added resources: [/home/iteblog/elasticsearch-hadoop-2.

2 1 直接通过 add 命令加载, 如下 : hive > ADD JAR /home/iteblog/elasticsearch-hadoop jar; Added [/home/iteblog/elasticsearch-hadoop jar] to class path Added resources: [/home/iteblog/elasticsearch-hadoop jar] 2 我们还可以在启动 Hive 的时候进行设置, 如下 : $ bin/hive --auxpath=/home/iteblog/elasticsearch-hadoop jar 3 我们还可以通过设置 hive.aux.jars.path 属性来实现 : $ bin/hive -hiveconf hive.aux.jars.path=/home/iteblog/elasticsearch-hadoop jar 或者我们把这个设置直接写到 hive-site.xml 中, 以便后面方便 : <property> <name>hive.aux.jars.path</name> <value>/home/iteblog/elasticsearch-hadoop jar</value> 2 / 5

3 <description>a comma separated list (with no spaces) of the jar files</description> </property> 大家可以根据自己实际情况选择设置设置好 ElasticSearch 相关类库之后, 我们就可以到 Hive 中创建表了为了方便, 我们直接将 Hive 中各个字段以及类型设置成和 ElasticSearch 中一样 : > regtime string, > uid int, ort'='9200', 'es.nodes.wan.only'='true'); 到这里, 我们已经已经可以在 Hive 里面查询 ElasticSearch 中的数据了 : hive (iteblog)> select * from `user` limit 10; OK :08: Tom :08: Join :23: iteblog :08:16 4 NULL weixin :08: bbs :14:04 6 NULL zhangshan :08: wangwu :56: Joan :25: White :24:16 0 NULL lihhh Time taken: seconds, Fetched: 10 row(s) 如上所述, 我们已经成功通过 Hive 查询到 ElasticSearch 中的数据了如果你在通过 Hive 查询 Elasti csearch 中的数据遇到如下异常 : Failed with exception java.io.ioexception:org.elasticsearch.hadoop.eshadoopillegalargumente xception: Cannot detect ES version - typically this happens if the network/elasticsearch cluster 3 / 5

4 is not accessible or when targeting a WAN/Cloud instance without the proper setting 'es.nodes.wan.only' 这个很可能是因为你配置错了 es.nodes 或者 es.port 属性了在上面的例子中, 我们为了方便将 Hive 中的字段设置成和 ElasticSearch 中一样 ; 但实际情况下, 我们可能无法将 Hive 中的字段和 ElasticSearch 保持一致, 这时候我们需要在创建 Hive 表的时候做一些设置, 否则将会出现错误我们可以通过 es.mapping.names 参数实现, 如下 : > register_time string, > user_id int, ort'='9200', 'es.nodes.wan.only'='true','es.mapping.names'='register_time:regtime,user_id:uid'); 然后我们就可以将 Hive 中的 register_time 映射到 ElasticSearch 中的 regtime 字段 ; user_id 映射到 ElasticSearch 中的 uid 字段在创建 Hive 表的时候, 我们还可以通过制定 es.query 来限制需要查询的数据, 如下 : > regtime string, > uid int, ort'='9200', 'es.nodes.wan.only'='true','es.query' = '?q=uid:2'); 上面的查询仅返回 uid 为 2 的数据 ( 关于查询条件设置可以参见 23 种非常有用的 ElasticSearch 查询例子 (1) ), 然后我们可以看效果 : 4 / 5

5 Powered by TCPDF ( hive (iteblog)> select * from `user` limit 10; OK :08: Join Time taken: seconds, Fetched: 1 row(s) 我们可以看到,uid 为 2 的数据才返回了, 其他的数据被过滤了在一些需要启动 MapReduce 任务来完成的 SQL,Hive 启动的 Map 个数和 ElasticSearch 中的分片个数一致, 也就是每个分片使用一个 Map 任务来处理本博客文章除特别声明, 全部都是原创! 转载本文请加上 : 转载自过往记忆 ( 本文链接 : () 5 / 5

通过Hive将数据写入到ElasticSearch

通过Hive将数据写入到ElasticSearch 我在使用 Hive 读取 ElasticSearch 中的数据文章中介绍了如何使用 Hive 读取 ElasticSearch 中的数据, 本文将接着上文继续介绍如何使用 Hive 将数据写入到 ElasticSearch 中在使用前同样需要加入 elasticsearch-hadoop-2.3.4.jar 依赖, 具体请参见前文介绍我们先在 Hive 里面建个名为 iteblog 的表,