Hive常用字符串函数

Size: px

Start display at page:

Download "Hive常用字符串函数"

拒棱广双
4 years ago
Views:

1 Hive 内部提供了很多操作字符串的相关函数, 本文将对其中部分常用的函数进行介绍下表为 Hive 内置的字符串函数, 具体的用法可以参见本文的下半部分返回类型函数名描述 int ascii( str) 返回 str 第一个字符串的数值 base64(binary bin) 将二进制参数转换为 base64 字符串 concat( binary A, binary B...) 返回将 A 和 B 按顺序连接在一起的字符串, 如 :concat('foo', 'bar') 返回 'foobar' array<struct<,double>> context_ngrams(array<array<>>, array<>, int K, int pf) 从一组标记化的句子中返回前 k 个文本 concat_ws( SEP, A, B...) 类似 concat(), 但使用自定义的分隔符 SEP concat_ws( SEP, array<>) 类似 concat_ws(), 但参数为字符串数组 decode(binary bin, charset) 使用指定的字符集将第一个参数解码为字符串, 如果任何一个参数为 null, 返回 null 可选字符集为 : 'US_ASCII', 'ISO ', 'UTF-8', 'UTF-16BE', 'UTF-16LE', 'UTF-16' binary encode( src, charset) 使用指定的字符集将第一个参数编码为 binary, 如果任一参数为 null, 返回 null int find_in_set( str, strlist) 返回 str 在 strlist 中第一次出现的位置,strList 为用逗号分隔的字符串, 如果 str 包含逗号则返回 0, 若任何参数为 null, 返回 null 如: find_in_set('ab', 'abc,b,ab,c,def') 返回 3 format_number(number x, int d) 将数字 x 格式化为 '#,###,###.##', 四舍五入为 d 位小数位, 将结果做为字符串返回如果 d=0, 结果不包含小数点或小数部分 get_json_object( json_, path) 从基于 json path 的 json 字符串中提取 json 对象, 返回 json 对象的 json 字符串, 如果输入的 jso n 字符串无效返回 null Json 路径只能有数字字母和下划线, 不允许大写和其它特殊字符 boolean in_file( str, filename) 如果 str 在 filename 中以正行的方式出现, 返回 true int instr( str, substr) 返回 substr 在 str 中第一次出现的位置若任何参数为 null 返回 null, 若 substr 不在 str 中返回 0 Str 中第一个字符的位置为 1 int length( A) 返回 A 的长度 int locate( substr, str[, int pos]) 返回 substr 在 str 的位置 pos 后第一次出现的位置 lower( A) lcase( A) 返回字符串的小写形式 lpad( str, int len, pad) 将 str 左侧用字符串 pad 填充, 长度为 len ltrim( A) 去掉字符串 A 左侧的空格, 如 :ltrim(' foobar ') 的结果为 'foobar ' 1 / 10

2 返回类型函数名描述 array<struct<,double>> ngrams(array<array<>>, int N, int K, int pf) 从一组标记化的 Returns the top-k 句子中返回前 K 个 N-grams parse_url( urlstring, parttoextract [, keytoextract]) 返回给定 URL 的指定部分,partToExtract 的有效值包括 HOST,PATH, QUERY, REF, PROTOCOL, AUTHORITY,FILE 和 USERINFO 例如 : par se_url(' =v1&k2=v2#ref1', 'HOST') 返回 'facebook.co m'. 当第二个参数为 QUERY 时, 可以使用第三个参数提取特定参数的值, 例如 : parse_u rl(' &k2=v2#ref1', 'QUERY', 'k1') 返回 'v1' printf(string format, Obj... args) 将输入参数进行格式化输出 regexp_extract( subject, pattern, int index) regexp_replace( INITIAL_STRING, PATTERN, REPLACEMENT) 使用 pattern 从给定字符串中提取字符串如 : regexp_extract('foothebar', 'foo(.*?)(bar)', 2) 返回 'bar' 有时需要使用预定义的字符类 : 使用 '\s' 做为第二个参数将匹配 s,'s' 匹配空格等参数 i ndex 是 Java 正则匹配器方法 group() 方法中的索引使用 REPLACEMENT 替换字符串 INITIAL_STRIN G 中匹配 PATTERN 的子串, 例如 : regexp_replace("foobar", "oo ar", "") 返回 'fb' repeat( str, int n) 将 str 重复 n 次 reverse( A) 将字符串 A 翻转 rpad( str, int len, pad) 在 str 的右侧使用 pad 填充至长度 len rtrim( A) 去掉字符串 A 右侧的空格, 如 : rtrim(' foobar ') 返回 ' foobar' array<array<>> sentences( str, lang, locale) 将自然语言文本处理为单词和句子, 每个句子在适当的边界分割, 返回单词的数组参数 la ng 和 local 为可选参数, 例如 : sentences('hello there! How are you?') 返回 ( ("Hello", "there"), ("How", "are", "you") ) space(int n) 返回 n 个空格的字符串 array split( str, pat) 用 pat 分割字符串 str,pat 为正则表达式 map<,> str_to_map(text[, delimiter1, delimiter2]) 使用两个分隔符将文本分割为键值对第一个分隔符将文本分割为 K-V 对, 第二个分隔符分隔每个 K-V 对默认第一个分隔符为,, 第二个分隔符为 = substr( binary A, int start) sub( binary A, int start) substr( binary A, int start, int len) sub( binary A, int start, int len) 返回 A 从位置 start 直到结尾的子串返回 A 中从位置 start 开始, 长度为 len 的子串, 如 : substr('foobar', 4, 1) 返回 'b' translate( input, from, to) 将 input 中出现在 from 中的字符替换为 to 中的字符串, 如果任何参数为 null, 结果为 null trim( A) 去掉字符串 A 两端的空格 binary unbase64( str) 将 base64 字符串转换为二进制 2 / 10

3 返回类型函数名描述 upper( A) ucase( A) 返回字符串 A 的大写形式 1. 字符串长度计算函数 :length 语法 : length( A), 返回值 : int 说明 : 返回字符串 A 的长度例子 : hive> select length('iteblog') from iteblog; 7 2. 字符串反转函数 :reverse 语法 : reverse( A) 返回值 : 说明 : 返回字符串 A 的反转结果例子 : hive> select reverse(iteblog') from iteblog; golbeti 3. 字符串连接函数 :concat 语法 : concat( A, B ) 返回值 : 说明 : 返回输入字符串连接后的结果, 支持任意个输入字符串例子 : hive> select concat('www','.iteblog','.com') from iteblog; 4 带分隔符字符串连接函数 :concat_ws 语法 : concat_ws( SEP, A, B ) 返回值 : 3 / 10

4 说明 : 返回输入字符串连接后的结果,SEP 表示各个字符串间的分隔符例子 : hive> select concat_ws('.','www','iteblog','com') from iteblog; 5 字符串截取函数 :substr,sub 语法 : substr( A, int start),sub( A, int start) 返回值 : 说明 : 返回字符串 A 从 start 位置到结尾的字符串例子 : hive> select substr('iteblog',3) from iteblog; eblog hive> selectsubstr('iteblog',-1) from iteblog; g 6 字符串截取函数 :substr,sub 语法 : substr( A, int start, int len),sub( A, intstart, int len) 返回值 : 说明 : 返回字符串 A 从 start 位置开始, 长度为 len 的字符串例子 : hive> select substr('abcde',3,2) from iteblog; cd hive> select sub('abcde',3,2) from iteblog; cd hive>select sub('abcde',-2,2) from iteblog; de 7 字符串转大写函数 :upper,ucase 语法 : upper( A) ucase( A) 返回值 : 4 / 10

5 说明 : 返回字符串 A 的大写格式例子 : hive> select upper('absed') from iteblog; ABSED hive> select ucase('absed') from iteblog; ABSED 8 字符串转小写函数 :lower,lcase 语法 : lower( A) lcase( A) 返回值 : 说明 : 返回字符串 A 的小写格式例子 : hive> select lower('absed') from iteblog; absed hive> select lcase('absed') from iteblog; absed 9 去空格函数 :trim 语法 : trim( A) 返回值 : 说明 : 去除字符串两边的空格例子 : hive> select trim(' abc ') from iteblog; abc 10 左边去空格函数 :ltrim 语法 : ltrim( A) 返回值 : 说明 : 去除字符串左边的空格例子 : 5 / 10

6 hive> select ltrim(' abc ') from iteblog; abc 11 右边去空格函数 :rtrim 语法 : rtrim( A) 返回值 : 说明 : 去除字符串右边的空格例子 : hive> select rtrim(' abc ') from iteblog; abc 12 正则表达式替换函数 :regexp_replace 语法 : regexp_replace( A, B, C) 返回值 : 说明 : 将字符串 A 中的符合 java 正则表达式 B 的部分替换为 C 注意, 在有些情况下要使用转义字符, 类似 oracle 中的 regexp_replace 函数例子 : hive> select regexp_replace('foobar', 'oo ar', '') from iteblog; fb 13 正则表达式解析函数 :regexp_extract 语法 : regexp_extract( subject, pattern, int index) 返回值 : 说明 : 将字符串 subject 按照 pattern 正则表达式的规则拆分, 返回 index 指定的字符例子 : hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 1) fromiteblog; the hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 2) fromiteblog; bar hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 0) fromiteblog; foothebar 6 / 10

7 注意, 在有些情况下要使用转义字符, 下面的等号要用双竖线转义, 这是 java 正则表达式的规则 select data_field, regexp_extract(data_field,'.*?bgstart\\=([^&]+)',1) as aaa, regexp_extract(data_field,'.*?contentloaded_headstart\\=([^&]+)',1) as bbb, regexp_extract(data_field,'.*?appload2req\\=([^&]+)',1) as ccc from pt_nginx_loginlog_st where pt = ' 'limit 2; 14 URL 解析函数 :parse_url 语法 : parse_url( urlstring, parttoextract [, keytoextract]) 返回值 : 说明 : 返回 URL 中指定的部分 parttoextract 的有效值为 :HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO. 例子 : hive> select parse_url(' 'HOST') from iteblog; iteblog.com hive> select parse_url(' > 'QUERY','weixin') from iteblog; iteblog_hadoop 15 json 解析函数 :get_json_object 语法 : get_json_object( json_, path) 返回值 : 说明 : 解析 json 的字符串 json_, 返回 path 指定的内容如果输入的 json 字符串无效, 那么返回 NULL 例子 : hive> select get_json_object('{"store": > {"fruit":\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], > "bicycle":{"price":19.95,"color":"red"} > }, 7 / 10

8 > > "owner":"amy" > } > ','$.owner') from iteblog; amy 16 空格字符串函数 :space 语法 : space(int n) 返回值 : 说明 : 返回长度为 n 的字符串例子 : hive> select space(10) from iteblog; hive> select length(space(10)) from iteblog; 重复字符串函数 :repeat 语法 : repeat( str, int n) 返回值 : 说明 : 返回重复 n 次后的 str 字符串例子 : hive> select repeat('abc',5) from iteblog; abcabcabcabcabc 18 首字符 ascii 函数 :ascii 语法 : ascii( str) 返回值 : int 说明 : 返回字符串 str 第一个字符的 ascii 码例子 : hive> select ascii('abcde') from iteblog; 97 8 / 10

9 19 左补足函数 :lpad 语法 : lpad( str, int len, pad) 返回值 : 说明 : 将 str 进行用 pad 进行左补足到 len 位例子 : hive> select lpad('abc',10,'td') from iteblog; tdtdtdtabc 注意 : 与 GP,ORACLE 不同,pad 不能默认 20 右补足函数 :rpad 语法 : rpad( str, int len, pad) 返回值 : 说明 : 将 str 进行用 pad 进行右补足到 len 位例子 : hive> select rpad('abc',10,'td') from iteblog; abctdtdtdt 21 分割字符串函数 : split 语法 : split( str, pat) 返回值 : array 说明 : 按照 pat 字符串分割 str, 会返回分割后的字符串数组例子 : hive> select split('abtcdtef','t') from iteblog; ["ab","cd","ef"] 22 集合查找函数 :find_in_set 语法 : find_in_set( str, strlist) 9 / 10

10 Powered by TCPDF ( 返回值 : int 说明 : 返回 str 在 strlist 第一次出现的位置,strlist 是用逗号分割的字符串如果没有找该 str 字符, 则返回 0 例子 : hive> select find_in_set('ab','ef,ab,de') from iteblog; 2 hive> select find_in_set('at','ef,ab,de') from iteblog; 0 本博客文章除特别声明, 全部都是原创! 转载本文请加上 : 转载自过往记忆 ( 本文链接 : () 10 / 10

通过Hive将数据写入到ElasticSearch

通过Hive将数据写入到ElasticSearch 我在使用 Hive 读取 ElasticSearch 中的数据文章中介绍了如何使用 Hive 读取 ElasticSearch 中的数据, 本文将接着上文继续介绍如何使用 Hive 将数据写入到 ElasticSearch 中在使用前同样需要加入 elasticsearch-hadoop-2.3.4.jar 依赖, 具体请参见前文介绍我们先在 Hive 里面建个名为 iteblog 的表,