Spark1.4中DataFrame功能加强,新增科学和数学函数

Size: px

Start display at page:

Download "Spark1.4中DataFrame功能加强,新增科学和数学函数"

酉祠蓬
5 years ago
Views:

1 Spark1.4 中 DataFrame 功能加强, 新增科学和数学函数社区在 Spark 1.3 中开始引入了 DataFrames, 使得 Apache Spark 更加容易被使用受 R 和 Python 中的 data frames 激发,Spark 中的 DataFrames 提供了一些 A PI, 这些 API 在外部看起来像是操作单机的数据一样, 而数据科学家对这些 API 非常地熟悉统计是日常数据科学的一个重要组成部分在即将发布的 Spark 1.4 中改进支持统计函数和数学函数 (statistical and mathematical functions) 这篇文章中将介绍一些非常重要的函数, 包括 : 1 随机数据生成 (Random data generation); 2 总结和描述性统计 (Summary and descriptive statistics); 3 样本协方差和相关性 (Sample covariance and correlation); 4 交叉分类汇总表 ( 又称列联表 )(Cross tabulation); 5 频繁项 (Frequent items); 6 数学函数 (Mathematical functions) 下面的例子全部是使用 Python 语言实现, 在 Scala 和 Java 中存在类似的 API 如果想及时了解 Spark Hadoop 或者 Hbase 相关的文章, 欢迎关注微信公共帐号 :iteblog_hadoop 一随机数据生成 (Random data generation) 随机数据生成在测试现有的算法和实现随机算法中非常重要, 比如随机投影在 sql.function s 函数里面提供了生成包含 i.i.uniform(rand) 和标准的 normal(randn) In [1]: from pyspark.sql.functions import rand, randn In [2]: # Create a DataFrame with one int column and 10 rows. In [3]: df = sqlcontext.range(0, 10) 1 / 8

2 In [4]: df.show() +--+ id In [4]: # Generate two other columns using uniform distribution and normal distribution. In [5]: df.select("id", rand(seed=10).alias("uniform"), randn(seed=27).alias("normal")).show() id uniform normal 二总结和描述性统计 (Summary and descriptive statistics) 我们在导入数据之后的第一个操作是想获取一些数据, 来看看他到底是不是我们所要的对于数字列, 了解这些数据的描述性统计可以帮助我们理解我们数据的分布 describe 函数返回的是一个 DataFrame, 而这个 DataFrame 中包含了每个数字列的很多信息, 比如不为空的实体总数平均值标准差以及最大最小值 In [1]: from pyspark.sql.functions import rand, randn In [2]: # A slightly different way to generate the two random columns In [3]: df = sqlcontext.range(0, 10).withColumn('uniform', rand(seed=10)).withcolumn('normal' 2 / 8

3 , randn(seed=27)) In [4]: df.describe().show() summary id uniform normal count mean stddev min max 如果返回的 DataFrame 含有大量的列, 你可以返回其中的一部分列 : In [4]: df.describe('uniform', 'normal').show() summary uniform normal count mean stddev min max 当然, 虽然 describe 在那些快速探索性数据分析中可以很好的工作, 你还可以控制描述性统计的展示以及那些使用 DataFrame 中简单选择的列 ( 这句话好别扭, 请看英文 you can also control the list of descriptive statistics and the columns they apply to using the normal select on a DataFrame:) In [5]: from pyspark.sql.functions import mean, min, max In [6]: df.select([mean('uniform'), min('uniform'), max('uniform')]).show() AVG(uniform) MIN(uniform) MAX(uniform) / 8

4 三样本协方差和相关性 (Sample covariance and correlation) 协方差表示的是两个变量的总体的误差正数意味着其中一个增加, 另外一个也有增加的趋势 ; 而负数意味着其中一个数增加, 另外一个有降低的趋势 DataFrame 两列中的样本协方差计算可以如下 : In [1]: from pyspark.sql.functions import rand In [2]: df = sqlcontext.range(0, 10).withColumn('rand1', rand(seed=10)).withcolumn('rand2', ra nd(seed=27)) In [3]: df.stat.cov('rand1', 'rand2') Out[3]: In [4]: df.stat.cov('id', 'id') Out[4]: 正如你从上面看到的, 两个随机生成的列之间的协方差接近零 ; 而 id 列和它自己的协方差非常大协方差的值为 9.17 可能很难解释, 而相关是协方差的归一化度量, 这个相对更好理解, 因为它提供了两个随机变量之间的统计相关性的定量测量 In [5]: df.stat.corr('rand1', 'rand2') Out[5]: In [6]: df.stat.corr('id', 'id') Out[6]: 1.0 在上面的例子中,ID 那列完全与相关本身 ; 而两个随机生成的列之间的相关性非常低四交叉分类汇总表 ( 又称列联表 )(Cross tabulation) 如果同时按几个变量或特征, 把数据分类列表时, 这样的统计表叫作交叉分类汇总表, 其主要用来检验两个变量之间是否存在关系, 或者说是否独立在 Spark 1.4 中, 我们可以计算 DataFr ame 中两列之间的交叉分类汇总表, 以便获取计算的两列中不同对的数量, 下面是关于如何使用交叉表来获取列联表的例子 In [1]: # Create a DataFrame with two columns (name, item) In [2]: names = ["Alice", "Bob", "Mike"] 4 / 8

5 In [3]: items = ["milk", "bread", "butter", "apples", "oranges"] In [4]: df = sqlcontext.createdataframe([(names[i % 3], items[i % 5]) for i in range(100)], ["nam e", "item"]) In [5]: # Take a look at the first 10 rows. In [6]: df.show(10) name item Alice milk Bob bread Mike butter Alice apples Bob oranges Mike milk Alice bread Bob butter Mike apples Alice oranges In [7]: df.stat.crosstab("name", "item").show() name_item milk bread apples butter oranges Bob Mike Alice 我们需要记住, 列的基数不能太大也就是说,name 和 item distinct 之后的数量不能过多试想, 如果 item distinct 之后的数量为 10 亿, 那么你如何在屏幕上显示这个表?? 五频繁项 (Frequent items) 了解列中那些频繁出现的 item 对于我们了解数据集非常重要在 Spark 1.4 中, 我们可以通过使用 DataFrames 来发现列中的频繁项, In [1]: df = sqlcontext.createdataframe([(1, 2, 3) if i % 2 == 0 else (i, 2 * i, i % 4) for i in range(1 00)], ["a", "b", "c"]) 5 / 8

6 In [2]: df.show(10) a b c In [3]: freq = df.stat.freqitems(["a", "b", "c"], 0.4) 对应上面的 DataFrame, 下面的代码可以计算出每列中出现 40% 的频繁项 In [4]: freq.collect()[0] Out[4]: Row(a_freqItems=[11, 1], b_freqitems=[2, 22], c_freqitems=[1, 3]) 正如你所看到的,11 和 1 是列 a 的频繁值同样, 你也可以获取到列组合的频繁项, 我们可以通过 struct 函数来创建列组合 In [5]: from pyspark.sql.functions import struct In [6]: freq = df.withcolumn('ab', struct('a', 'b')).stat.freqitems(['ab'], 0.4) In [7]: freq.collect()[0] Out[7]: Row(ab_freqItems=[Row(a=11, b=22), Row(a=1, b=2)]) 对于上面的例子来说, a=11 and b=22 和 a=1 and b=2 的组合频繁出现在数据集中注意 a=11 and b=22 是为假阳性 6 / 8

7 六数学函数 (Mathematical functions) Spark 1.4 中增加了一系列的数学函数, 用户可以自如地将这些操作应用到他们列我可以在这里看到所有的数学函数输入必须是一个列函数, 并且这个列函数只能输入一个参数, 比如 cos, sin, floor, ceil 对于那些需要输入两个参数的列函数, 比如 pow, hypot, 我们可以输入两列或者列的组合 In [1]: from pyspark.sql.functions import * In [2]: df = sqlcontext.range(0, 10).withColumn('uniform', rand(seed=10) * 3.14) In [3]: # you can reference a column or supply the column name In [4]: df.select(...: 'uniform',...: todegrees('uniform'),...: (pow(cos(df['uniform']), 2) + pow(sin(df.uniform), 2)). \...: alias("cos^2 + sin^2")).show() uniform DEGREES(uniform) cos^2 + sin^ 本文提到的所有函数将在 Spark 1.4 中可用, 并且支持 Python Scala 和 Java 调用 Spark 1.4 将在近期发布如果你等不及了, 你可以到里面下载本文翻译自 : 如果上面翻译不通顺, 或者不对请阅读原文

8 Powered by TCPDF ( Spark1.4 中 DataFrame 功能加强, 新增科学和数学函数本博客文章除特别声明, 全部都是原创! 转载本文请加上 : 转载自过往记忆 ( 本文链接 : () 8 / 8

Spark读取Hbase中的数据

Spark读取Hbase中的数据 Spark 读取 Hbase 中的数据 Spark 和 Flume-ng 整合, 可以参见本博客 : Spark 和 Flume-ng 整合使用 Spark 读取 HBase 中的数据如果想及时了解 Spark Hadoop 或者 Hbase 相关的文章, 欢迎关注微信公共帐号 :iteblog_hadoop 大家可能都知道很熟悉 Spark 的两种常见的数据读取方式 ( 存放到 RDD 中 ):(1)