扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章将为大家详细讲解有关hive有哪些聚合函数,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
成都创新互联服务项目包括岭东网站建设、岭东网站制作、岭东网页制作以及岭东网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,岭东网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到岭东省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!
★聚合函数
count,sum,min,max,avg
var_pop(col) 返回指定列的方差
var_samp(col) 返回指定列的样本方差
stddev_pop(col) 返回指定列的偏差(标准差) stddev_pop = stddev
stddev_samp(col) 返回指定列的样本偏差(标准差)
covar_pop(col1, col2) 两列数值协方差
如果两个变量的变化趋势一致,那么两个变量之间的协方差就是正值;
如果两个变量的变化趋势相反,那么两个变量之间的协方差就是负值;
如果X与Y是统计独立的,那么二者之间的协方差就是0
covar_samp(col1, col2) 两列数值样本协方差
corr(col1, col2) 返回两列数值的相关系数(偏差协方)
percentile(BIGINT col, p) 返回数值区域的百分比数值点。0<=P<=1,否则返回NULL,不支持浮点型数值。
第p百分位数,大约有p%的数据项的值比第p百分位数小
percentile(BIGINT col, array(p1 [, p2]…))
返回类型也为array
percentile_approx(DOUBLE col, p [, B]) 近似中位数函数(percentile的近似值)
参数B控制内存消耗的近似精度,B越大,结果的准确度越高。默认为10,000。
当col字段中的distinct值的个数小于B时,结果为准确的百分位数
percentile_approx(DOUBLE col, array(p1 [, p2]…) [, B])
histogram_numeric(col, b) 直方图,
使用b个非均匀间隔的箱子计算组内数字列的柱状图(直方图),
输出的数组大小为b,double类型的(x,y)表示直方图的中心和高度
返回值: array
select inline(histogram_numeric(cast(a.amount as int),10)) from a
collect_set(col) 返回消除了重复元素的数组
collect_list(col) 返回允许重复元素的数组
ntile(INTEGER x) 该函数将已经排序的分区分到x个桶中,并为每行分配一个桶号
★内置 Table-Generating函数(UDTF)
explode(ARRAY) 参数列为数组类型,将数组数据中的每个元素做为一行返回
explode(MAP) 将输入map中的每个键值对转换为两列,一列为key,另一列为value,然后返回新行
explode(array
json_tuple(jsonStr, k1, k2, ...) 参数为一组键k1,k2……和JSON字符串,返回值的元组。
该方法比 get_json_object 高效,因为可以在一次调用中输入多个键
parse_url_tuple(url, p1, p2, ...) 该方法同parse_url() 相似,但可以一次性提取URL的多个部分,
有效的参数名称为: HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, USERINFO, QUERY:
posexplode(ARRAY) 行为与参数为数组的explode方法相似,但包含项在原始数组中的位置,返回(pos,value)的二元组
stack(INT n, v_1, v_2, ..., v_k) 将v_1, ..., v_k 分为n行,每行包含n/k列,n必须为常数
●在SELECT中不允许再有其他表达式:不支持SELECT pageid, explode(adid_list) AS myCol...
●UDTF不能够嵌套使用:不支持SELECT explode(explode(adid_list)) AS myCol...
●不支持GROUP BY /CLUSTER BY / DISTRIBUTE BY / SORT BY
关于“hive有哪些聚合函数”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流