扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要为大家展示了“Hive如何实现DML数据操作、分区表和分桶表”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Hive如何实现DML数据操作、分区表和分桶表”这篇文章吧。
公司主营业务:成都网站设计、成都网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联推出突泉免费做网站回馈大家。
1.通过load data导入 load data [local] inpath '数据的path' [overwrite] #[local] :如果不加该字段表示路径为HDFS。加上local表示本地路径 #[overwrite] :如果加该字段第二次导入会覆盖第一次导入的数据。不加会追加 into table 表名 [partition (partcol1=val1,…)]; #[partition (partcol1=val1,…)] :指定分区的字段(后面再说)。 tip:set hive.exec.mode.local.auto=true; 使用本地模式去跑MR(只有在一定条件下才跑本地不满足还跑集群) ----------------------------------------------------------- 2.通过查询语句向表中插入数据(Insert) 2.1 直接向表中插入新的数据 insert into student values(1,'aa'); 2.2 将查询的结果插入到表中(注意:查询的结果的列数和原表的列必须保持一致(列的数量和类型)) insert overwrite table 表名 sql语句; -------------------------------------------------------------- 3.查询语句中创建表并加载数据(As Select) create table if not exists 表名 as sql语句; ---------------------------------------------------------------- 4.创建表时通过Location指定加载数据路径 create table if not exists student3( id int, name string ) row format delimited fields terminated by '\t' location '/input'; -------------------------------------------------------------------- 5.导入数据(只有导出的数据才能导入) 注意:表必须不存在,否则会报错 import table 库名.表名 from 'HDFS导出的路径';
1. insert导出 insert overwrite [local] directory '路径' row format delimited fields terminated by '\t' #指定分隔符 sql查询语句; #local:如果加上该字段导出的路径为本地。如果不加该字段导出的路径为HDFS 例: insert overwrite local directory '/opt/module/hive/datas2' row format delimited fields terminated by '\t' select * from db4.student3; insert overwrite directory '/output' row format delimited fields terminated by '\t' select * from db4.student3; ------------------------------------------------------------------- 2. Hadoop命令导出到本地 hadoop fs -get '表中数据的路径' '本地路径' hdfs dfs -get '表中数据的路径' '本地路径' 在hive客户端中 :dfs -get '表中数据的路径' '本地路径' -------------------------------------------------------------------- 3.Hive Shell 命令导出 bin/hive -e 'select * from 表名;' > 本地路径; -------------------------------------------------------------------- 4 Export导出到HDFS上 export table 库名.表名 to 'HDFS路径'; -------------------------------------------------------------------- 5.Sqoop导出 后面会提。。。
一 创建分区表 create table 表名( deptno int, dname string, loc string ) partitioned by (字段名 字段类型) #指定分区字段 row format delimited fields terminated by '\t'; 案例: create table dept_partition( deptno int, dname string, loc string ) partitioned by (day string) row format delimited fields terminated by '\t'; --------------------------------------------------------------------------------- 二 分区表的操作: 1.添加分区 alter table 表名 add partition(分区字段名='值') partition(分区字段名='值') ....... 2.查看分区 show partitions 表名; 3.删除分区 alter table 表名 drop partition(分区字段名='值'),partition(分区字段名='值')....... 4.向分区表中添加数据 load data [local] inpath '路径' [overwrite] into table 表名 partition(分区字段名='值'); --------------------------------------------------------------------------------------- 三 创建二级分区表 create table 表名( deptno int, dname string, loc string ) partitioned by (字段名1 字段类型, 字段名2 字段类型,......) row format delimited fields terminated by '\t'; 案例: create table dept_partition2( deptno int, dname string, loc string ) partitioned by (day string, hour string) row format delimited fields terminated by '\t'; 向二级分区表中添加数据(在load数据时如果分区不存在则直接创建): load data local inpath '/opt/module/hive/datas/dept_20200401.log' into table dept_partition2 partition(day='20200401', hour='12'); load data local inpath '/opt/module/hive/datas/dept_20200402.log' into table dept_partition2 partition(day='20200401', hour='13'); --------------------------------------------------------------- 四 数据和分区的关联方式 1.执行修复命令 msck repair table 表名; 2.方式二:上传数据后添加分区 alter table 表名 add partition(字段名='值'); 3.方式三:创建文件夹后load数据到分区(会直接创建该分区) load data local inpath '/opt/module/hive/datas/dept_20200402.log' into table dept_partition2 partition(day='20200401', hour='13');
一 创建分桶表: create table 表名(id int, name string) clustered by(id) #id:分桶字段。分桶时就会根据此id进行分桶。 into 桶的数量 buckets row format delimited fields terminated by '\t'; 案例: create table stu_buck(id int, name string) clustered by(id) into 4 buckets row format delimited fields terminated by '\t'; 注意: 1.在hive的新版本当我们向一个分桶表中load数据时会跑MR 所以load数据的路径最好放在HDFS上。 2.我们分桶的数量要和ReduceTask的数量相等。 3.分桶的原则:根据分桶的字段的内容的hashCode值 % 分桶的数量 算出数据应该进入到哪个桶。
以上是“Hive如何实现DML数据操作、分区表和分桶表”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流