详解：Hive的存储格式与对比

发布时间：2023-01-10 19:30

Hive的存储格式与对比

官网：https://cwiki.apache.org/confluence/display/Hive/FileFormats
对于很多的东西，还是你要多多观看官网，更加权威，

一：行式存储和列式存储

在这之前先补充一个概念：

二：TestFile

这个就是普通的文本格式，
TextFile文件不支持块压缩，默认格式，数据不做压缩，磁盘开销大，数据解析开销大

文本格式里面都是字符串类型对于文本来说是一个全量的行式存储
比如：我们只需要3列的话，他是要全部加载的，而相对于列式存储来说不是这样的，列式存储是可以直接查看3列的
这样就会有一个很大的区别：磁盘和 io的使用情况不是一个级别的，现在工作很少使用，空间的节省性能很差啊

三：SequenceFile

SequenceFile 其实是key value的方式存储数据的存储体积要比text file的大一些
（读起来方便，用的也很少的）在使用压缩的时候是对value压缩

操作的时候：
如果你想把文本格式text file 转换为sequence file 导入数据的时候
格式不对，没有办法读取的需要做中间的一步转换的

load data local inpath '/home/hadoop/data/page' overwrite into table page_seq;

insert into table page_seq select * from page;  
要做insert操作的

这两种形式性能太低了在工作中很少使用的，所以官网也没有做过多的介绍

注意:

并不代表查询的时候列式存储就比行式存储快
例如：select * 时的查询时，还是行式存储要快的，很简单，行式存储在一起，列式存储把它分割开的额但是在大数据的情况下，是几乎不会使用select * 的

生产上在etl之后，几乎都是列式存储列式存储占据了百分之90的份额
当然还有一个重要的原因：
因为文本里面的数据是各种各样的不同数据，如果使用列式存储的话，可以对不多的数据格式，采取不同的压缩格式，更好的做到优化，
重要的一点就是：存储格式与压缩是紧密结合的

四：RCFile

官网：https://cwiki.apache.org/confluence/display/Hive/RCFile

RCFile其实就是行列混合存储的，性能也不怎么样，现在也很用（比如百度），测试的效果不好

RCFile结合了行存储和列存储的优点，以满足快速数据加载和查询处理的需求，存储空间的有效利用以及对高度动态工作负载模式的适应性。
作为行存储，RCFile保证同一行中的数据位于同一节点中。
作为列存储，RCFile可以利用逐列数据压缩并跳过不必要的列读取。

五：ORC Files

官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC

存储方式：数据按行分块每块按照列存储，压缩快快速列存取，效率比rcfile高,是rcfile的改良版本，相比RC能够更好的压缩，能够更快的查询，但还是不支持模式演进。

他底层有默认的压缩格式
orc.compress default ZLIB
high level compression (one of NONE, ZLIB, SNAPPY)

create table Addresses (
  name string,
  street string,
  city string,
  state string,
  zip int
) stored as orc tblproperties ("orc.compress"="SNAPPY");

六：Parquet

官网：https://cwiki.apache.org/confluence/display/Hive/Parquet

Hive 0.13 and later

CREATE TABLE parquet_test (
 id int,
 str string,
 mp MAP,
 lst ARRAY,
 strct STRUCT) 
PARTITIONED BY (part string)
STORED AS PARQUET;

其实他不是hive里面的，是其他的一个项目现在是主流框架存储的角度和计算的角度
支持的版本很多，0.13之后直接写一个parquet就可以了

Parquet是不跟任何数据处理技术绑定在一起的，可以用于多种数据处理框架。
查询引擎：Hive,Imapla,Presto等
计算框架：Map-Reduce，Spark等
数据模型：Avro,Thrift,PB

七：性能的对比

结论：
1.ORC Files存储文件读效率最好
2.耗时比较：ORC 3.ORC Files压缩效率最高
4.占用空间：ORC