Hive新增/变更字段后,Hive metastore与Hive tblproperties缓存的spark schema不一致处理

发布时间:2022-08-19 12:58

一、创建测试表

CREATE TABLE `ittemp`.`zxh_test1` (

`col1` VARCHAR(64) COMMENT '测试字段1',

`col2` INT COMMENT '测试字段2',

`col3` DECIMAL(16,2) COMMENT '测试字段3'

)

stored as parquet

PARTITIONED BY (`dt` varchar(8) comment '分区')

COMMENT '测试表1';

二、插入测试数据

insert overwrite `ittemp`.`zxh_test1` partition(dt='20220707') values ('a',1,1.1);

三、spark查询测试

select * from `ittemp`.`zxh_test1`;

四、通过hive新增字段

alter table `ittemp`.`zxh_test1` add columns ( `COL4` VARCHAR(40) comment '测试字段4');

五、spark查询测试(报hive metastore不一致)

select * from `ittemp`.`zxh_test1`;

Hive新增/变更字段后,Hive metastore与Hive tblproperties缓存的spark schema不一致处理_第1张图片

六、通过hive更新TBLPROPERTIES

1、通过hive执行show create table `ittemp`.`zxh_test1`查看tblproperties信息

Hive新增/变更字段后,Hive metastore与Hive tblproperties缓存的spark schema不一致处理_第2张图片

注:一般关注'spark.sql.sources.schema.part.0'参数值,当表字段过多时,可能存在 'spark.sql.sources.schema.part.1'、'spark.sql.sources.schema.part.2'等多个,需要关注涉及更新的字段信息在哪个参数里

2、 更新tblproperties值

alter table `ittemp`.`zxh_test1` set TBLPROPERTIES

(

'spark.sql.sources.schema.part.0'='{"type":"struct","fields":[{"name":"col1","type":"varchar(64)","nullable":true,"metadata":{"comment":"测试字段1"}},{"name":"col2","type":"integer","nullable":true,"metadata":{"comment":"测试字段2"}},{"name":"col3","type":"decimal(16,2)","nullable":true,"metadata":{"comment":"测试字段3"}},{"name":"col4","type":"varchar(40)","nullable":true,"metadata":{"comment":"测试字段4"}},{"name":"dt","type":"varchar(8)","nullable":true,"metadata":{"comment":"分区"}}]}'

);

Hive新增/变更字段后,Hive metastore与Hive tblproperties缓存的spark schema不一致处理_第3张图片

七、再次通过spark查询,hive metastore不一致告警消失

select * from `ittemp`.`zxh_test1`;

Hive新增/变更字段后,Hive metastore与Hive tblproperties缓存的spark schema不一致处理_第4张图片

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号