解决Hive on Spark与Spark on Hive之间表数据不互通问题
发布时间：2023-06-16 12:30
解决Hive on Spark与Spark on Hive之间表数据不互通问题
问题描述
通过Ambari2.7.5安装HDP3.1.5集群后，spark-sql和hive虽然已经实现了整合，无论在hive还是spark-sql都能看到对等的数据；但是如果是在spark-sql下创建的表，则无法在hive下插入数据。反之亦然。如下图所示：
从上图可以看到：
test1表是spark-sql创建并插入一条数据，可以在hive中查看。
但是执行insert时报错。提示：Failed to create Spark client for Spark session.
产生原因
原因很简单，因为Hive3.0后默认开启了ACID功能和严格模式，且只允许自己创建和插入。而HDP3.1.5集群中，的Spark版本为2.3.0，虽然与Hive兼容，但是Spark目前还不支持ACID。spark-sql创建的表无法在hive中插入数据。
解决方案
登录Ambari管理页面，取消ACID、严格模式、只允许自己插入三个属性即可。字段名如下：
hive.strict.managed.tables=false
hive.create.as.insert.only=false
metastore.create.as.acid=false
Ambari界面操作截图如下：（已hive.strict.managed.tables为例，其他类似）
rict.managed.tables为例，其他类似）
