发布时间:2022-08-19 12:33
spark on hive :
hive只作为存储角色,spark 负责sql解析优化,底层运行的还是sparkRDD
具体可以理解为spark通过sparkSQL使用hive语句操作hive表,底层运行的还是sparkRDD,
步骤如下:
1.通过sparkSQL,加载Hive的配置文件,获取Hive的元数据信息
2.获取到Hive的元数据信息之后可以拿到Hive表的数据
3.通过sparkSQL来操作Hive表中的数据
hive on spark:
hive既作为存储又负责sql的解析优化,spark负责执行
这里Hive的执行引擎变成了spark,不再是MR。
这个实现较为麻烦,必须重新编译spark并导入相关jar包
目前大部分使用spark on hive
ICCV 2021 的最佳论文模型 Swin Transformer 终于对视频下手了!
B站:李宏毅2020机器学习笔记 4 —— 深度学习优化 Optimization for Deep Learning
ClickHouse(04)如何搭建ClickHouse集群
vue+springboot使用百度Ai人脸技术接口实现人脸识别登录
Python报错SyntaxError:unexpected EOF while parsing的解决办法
springboot2.6.2系列教程之容器镜像&部署&生产功能-14