一、在linux搭建spark环境
1.下载spark
spark官方下载地址:http://spark.apache.org/downloads.html 。这里选择spark-3.1.2-bin-hadoop2.7版本。
2.上传spark,下载TDH客户端
- 上传 spark-3.1.2-bin-hadoop2.7.tgz 至linux的/opt目录下
- 在manager下载TDH客户端,上传至/opt目录下
- 解压spark。tar -zxvf spark-3.1.2-bin-hadoop2.7.tgz
- 解压客户端。tar -xvf tdh-client.tar