Centos hadoop-2.7.7安装

发布时间:2023-05-08 12:30

安装过程参考了林子雨教程Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客 (xmu.edu.cn)icon-default.png?t=LA92http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/#more-190

以下都是一步一步进行安装的!

..........................................................................................................................................................

装好了 CentOS 系统之后,在安装 Hadoop 前还需要做一些必备工作

创建hadoop用户

 首先在终端中输入 su ,按回车,输入 root 密码以 root 用户登录,接着执行命令创建新用户 hadoop:

su                 # 以 root 用户登录

useradd -m hadoop -s /bin/bash         # 创建新用户hadoop

 接着使用如下命令修改密码,按提示输入两次密码,密码随意指定,若提示“无效的密码,过于简单”则再次输入确认就行);

passwd hadoop

Centos hadoop-2.7.7安装_第1张图片

可为 hadoop 用户增加管理员权限,方便部署;

visudo

如下图,找到 root ALL=(ALL) ALL 这行(应该在第90行,可以先按一下键盘上的 ESC 键,然后输入 :90 (按一下冒号,接着输入90,再按回车键),可以直接跳到第90行 ),然后在这行下面增加一行内容:hadoop ALL=(ALL) ALL (当中的间隔为tab),如下图所示

Centos hadoop-2.7.7安装_第2张图片

 添加上一行内容后,先按一下键盘上的 ESC 键,然后输入 :wq! (输入冒号还有wq!,这是vi/vim编辑器的强制保存方法),再按回车键保存退出就可以了。

最后,退出root用户,登录hadoop用户

su hadoop    (网上找的,但我觉得不行。最简单粗暴的方法就是关机,然后登录的时候用hadoop登录最好)

Centos hadoop-2.7.7安装_第3张图片

 (如果已经是 hadoop 用户,且在终端中使用 su 登录了 root 用户,那么需要执行 exit 退出 root 用户状态)

安装SSH、配置SSH无密码登陆

 清屏  :clear

使用 hadoop 用户登录后,还需要安装几个软件才能安装 Hadoop。

CentOS 使用 yum 来安装软件,需要联网环境,首先应检查一下是否连上了网络。(检查是否有网可以看看能不能登上百度网站:  ping www.baidu.com      阻断程序用ctrl+c

Centos hadoop-2.7.7安装_第4张图片

 一般情况下,CentOS 默认已安装了 SSH client、SSH server,打开终端执行如下命令进行检验:rpm -qa | grep ssh

如果返回的结果如下图所示,包含了 SSH client 跟 SSH server,则不需要再安装

Centos hadoop-2.7.7安装_第5张图片

 接着执行如下命令测试一下 SSH 是否可用:

ssh localhost

此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了

Centos hadoop-2.7.7安装_第6张图片

 但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

首先输入 exit 退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

  1. exit      # 退出刚才的 ssh localhost
  2. cd ~/.ssh/     # 若没有该目录,请先执行一次ssh localhost
  3. ssh-keygen -t rsa       # 会有提示,都按回车就可以
  4. cat id_rsa.pub >> authorized_keys         # 加入授权
  5. chmod 600 ./authorized_keys      # 修改文件权限

 Centos hadoop-2.7.7安装_第7张图片

 ~的含义

在 Linux 系统中,~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”。 此外,命令中的 # 后面的文字是注释。

此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了,如下图所示

Centos hadoop-2.7.7安装_第8张图片

安装Java环境

我们还是需要通过 yum 进行安装 JDK,安装过程中会让输入 [y/N],输入 y 即可: 

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

通过上述命令安装 OpenJDK,默认安装位置为 /usr/lib/jvm/java-1.8.0-openjdk(该路径可以通过执行 rpm -ql java-1.8.0-openjdk-devel | grep '/bin/javac' 命令确定,执行后会输出一个路径,除去路径末尾的 “/bin/javac”,剩下的就是正确的路径了)。OpenJDK 安装后就可以直接使用 java、javac 等命令了。

Centos hadoop-2.7.7安装_第9张图片

接着需要配置一下 JAVA_HOME 环境变量,为方便,我们在 ~/.bashrc 中进行设置

vim ~/.bashrc

Centos hadoop-2.7.7安装_第10张图片

 在文件最后面添加如下单独一行(指向 JDK 的安装位置),并保存:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

Centos hadoop-2.7.7安装_第11张图片

 接着还需要让该环境变量生效,执行如下代码:

source ~/.bashrc    # 使变量设置生效

设置好后我们来检验一下是否设置正确:

  1. echo $JAVA_HOME      # 检验变量值
  2. java -version
  3. $JAVA_HOME/bin/java -version      # 与直接执行 java -version 一样

如果设置正确的话,$JAVA_HOME/bin/java -version 会输出 java 的版本信息,且和 java -version 的输出结果一样,如下图所示:

Centos hadoop-2.7.7安装_第12张图片

 安装 Hadoop 2

 将下载好的hadoop传入虚拟机(我用fz不能传到hadoop用户下,只能传到root用户下)

Centos hadoop-2.7.7安装_第13张图片

 我们选择将 Hadoop 安装至 /usr/local/ 中:

cd /usr/local/

sudo tar -zxf  ./hadoop-2.7.7.tar.gz -C /usr/local            # 解压到/usr/local中

sudo mv ./hadoop-2.7.7/ ./hadoop              # 将文件夹名改为hadoop

sudo chown -R hadoop:hadoop ./hadoop             # 修改文件权限

Centos hadoop-2.7.7安装_第14张图片

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:

 cd ./hadoop

./bin/hadoop version

Centos hadoop-2.7.7安装_第15张图片

 Hadoop单机配置(非分布式)

 Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。

现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子(运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子),包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。

  1. cd /usr/local/hadoop
  2. mkdir ./input
  3. cp ./etc/hadoop/*.xml ./input      # 将配置文件作为输入文件
  4. ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
  5. cat ./output/*            # 查看运行结果

 Centos hadoop-2.7.7安装_第16张图片

注。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

若运行出错,如出现如下图提示:

Centos hadoop-2.7.7安装_第17张图片

运行Hadoop实例时可能会报错

若出现提示 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable”,该 WARN 提示可以忽略,不会影响 Hadoop 正常运行(可通过编译 Hadoop 源码解决,解决方法请自行搜索)。

若出现提示 “INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnknowHostException”,这需要执行如下命令修改 hosts 文件,为你的主机名增加IP映射:

  1. sudo vim /etc/hosts

Shell 命令

主机名在终端窗口标题里可以看到,或执行命令 hostname 查看,如下图所示,在最后面增加一行 “127.0.0.1 dblab”:

Centos hadoop-2.7.7安装_第18张图片

设置主机名的IP映射

保存文件后,重新运行 hadoop 实例,若执行成功的话会输出很多作业的相关信息,最后的输出信息如下图所示。作业的结果会输出在指定的 output 文件夹中,通过命令 cat ./output/* 查看结果,符合正则的单词 dfsadmin 出现了1次:

Centos hadoop-2.7.7安装_第19张图片

Hadoop例子输出结果

注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。

  1. rm -r ./output

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

 Hadoop伪分布式配置

 Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。

在设置 Hadoop 伪分布式配置前,我们还需要设置 HADOOP 环境变量,执行如下命令在 ~/.bashrc 中设置:

 vi ~/.bashrc

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

  1. # Hadoop Environment Variables
  2. export HADOOP_HOME=/usr/local/hadoop
  3. export HADOOP_INSTALL=$HADOOP_HOME
  4. export HADOOP_MAPRED_HOME=$HADOOP_HOME
  5. export HADOOP_COMMON_HOME=$HADOOP_HOME
  6. export HADOOP_HDFS_HOME=$HADOOP_HOME
  7. export YARN_HOME=$HADOOP_HOME
  8. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  9. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

Centos hadoop-2.7.7安装_第20张图片 

  保存后,执行如下命令使配置生效:

source ~/.bashrc

 

这些变量在启动 Hadoop 进程时需要用到,不设置的话可能会报错(这些变量也可以通过修改 ./etc/hadoop/hadoop-env.sh 实现)。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml 【我用vi 来修改配置文件】

vi  /usr/local/hadoop/etc/hadoop/core-site.xml        [我直接这么输入打开的是一个新文件,所以可以先cd 到那个目录下】      cd /usr/local/hadoop/etc/hadoop    然后再    vi ./core-site.xml

将当中的



修改为下面配置:


    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000
    

 Centos hadoop-2.7.7安装_第21张图片

 

同样的,修改配置文件 hdfs-site.xml:

vi ./hdfs-site.xml


    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    

Centos hadoop-2.7.7安装_第22张图片 

 配置完成后,执行 NameNode 的格式化:cd 到/usr/local/hadoop/下

./bin/hdfs namenode -format

 

成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。(偷的图,我的图只找到一个)

Centos hadoop-2.7.7安装_第23张图片

Centos hadoop-2.7.7安装_第24张图片  

 接着开启 NaneNode 和 DataNode 守护进程:

./sbin/start-dfs.sh

若出现如下 SSH 的提示 “Are you sure you want to continue connecting”,输入 yes 即可。 

 Centos hadoop-2.7.7安装_第25张图片

 启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode”SecondaryNameNode(如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试)。如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。

Centos hadoop-2.7.7安装_第26张图片 

 可以通过查看启动日志分析启动失败原因:(Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客 (xmu.edu.cn)icon-default.png?t=LA92http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/#more-190

 运行Hadoop伪分布式实例

 上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要在 HDFS 中创建用户目录:

./bin/hdfs dfs -mkdir -p /user/hadoop

Centos hadoop-2.7.7安装_第27张图片  

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop ,因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是 /user/hadoop/input:

./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

 Centos hadoop-2.7.7安装_第28张图片

复制完成后,可以通过如下命令查看 HDFS 中的文件列表:

./bin/hdfs dfs -ls input

 Centos hadoop-2.7.7安装_第29张图片

 

伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件(可以将单机步骤中创建的本地 input 文件夹,输出结果 output 文件夹都删掉来验证这一点)。

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令(查看的是位于 HDFS 中的输出结果):

./bin/hdfs dfs -cat output/*

Centos hadoop-2.7.7安装_第30张图片  

结果如下,注意到刚才我们已经更改了配置文件,所以运行结果不同。

若要关闭 Hadoop,则运行

./sbin/stop-dfs.sh

 启动YARN

 (伪分布式不启动 YARN 也可以,一般不会影响程序执行)

“有的读者可能会疑惑,怎么启动 Hadoop 后,见不到书上所说的 JobTracker 和 TaskTracker,这是因为新版的 Hadoop 使用了新的 MapReduce 框架(MapReduce V2,也称为 YARN,Yet Another Resource Negotiator)。”

YARN 是从 MapReduce 中分离出来的,负责资源管理与任务调度。YARN 运行于 MapReduce 之上,提供了高可用性、高扩展性,YARN 的更多介绍在此不展开,有兴趣的可查阅相关资料。

上述通过 ./sbin/start-dfs.sh 启动 Hadoop,仅仅是启动了 MapReduce 环境,我们可以启动 YARN ,让 YARN 来负责资源管理与任务调度。

首先修改配置文件 mapred-site.xml,这边需要先进行重命名:(在/usr/local/hadoop/下)

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后再进行编辑    vi ./etc/hadoop/mapred-site.xml 


    
        mapreduce.framework.name
        yarn
    

Centos hadoop-2.7.7安装_第31张图片 

接着修改配置文件   vi ./etc/hadoop/yarn-site.xml


    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
        

Centos hadoop-2.7.7安装_第32张图片 

然后就可以启动 YARN 了(需要先执行过   ./sbin/start-dfs.sh):

Centos hadoop-2.7.7安装_第33张图片

 

./sbin/start-yarn.sh      $ 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器,
                                               才能在Web中查看任务运行情况

Centos hadoop-2.7.7安装_第34张图片 

开启后通过 jps 查看,可以看到多了 NodeManager 和 ResourceManager 两个后台进程,如下图所示 

Centos hadoop-2.7.7安装_第35张图片

关闭 YARN 的脚本如下:

./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

...................................................................................................................................................................................................................................................................................................................... 

[启动 YARN 之后,运行实例的方法还是一样的,仅仅是资源管理方式、任务调度不同。观察日志信息可以发现,不启用 YARN 时,是 “mapred.LocalJobRunner” 在跑任务,启用 YARN 之后,是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况:http://localhost:8088/cluster,如下图所示。

Centos hadoop-2.7.7安装_第36张图片

开启YARN后可以查看任务运行信息

但 YARN 主要是为集群提供更好的资源管理与任务调度,然而这在单机上体现不出价值,反而会使程序跑得稍慢些。因此在单机上是否开启 YARN 就看实际情况了。]

 

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号