Hadoop集群完全分布式安装

本文遵循BY-SA版权协议，转载请附上原文出处链接。


本文作者: 黑伴白

本文链接: http://heibanbai.com.cn/posts/6680d1e5/

Hadoop集群完全分布式安装

环境说明

操作系统：CentOS 8 x86_64
Hadoop版本：2.10.1
节点数：3
服务器规划：

node1 node2 node3
199.188.166.111 199.188.166.112 199.188.166.113
NameNode(NN) Secondary NameNode
ResourceManager(RM)
DataNode(DN) DataNode(DN) DataNode(DN)
NodeManager(NM) NodeManager(NM) NodeManager(NM)

虚拟机安装

使用VMware安装，傻瓜式的，这里就不再赘述了
注：本次Hadoop集群搭建是使用VMware虚拟机进行的，首先创建一个虚拟机，因为只是用来搭建hadoop环境，创建虚机时就用hadoop用户，实际也是用hadoop用户来进行搭建（不建议使用root用户，虽然方便，但和不贴合实际项目）。

基础环境准备

对安装好的虚拟机进行基础环境的配置，主要是JDK的安装和防火墙的关闭

JDK安装配置

JDK版本：1.8.0_181
安装路径：/app/java/jdk1.8.0_181 （从官网下载tar.gz包直接解压即可为方便管理，所有app均安装在了/app目录下）
配置环境变量：为了方便，直接配置了全局，对所有用户生效

1
2
3
4
5
6
vi /etc/profile
# 添加以下内容
export JAVA_HOME=/app/java/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
# 生效环境变量
source /etc/profile

配置完成后，查看是否已经生效，如图：
在这里插入图片描述

关闭防火墙

为防止本机无法访问集群资源，需要关闭防火墙，命令为：systemctl stop firewalld.service
关闭后可查看防火墙状态是否已经正确关闭
在这里插入图片描述

虚拟机克隆

在创建好的虚拟机右键，管理—>克隆，根据提示，再创建两台虚拟机，根据自己的习惯重新命下名

虚拟机配置

修改主机名

为更贴近实际，我们修改下主机名，命令如下，将三台机器分别进行命名：

1
2
3
4
5
6
# 第一台虚机
hostnamectl set-hostname node1
# 第二台虚机
hostnamectl set-hostname node2
# 第三台虚机
hostnamectl set-hostname node3

配置地址映射

为方便后续管理及服务器之间的通信，需要进行IP地址映射配置，三台服务器同样操作

1
2
3
4
5
vi /etc/hosts
# 增加如下内容
199.188.166.111 node1
199.188.166.112 node2
199.188.166.113 node3

集群免密登录

因为三台服务器组成了一个集群，如果不配置免密访问，那么在集群启动时会N多次提示要输入密码，操作如下（三台服务器均如此操作）：
生成密钥：

1
ssh-keygen -t rsa

在这里插入图片描述

复制密钥到其他服务器：

1
ssh-copy-id -i ~/.ssh/id_rsa.pub node1

在这里插入图片描述

Hadoop安装与配置

先在node1节点进行安装配置，然后直接分发到其他服务器即可

Hadoop安装

Hadoop的安装其实就是解压并修改配置文件的过程

  1. 解压安装包：tar -zxvf hadoop-2.10.1.tar.gz
  2. 将解压后的hadoop目录下的bin加入到用户PATH环境变量中，主要是为了后续操作方便：export PATH=/app/hadoop-2.10.1/bin:$PATH

Hadoop配置

Hadoop 主要配置文件

配置文件 功能描述
hadoop-env.sh 配置 Hadoop 运行所需的环境变量
yarn-env.sh 配置 Yarn 运行所需的环境变量
core-site.xml Hadoop 核心全局配置文件，可在其他配置文件中引用该文件
hdfs-site.xml HDFS 配置文件，继承 core-site.xml 配置文件
mapred-site.xml MapReduce 配置文件，继承 core-site.xml 配置文件
yarn-site.xml Yarn 配置文件，继承 core-site.xml 配置文件

Hadoop需要修改的配置文件均在/app/hadoop-2.10.1/etc/hadoop目录下，根据集群规划进行相应修改操作，各文件的配置项有很多，此示例仅配置了常用的几项

  1. 修改hadoop_env.sh：配置Hadoop运行所需的环境变量，此集群主要是指定JAVA_HOME

    1
    2
    # The java implementation to use.
    export JAVA_HOME=/app/java/jdk1.8.0_181

  2. 修改core-site.xml：Hadoop核心全局配置文件，可在其他配置文件中引用

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    <configuration>
    		<!-- 指定NameNode地址-->
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://node1:9000</value>
            </property>

            <property>
                    <name>io.file.buffer.size</name>
                    <value>131072</value>
            </property>
    		<!-- 指定hadoop数据的临时存储目录-->
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>file:/app/hadoop-2.10.1/tmp</value>
            </property>
    </configuration>

  3. 修改hdfs-site.xml：HDFS配置文件，继承core-site.xml配置文件

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    <configuration>
            <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:/app/hadoop-2.10.1/dfs/name</value>
            </property>

            <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>file:/app/hadoop-2.10.1/dfs/data</value>
            </property>

            <property>
                    <name>dfs.replication</name>
                    <value>3</value>
            </property>
            <property>
                    <name>dfs.http.address</name>
                    <value>node1:50070</value>
            </property>
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>node2:50071</value>
            </property>
    </configuration>

  4. 修改mapred-site.xml：MapReduce配置文件，继承core-site.xml配置文件

    1
    2
    3
    4
    5
    6
    <configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
    </configuration>

  5. 修改yarn-site.xml：Yarn配置文件，继承core-site.xml配置文件

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    <configuration>

    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>node1</value>
        </property>
    </configuration>

  6. 修改slaves，在slaves文件里所列出的所有结点上启动一个tasktracker

    hadoop3.0以后slaves更名为workers

1
2
3
node1
node2
node3
  1. 修改masters，masters设置的是运行secondary namenode的结点，并且可以在masters里面设置多个结点来运行secondary namenode
    1
    node2

集群文件分发

通过命令，将配置好的hadoop分发到其他服务器

1
2
3
4
# 分发到服务器node2
scp -r hadoop-2.10.1 node2:/app
# 分发到服务器node3
scp -r hadoop-2.10.1 node3:/app

服务启动与验证

Hadoop服务启动

登录主节点node1，按照如下命令启动：

1
2
3
cd /app/hadoop-2.10.1/sbin
./start-hdfs.sh
./start-yarn.sh

Hadoop服务验证

可通过jps命令查看服务是否存在
主节点服务：
在这里插入图片描述

从节点服务：
在这里插入图片描述

登录web查看是否正常：
http://199.188.166.111:50070/
在这里插入图片描述

http://199.188.166.111:8088/
在这里插入图片描述

收官

至此，集群搭建完成！

注：关于配置的其他说明，请参考其他文章~

蚂蚁🐜再小也是肉🥩！

大数据 > Hadoop
#Hadoop
Hadoop集群完全分布式安装
http://heibanbai.com.cn/posts/6680d1e5/
作者
黑伴白
发布于
2022年5月11日
许可协议

“您的支持，我的动力！觉得不错的话，给点打赏吧 ୧(๑•̀⌄•́๑)૭”

微信二维码

微信支付

支付宝二维码

支付宝支付