链接：https://pan.baidu.com/s/1lcHevFFKZ5ysRpNIF5AtDQ 提取码：yyds

1 安装Hadoop

  1. 下载链接中的资料，上传到hadoop100中

img

  1. 进入到hadoop所在目录，解压hadoop文件
 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
  1. 配置环境变量
#进入到hadoop安装目录
cd /opt/module/hadoop-3.1.3/


#配置环境变量 #将两个横线内的内容复制到my_env.sh里面
cat /etc/profile.d/my_env.sh
------------------------
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
------------------------------

#刷新环境变量
source /etc/profile.d/my_env.sh

img

  1. 分发到其他机器上
xsync /opt/module/hadoop-3.1.3/
xsync /etc/profile.d/my_env.sh
#在每一个机器上刷新下配置
source /etc/profile.d/my_env.sh

2 集群配置

2.1 集群部署规划

  • NameNode 和 SecondaryNameNode 不要安装在同一台服务器
  • ResourceManager也很消耗内存，不要和NameNode,SecondaryNameNode配置在同一台机器上

img

2.2 配置文件说明

Hadoop配置文件分两类： 默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应的属性值

  1. 默认配置文件：

img

  1. 自定义配置文件：

core-site.xml, hdfs-site.xml, yarn-site.xml, mapred-site.xml 四个配置文件存放在￥HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求进行修改配置

2.3 配置集群

2.3.1 核心配置文件

配置core-site.xml

#进入到hadoop安装目录下
cd /opt/module/hadoop-3.1.3/etc/hadoop
#编辑 core-site.xml 编辑完内容如下
------------------------------
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 NameNode 的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop100:8020</value>
    </property>
    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <!-- 配置 HDFS 网页登录使用的静态用户为 weifeng-->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>weifeng</value>
    </property>
</configuration>
------------------------------

2.3.2 HDFS配置文件

配置hdfs-site.xml

vim hdfs-site.xml

--------------------
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- nn web 端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop100:9870</value>
    </property>
    <!-- 2nn web 端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop102:9868</value>
    </property>
</configuration>
--------------------

2.3.3 YARN配置文件

配置yarn-site.xml

vim yarn-site.xml
---------------------
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 MR 走 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 ResourceManager 的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
    </property>
</configuration>
---------------------

2.3.4 MapReduce配置文件

配置mapred-site.xml

vim mapred-site.xml

------------------------
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
------------------------

2.3.5 在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

img