链接:https://pan.baidu.com/s/1lcHevFFKZ5ysRpNIF5AtDQ 提取码:yyds
1 安装Hadoop
- 下载链接中的资料,上传到hadoop100中
- 进入到hadoop所在目录,解压hadoop文件
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
- 配置环境变量
#进入到hadoop安装目录
cd /opt/module/hadoop-3.1.3/
#配置环境变量 #将两个横线内的内容复制到my_env.sh里面
cat /etc/profile.d/my_env.sh
------------------------
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
------------------------------
#刷新环境变量
source /etc/profile.d/my_env.sh
- 分发到其他机器上
xsync /opt/module/hadoop-3.1.3/
xsync /etc/profile.d/my_env.sh
#在每一个机器上刷新下配置
source /etc/profile.d/my_env.sh
2 集群配置
2.1 集群部署规划
- NameNode 和 SecondaryNameNode 不要安装在同一台服务器
- ResourceManager也很消耗内存,不要和NameNode,SecondaryNameNode配置在同一台机器上
2.2 配置文件说明
Hadoop配置文件分两类: 默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应的属性值
- 默认配置文件:
- 自定义配置文件:
core-site.xml, hdfs-site.xml, yarn-site.xml, mapred-site.xml 四个配置文件存放在¥HADOOP_HOME/etc/hadoop这个路径上,用户可以根据项目需求进行修改配置
2.3 配置集群
2.3.1 核心配置文件
配置core-site.xml
#进入到hadoop安装目录下
cd /opt/module/hadoop-3.1.3/etc/hadoop
#编辑 core-site.xml 编辑完内容如下
------------------------------
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 weifeng-->
<property>
<name>hadoop.http.staticuser.user</name>
<value>weifeng</value>
</property>
</configuration>
------------------------------
2.3.2 HDFS配置文件
配置hdfs-site.xml
vim hdfs-site.xml
--------------------
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop100:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop102:9868</value>
</property>
</configuration>
--------------------
2.3.3 YARN配置文件
配置yarn-site.xml
vim yarn-site.xml
---------------------
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
</property>
</configuration>
---------------------
2.3.4 MapReduce配置文件
配置mapred-site.xml
vim mapred-site.xml
------------------------
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
------------------------
2.3.5 在集群上分发配置好的Hadoop配置文件
xsync /opt/module/hadoop-3.1.3/etc/hadoop/