hadoop 1. hadoop简介及集群搭建

Hadoop简介

Hadoop 是一个适合大数据的分布式存储和计算平台。如前所述，狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多其他软件框架

Hadoop生态圈技术栈

Hadoop(HDFS + MapReduce + Yarn)
Hive 数据仓库工具
HBase 海量列式非关系型数据库
Flume 数据采集工具
Sqoop 数据迁移工具
Kafka 高吞吐消息中间件

Hadoop的发行版本

企业中主要用到的三个版本分别是:Apache Hadoop版本(最原始的，所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop，简称“CDH”)、 Hortonworks版本(Hortonworks Data Platform，简称“HDP”)

Apache Hadoop 原始版本官网地址:http://hadoop.apache.org/
- 优点:拥有全世界的开源贡献，代码更新版本比较快，学习非常方便
- 缺点:版本的升级，版本的维护，以及版本之间的兼容性
- Apache所有软件的下载地址(包括各种历史版本):http://archive.apache.org/dist/
ClouderaManager CDH版本 — 生产环境使用
官网地址:https://www.cloudera.com/
Cloudera主要是美国一家大数据公司在Apache开源Hadoop的版本上，通过自己公司内部的各种补丁，实现版本之间的稳定运行，大数据生态圈的各个版本的软件都提供了对应的版本，解决了版本的升级困难，版本兼容性等各种问题，生产环境强烈推荐使用
HortonWorks HDP版本 — 生产环境使用
官网地址:https://hortonworks.com/ hortonworks主要是雅虎主导Hadoop开发的副总裁，带领二十几个核心成员成立Hortonworks，核心产品软件HDP(ambari)，HDF免费开源，并且提供一整套的web管理界面，供我们可以通过web界面管理我们的集群状态，web管理界面软件HDF网址(http://ambari.apache.org/)

Hadoop的特点

Hadoop的优点

Hadoop具有存储和处理数据能力的高可靠性。
Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。
Hadoop能够在节点之间进行动态地移动数据，并保证各个节点的动态平衡，处理速度非常快，具有高效性。
Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配，具有高容错性。

Hadoop的缺点

Hadoop不适用于低延迟数据访问。
Hadoop不能高效存储大量小文件。
Hadoop不支持多用户写入并任意修改文件。

Apache Hadoop的重要组成

Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块

1. Hadoop HDFS

(Hadoop Distribute File System )一个高可靠、高吞吐量的分布式文件系统。
数据切割、制作副本、分散储存

比如:100T数据存储，
“分而治之” 分:拆分–》数据切割，100T数据拆分为10G一个数据块由一个电脑节点存储这个数据块。

注：NN，2NN,DN这些既是角色名称，进程名称，代指电脑节点名称!!

NameNode(nn) 存储文件的元数据，比如文件名、文件目录结构、文件属性(生成时间、副
本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。
SecondaryNameNode(2nn) 辅助NameNode更好的工作，用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据快照。
DataNode(dn) 在本地文件系统存储文件块数据，以及块数据的校验

2. Hadoop MapReduce

一个分布式的离线并行计算框架
拆解任务、分散处理、汇整结果

MapReduce计算 = Map阶段 + Reduce阶段

Map阶段就是“分”的阶段，并行处理输入数据;
Reduce阶段就是“合”的阶段，对Map阶段结果进行汇总;

3. Hadoop YARN

作业调度与集群资源管理的框架
Yarn中有如下几个主要角色，同样，既是角色名、也是进程名，也指代所在计算机节点名称。

ResourceManager是老大，NodeManager是小弟，ApplicationMaster是计算任务专员

ResourceManager(rm) 处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度
NodeManager(nm) 单个节点上的资源管理、处理来自ResourceManager的命令、处理来自
ApplicationMaster的命令
ApplicationMaster(am) 数据切分、为应用程序申请资源，并分配给内部任务、任务监控与容错
Container 对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。

4. Hadoop Common

支持其他模块的工具模块(Configuration、RPC、序列化机制、日志操作)

完全分布式集群搭建

Hadoop框架是采用Java语言编写，需要java环境(jvm)
JDK版本:必须使用JDK8版本

Hadoop搭建方式
- 单机模式:单节点模式，非集群，生产不会使用这种方式
- 单机伪分布式模式:单节点，多线程模拟集群的效果，生产不会使用这种方式
- 完全分布式模式:多台节点，真正的分布式Hadoop集群的搭建(生产环境建议使用这种方式)

1. 虚拟机环境准备

1. 使用三台centos7的虚拟机(静态IP，关闭防火墙，修改主机名，配置免密登录，集群时间同步)

创建文件夹目录

mkdir -p /opt/lagou/software --软件安装包存放目录   
mkdir -p /opt/lagou/servers --软件安装目录  

3.下载hadoop源码 https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/
4.上传hadoop安装文件到/opt/lagou/software

2. 集群规划

框架	centos7-1	centos7-2	centos7-3
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	NodeManager	NodeManager、ResourceManager

3.安装Hadoop

基本安装
- 1. 解压hadoop安装包登录centos7-1节点;进入/opt/lagou/software,解压安装文件到/opt/lagou/servers
```
tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers  
```
- 1. 添加hadoop环境变量到 /etc/profile
    #HADOOP_HOME # 这个路径可能需要更改为当前实际目录 export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
- 1. source /etc/profile 使环境变量生效
- 1. hadoop version
  验证hadoop
- 5.hadoop目录
  1. bin目录:对Hadoop进行操作的相关命令，如hadoop,hdfs等
  2. etc目录:Hadoop的配置文件目录，入hdfs-site.xml,core-site.xml等 3. lib目录:Hadoop本地库(解压缩的依赖)
  3. sbin目录:存放的是Hadoop集群启动停止相关脚本，命令
  4. share目录:Hadoop的一些jar,官方案例jar，文档等

集群配置 Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置

HDFS集群配置所有xml文件的配置信息都要写在

内部

将JDK路径明确配置给HDFS(修改hadoop-env.sh) 跳转到配置文件目录
```
cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop  
```

vim hadoop-env.sh  
		    
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

指定NameNode节点以及数据存储目录(修改core-site.xml)

vim core-site.xml  
		    
<configuration>  
<!-- 指定HDFS中NameNode的地址 -->  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://centos7-1:9000</value>  
</property>  
		    
<!-- 指定Hadoop运行时产生文件的存储目录 -->   
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>  
</property>  
</configuration>  
		    

可以在官方文档查看配置的解释

core-site.xml的默认配置

指定SecondaryNameNode节点(修改hdfs-site.xml)

vim hdfs-site.xml  
		    
		    
<configuration>  
		    
<!-- 指定Hadoop辅助名称节点主机配置 -->  
<property>  
	<name>dfs.namenode.secondary.http-address</name>  
      <value>centos7-3:50090</value>  
</property>  
		    
<!--副本数量 -->  
<property>  
        <name>dfs.replication</name>  
        <value>3</value>  
</property>  
		    
</configuration>  
		    

官方默认配置

1. 指定DataNode从节点(修改etc/hadoop/slaves文件，每个节点配置信息占一行)
```
vim slaves  
		    
centos7-1  
centos7-2  
centos7-3  
```
注意:该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

MapReduce集群配置

将JDK路径明确配置给MapReduce(修改mapred-env.sh)

vim mapred-env.sh  
		    
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231  

指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)

		    
mv mapred-site.xml.template mapred-site.xml  
vim mapred-site.xml  
		    
<!-- 指定MR运行在Yarn上 --> <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
</property>  

mapred-site.xml默认配置

Yarn集群配置

将JDK路径明确配置给Yarn(修改yarn-env.sh)

vim yarn-env.sh  
		    
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231  

指定ResourceManager老大节点所在计算机节点(修改yarn-site.xml)

vim yarn-site.xml  
		    
<!-- 指定YARN的ResourceManager的地址 -->   
<property>  
	<name>yarn.resourcemanager.hostname</name>  
	<value>centos7-3</value>  
</property>  
		    
<!-- Reducer获取数据的方式 --> <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  

yarn-site.xml的默认配置

1. 指定NodeManager节点(会通过slaves文件内容确定)

修改hadoop文件群组 Hadoop安装目录所属用户和所属用户组信息，默认是501 dialout，而我们操作Hadoop集群的用户使用的是虚拟机的root用户，
所以为了避免出现信息混乱，修改Hadoop安装目录所属用户和用户组!!
```
chown -R root:root /opt/lagou/servers/hadoop-2.9.2  
```

分发配置

安装rsync rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别:用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
三台虚拟机安装rsync (执行安装需要保证机器联网)
```
 yum install -y rsync  
```
基本语法
```
rsync   -rvl    $pdir/$fname        $user@$host:$pdir/$fname  
	    
命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称  
```
-r 递归
-v 显示复制过程
-l 拷贝符号连接

集群分发脚本编写需求:循环复制文件到集群所有节点的相同目录下

 vim  /usr/local/bin/rsync-script  
	    
#!/bin/bash  
	    
#1 获取命令输入参数的个数，如果个数为0，直接退出命令   
paramnum=${#}  
if((paramnum==0));then  
echo no params;  
exit;   
fi  
	    
	    
#2 根据传入参数获取文件名称   
p1=$1   
file_name=`basename $p1`   
echo fname=$file_name  
	    
#3 获取输入参数的绝对路径  
pdir=`cd -P $(dirname $p1); pwd`  
echo pdir=$pdir  
	    
#4 获取用户名称  
user=`whoami`  
	    
	    
#5 循环执行rsync  
for((host=1; host<4; host++)); do  
echo ------------------- centos7-$host --------------  
 rsync -rvl $pdir/$file_name $user@centos7-$host:$pdir  
done  

修改脚本 rsync-script 具有执行权限
```
chmod 777 rsync-script  
```
调用脚本分发Hadoop安装目录到其它节点
```
rsync-script /opt/lagou/servers/hadoop-2.9.2  
```

4. 启动集群

注意: 如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格式化Namenode操作!!

单点启动
- 1. 格式化namenode 如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格式化Namenode操作!!
```
[root@centos7-1 hadoop] hadoop namenode -format  

# Format a new filesystem.  Destroys any filesystem that may already exist at this location.
```
  清空namenode现有的metadata,并初始化新的metadata
- 1. 在centos7-1上启动NameNode
    [root@centos7-1 hadoop]# hadoop-daemon.sh start namenode # 查看是否启动成功 [root@centos7-1 hadoop]# jps
- 1. 在centos7-1、centos7-2以及centos7-3上分别启动DataNode
    hadoop-daemon.sh start datanode
- 1. web端查看HDFS界面 nameNode所在机器的域名，或者ip
    [http://centos7-1:50070]
- 1. Yarn集群单节点启动 centos7-3
```
[root@centos7-3 hadoop-2.9.2] yarn-daemon.sh start resourcemanager  
```
  centos7-1、centos7-2、centos7-3
```
yarn-daemon.sh start nodemanager  
```
集群启动
- 1. 格式化namenode 如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格式化Namenode操作!!
```
[root@centos7-1 hadoop] hadoop namenode -format  
```
- 1. 启动HDFS centos7-1
```
[root@centos7-1 sbin]  /opt/lagou/servers/hadoop-2.9.2/sbin/start-dfs.sh  
```
- 1. 启动YARN centos7-3
```
[root@centos7-3 sbin]  /opt/lagou/servers/hadoop-2.9.2/sbin/start-yarn.sh  
```
  注意:NameNode和ResourceManger不是在同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

停止命令

分别启动/停止HDFS组件

hadoop-daemon.sh  start / stop  namenode / datanode / secondarynamenode

启动/停止YARN

yarn-daemon.sh  start / stop  resourcemanager / nodemanager

1. 整体启动/停止HDFS
```
start-dfs.sh  /  stop-dfs.sh  
```
1. 整体启动/停止YARN
```
start-yarn.sh  /  stop-yarn.sh  
```

5. 集群测试

HDFS 分布式存储初体验

hdfs dfs -mkdir -p /test/input   
#本地hoome目录创建一个文件  
cd /root  
    
vim test.txt  
    
hello hdfs  
    
#上传linux文件到Hdfs  
hdfs dfs -put /root/test.txt /test/input  
    
    
#从Hdfs下载文件到linux本地  
hdfs dfs -get /test/input/test.txt  

web查看上传的文件

MapReduce 分布式计算初体验

在HDFS文件系统根目录下面创建一个wcinput文件夹

[root@centos7-1 hadoop-2.9.2]$ hdfs dfs -mkdir /wcinput  

在/root/目录下创建一个wc.txt文件(本地文件系统)

vi wc.txt  
	    
hadoop mapreduce yarn  
hdfs hadoop mapreduce  
mapreduce yarn lagou  
lagou  
lagou  

1. 上传wc.txt到Hdfs目录/wcinput下
```
hdfs dfs -put wc.txt /wcinput  
```

执行jar指令回到Hadoop目录/opt/lagou/servers/hadoop-2.9.2 执行程序

hadoop jar  
 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount   
/wcinput  
/wcoutput  

1. 查看结果查看yarn记录
  yarn主机所在：http://centos7-3:8088
```
hdfs dfs -cat /wcoutput/part-r-00000  
```

6. 配置历史服务器

在Yarn中运行的任务产生的日志数据不能查看，为了查看程序的历史运行情况，需要配置一下历史日志服务器。

配置mapred-site.xml

cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop  
    
[root@centos7-1 hadoop]$ vi mapred-site.xml  

<!-- 历史服务器端地址 -->  
<property>  
    <name>mapreduce.jobhistory.address</name>  
    <value>centos7-1:10020</value>  
</property>  
<!-- 历史服务器web端地址 -->  
<property>  
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>centos7-1:19888</value>  
</property>  

1. 分发mapred-site.xml到其它节点
```
rsync-script mapred-site.xml  
```

配置日志的聚集日志聚集:应用( Job)运行完成以后，将应用运行日志信息从各个task汇总上传到HDFS系统上。日志聚集功能好处:可以方便的查看到程序运行详情，方便开发调试。

注意:开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和 HistoryManager

vim /etc/yarn-site.xml  
    
<!-- 日志聚集功能 -->  
<property>  
        <name>yarn.log-aggregation-enable</name>  
        <value>true</value>  
</property>  
    
<!-- 日志保留时间设置7天 -->  
<property>  
        <name>yarn.log-aggregation.retain-seconds</name>  
        <value>604800</value>  
</property>  

分发yarn-site.xml到集群其它节点

rsync-script yarn-site.xml

启动历史服务器

[root@centos7-1 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

1. 查看JobHistory http://centos7-1:19888/jobhistory