Hadoop部署准备 本地vmware安装 Linux系统家族中 centos7 下载地址http://101.110.118.58/isoredirect.centos.org/centos/7/isos/x86\_64/CentOS-7-x86\_64-Minimal-1611.iso Java对应版本1.8.0_121 Hadoop版本2.8.0下载地址 http://mirror.bit.edu.cn/apache/hadoop/common/ 可以根据自己喜好的版本下载

1.基本配置

首先安装一个centos7并配置好java Java环境配置 我的java安装地址 /usr/java/ jdk1.8.0_121 编辑java环境 vi ~/.bash_profile 添加或修改 export JAVA_HOME=/usr/java/jdk1.8.0_121 export PATH=$JAVA_HOME/bin:$PATH 执行 . ~/.bash_profile 使变量生效

2.ssh配置

先 yum install ssh 安装 然后执行 ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa 生成密匙

3.hadoop配置

把下载好的hadoop解压出来。（我的地址在/roo目录,即完整地址/root/hadoop） 配置环境变量 vi ~/.bash_profile export HADOOP_HOME=/root/hadoop export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin 执行 . ~/.bash_profile 使变量生效

4.hadoop文件配置

首先给本机命名个名字：例如我这边是s204 就执行 hostnamectl set-hostname s204 变更主机名字 然后在/root/hadoop目录下 依次执行编辑

vim etc/hadoop/core-site.xml

在中加入 fs.defaultFS hdfs://s204:9000 hadoop.tmp.dir file:/root/hadoop/tmp io.file.buffer.size 131702 hadoop.proxyuser.hadoop.hosts * hadoop.proxyuser.hadoop.groups *

vim etc/hadoop/hdfs-site.xml

在中加入 dfs.namenode.name.dir file:/root/hadoop/hdfs/name dfs.datanode.data.dir file:/root/hadoop/hdfs/data dfs.replication 3 dfs.namenode.secondary.http-address s204:9001 dfs.webhdfs.enabled true

vim etc/hadoop/mapred-site.xml

在中加入 mapreduce.framework.name yarn mapreduce.jobhistory.address s204:10020 mapreduce.jobhistory.webapp.address s204:19888

vim etc/hadoop/yarn-site.xml

在中加入 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address s204:8032 yarn.resourcemanager.scheduler.address s204:8030 yarn.resourcemanager.resource-tracker.address s204:8031 yarn.resourcemanager.admin.address s204:8033 yarn.resourcemanager.webapp.address s204:8088 yarn.nodemanager.resource.memory-mb 6078

vim etc/hadoop/yarn-env.sh

中找到 export JAVA_HOME 去掉注释 编辑java地址 export JAVA_HOME=/usr/java/jdk1.8.0_121 找到JAVA_HEAP_MAX=-Xmx1000m 改为 JAVA_HEAP_MAX=-Xmx1024m

vim etc/hadoop/slaves

清空添加 s204

网络配置

我这ip是 192.168.5.9 编辑网络固定ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 指定固定ip TYPE=”Ethernet” #BOOTPROTO=”dhcp” DEFROUTE=”yes” PEERDNS=”yes” PEERROUTES=”yes” IPV4_FAILURE_FATAL=”no” IPV6INIT=”yes” IPV6_AUTOCONF=”yes” IPV6_DEFROUTE=”yes” IPV6_PEERDNS=”yes” IPV6_PEERROUTES=”yes” IPV6_FAILURE_FATAL=”no” IPV6_ADDR_GEN_MODE=”stable-privacy” NAME=”ens33” UUID=”b9fe1e5c-be20-47f1-a2d3-e12f5ddb6aa1” DEVICE=”ens33” ONBOOT=”yes” IPADDR0=192.168.5.9 PREFIX0=24 GATEWAY0=192.168.5.2 DNS1=114.114.114.114 然后重启网络 systemctl restart network 执行 ip add 查看网络ip是否和设定的一致

Hadopp启动

进入/root/hadoop目录 执行编译 ./bin/hdfs namenode –format 结果倒数第五行出现 Exiting with status 0 则为成功 然后启动 ./sbin/start-all.sh 启动完毕执行./bin/hdfs dfsadmin –report 查看是否有节点 如果返回 无法连接则为启动失败 执行systemctl stop firewalld.service关闭防火墙 在浏览器输入s204:8088则可以看到hadoop界面

其他节点配置

以上配置完毕后，关闭centos7 然后完全克隆，在新克隆的系统中，更改ip地址和主机名 其中hadoop配置文件 etc/hadoop/hdfs-site.xml 中 dfs.datanode.data.dir file:/root/hadoop/hdfs/data 的file地址不能一样。 我这边三个地址分别为 file:/root/hadoop/hdfs/data file:/root/hadoop/hdfs/data/205 file:/root/hadoop/hdfs/data/206 克隆完毕，配置文件和ip、主机名修改好后。在s204机器中编辑 vim etc/hadoop/slaves 加入 s205 s206 复制ssh令牌免密登录 例如复制到s205 scp ~/.ssh/authorized_keys root@s205:~/.ssh/ 其他另个机器也一样操作 另外几个机器也要编译一下 然后在s204停止hadoop ./sbin/stop-all.sh 再次启动./sbin/start-all.sh 在浏览器就可以看到三个节点。

赏

一只PHP开发的程序猿，偶尔搞搞摄影、画画、写作、顺便睡觉。

支付宝

微信