大數據系列-hadoop2集群環境搭建(一)?

hadoop2集群環境安裝簡介

工具/原料

linux系統，兩臺虛機

hadoop-2.6.0.tar.gz為例講解

方法/步驟

環境準備：

安裝虛機兩臺，無需安裝兩個，裝好一個後，直接clone另外一臺即可；

兩臺機器，master（192.168.126.128）、slave（192.168.126.129），兩臺機器使用Network Adapter使用net模式。

創建兩臺機器無密碼登錄（啟動時方便）

# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

直接回車，完成後會在~/.ssh/生成兩個文件：id_dsa 和id_dsa.pub。這兩個是成對出現，類似鑰匙和鎖。再把id_dsa.pub 追加到授權key 裡面(當前並沒有authorized_keys文件)：

#cd ~/.ssh# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。

完成後可以實現無密碼登錄本機：# ssh localhost。

把主節點公鑰信息id_dsa.pub 放到從節點（192.168.126.129）datanode的.ssh/authorized_keys中：

#scp id_dsa.pub [email protected]:/root/.ssh ,沒有目錄創建即可。

進入/root目錄執行： # cat id_dsa.pub >> .ssh/authorized_keys

然後在主節點可無密碼登錄從節點機器。#ssh 192.168.126.129

下載hadoop2.6.0穩定版本

下載地址：http://mirrors.hust.edu.cn/apache/hadoop/common/

#tar -xvf hadoop-2.6.0.tar.gz --解壓縮文件

安裝jdk

如果不會安裝請參看：http://hi.baidu.com/haobaoipv6/item/4cb75325a08a5d0b76272c95

注意：搭建hadoop1集群步驟

請訪問

關於hadoop2簡單介紹：

首先是主從結構，主節點可以有兩個進程（ResourceManager）更好的HA高性能，從節點可以有多個（NodeManager），ResourceManager主要負責集群資源的分配和調度，NodeManager主要負責單節點管理datanade。

MapReduce的框架和hadoop1一樣，只有一個jobTracker、多個tasktracker,相信大家已經理解，這裡不再解釋。

主要配置文件在/hadoop-2.6.0/etc/hadoop下：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml

#vi core-site.xml

fs.defaultFS

hdfs://192.168.126.128:9000

hadoop.tmp.dir

/usr/local/hadoop-2.6.0/tmp

fs.trash.interval

1440

# vi hdfs-site.xml

dfs.replication

1

dfs.permissions

false

#vi yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

vi mapred-site.xml 這個文件需要copy一份

mapreduce.framework.name

yarn

#vi slaves 文件

[[email protected] hadoop]# vi slaves

192.168.126.129

保存

把配置好的hadoop-2.6.0 copy到從節點機器相同目錄下：

#scp -rp hadoop-2.6.0 [email protected]:/usr/local/

啟動--格式化

bin/hdfs namenode -format

啟動-yarn

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

可以打開 表示成功。

啟動--historyserver

#sbin/mr-jobhistory-daemon.sh start historyserver

可以打開 表示成功。

上面步驟為了更加了解hadoop2各進程的作用，

也可以用一下命令，一次啟動。

[[email protected] sbin]# ./start-all.sh