Hadoop2.5.2安裝與配置?

Hadoop2.5.2集群環境的搭建；

ubuntu1、ubuntu2、ubuntu3是我的三臺服務器hostname，可以用你對應的ip或者hostname代替，三臺服務器都是虛擬機；

配置SSH能實現三臺機器無密碼互相訪問；

15 Hadoop2.7.1安裝與配置

工具/原料

SSH

Hadoop2.5

Ubuntu14

VMware10

JDK1.7

方法/步驟

一、SSH配置：

1、首先在三臺服務器上安裝SSH，服務器IP地址為：

192.168.217.128;

192.168.217.129;

192.168.217.130

sudo apt-get install openssh-server openssh-client

2、然後分別在三臺服務器上執行以下命令，配置SSH免祕鑰：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

輸入命令：ssh localhost

第一次需要輸入密碼，然後再次輸入:ssh localhost

能無密碼登陸，說明配置成功

3、手動複製ubuntu2,ubuntu3 ~/.ssh/id_dsa.pub 文件內容添加到ubuntu1的~/.ssh/authorized_keys 文件中；

或者分別執行以下代碼（注：zhou是用戶名）：

在ubuntu2中執行

$ scp ~/.ssh/id_dsa.pub [email protected]:~/.ssh/authorized_keys

在ubuntu3中執行

$ scp ~/.ssh/id_dsa.pub [email protected]:~/.ssh/authorized_keys

4、將三臺服務器中~/.ssh/authorized_keys 文件內容複製成完全相同；

然後將三臺服務器中文件authorized_keys權限設置為：

chmod 600 authorized_keys

測試ssh ubuntu1

ssh ubuntu2

ssh ubuntu3

第一次需要密碼，之後就能實現三臺機器無密碼訪問。

二、java1.7安裝配置

1、執行：sudo apt-get install default-jdk

2、修改/etc/environment文件如下：

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin"

export JAVA_HOME=/usr/java/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

3、測試：java -version

三、hadoop安裝配置

1、下載解壓hadoop：

$ wget

$ sudo tar -xzvf hadoop-2.5.2.tar.gz -C /zhou/App

2、配置：etc/hadoop/core-site.xml

fs.defaultFS

hdfs://ubuntu1:9000

hadoop.tmp.dir

file:/home/yy/hadoop-2.5.2/tmp

io.file.buffer.size

131702

3、配置etc/hadoop/hdfs-site.xml

dfs.namenode.name.dir

/home/zhou/hadoop-2.5.2/dfs/name

dfs.datanode.data.dir

/home/zhou/hadoop-2.5.2/dfs/data

dfs.replication

2

dfs.namenode.secondary.http-address

ubuntu1:9001

dfs.webhdfs.enabled

true

4、配置etc/hadoop/mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

ubuntu1:10020

mapreduce.jobhistory.webapp.address

ubuntu1:19888

5、配置etc/hadoop/yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.auxservices.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

ubuntu1:8032

yarn.resourcemanager.scheduler.address

ubuntu1:8030

yarn.resourcemanager.resource-tracker.address

ubuntu1:8031

yarn.resourcemanager.admin.address

ubuntu1:8033

yarn.resourcemanager.webapp.address

ubuntu1:8088

yarn.nodemanager.resource.memory-mb

768

6、配置etc/hadoop/salves

ubuntu2

ubuntu3

7、將ubuntu1中hadoop整個目錄複製到ubunt2/ubunt3相同目錄下，必須保證三個服務器路徑配置完全一致

8、配置.bashrc文件

sudo gedit ~/.bashrc

該命令會打開該文件的編輯窗口，在文件末尾追加下面內容，然後保存，關閉編輯窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/zhou/App/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

8、sbin目錄下執行 ./start-all.sh

訪問到此安裝配置成功。