安裝好HDFS後配置yarn和MapReduce?
HDFS配置好後，如何配置單機和叢集的Yarn以及MapReduce
工具/原料
Hadoop2.6
CentOS虛擬伺服器3臺
方法/步驟
如果是重新安裝和配置MapReduce，首先清空資料資料夾，本人的資料資料夾在/root/data下
輸入如下命令：
cd /root/data
rm -rf *
清空所有檔案以後，輸入命令格式化hdfs節點
hdfs namenode -format
啟動hdfs，並測試
啟動hdfs命令 start-dfs.sh
測試通過以後開始配置 yarn框架
首先來到hadoop的配置資料夾下
cd /root/hadoop/etc/hadoop
拷貝hadoop配置資料夾下的mapred-site.xml.template
重新命名為mapred-site.xml，命令如下：
cp mapred-site.xml.template mapred-site.xml
注意：hadoop資料夾下預設是有一個mapred-site.xml檔案的，在拷貝之前請先把那個檔案刪除，預設的檔案時空檔案。
拷貝完成以後在新增如下標籤
注意：configuration標籤是存在的只需要將name-value對放入就可以了。
配置完成以後，再配置yarn-site.xml
vi yarn-site.xml
並在yarn-site.xml的configuration中加入如下配置
儲存退出，以上是yarn的最基本的配置
輸入命令
start-yarn.sh
啟動yarn
如果啟動成功後，利用jps檢視程序會發現出現瞭如下程序
namenode
datanode
secondarynamenode
以上三個程序是hdfs的程序
nodemanager
resourcemanager
以上兩個是yarn的程序
jps
是java自己的程序
一共會出現6個程序，這證明yarn被成功啟動了
測試當前yarn
首先利用hdfs建立根目錄下的test資料夾
hdfs dfs -mkdir /test
將/root/hadoop/etc/hadoop下所有的xml檔案拷入test資料夾
hdfs dfs -put *.xml /test
然後進入目錄/root/hadoop/share/hadoop/mapreduce
cd /root/hadoop/share/hadoop/mapreduce
找到hadoop給的測試用例
hadoop-mapreduce-examples-2.6.0.jar
輸入命令
hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /test /output
wordcount是文字記數
/test是輸入
/output是輸出
執行完成以後，進入到output資料夾下
hdfs dfs -ls /output
hdfs dfs cat /output/xxxxx
如果結果正常，證明單機版的yarn已經成功構架
單機版的yarn配置好以後，配置叢集版的yarn
叢集版的配置與單機版的配置主要區別還是集中在xml檔案的配置上
第一個配置檔案就是yarn-site.xml
vi /root/hadoop/etc/hadoop/yarn-site.xml
新增如下配置：
配置yarn的resourcemanager訪問地址
配置yarn的排程器scheduler訪問地址
配置yarn的resource-tracker訪問地址
配置yarn.nodemanager.aux-services
第二個配置檔案就是mapreduce-site.xml
配置好以後將所有檔案同步到叢集當中，命令如下：
scp /root/hadoop/etc/hadoop/*.xml hadoop2:/root/hadoop/etc/hadoop/
在slaves中配置hadoop叢集
重啟hadoop後，叢集配置成功