Kali環境下自帶Java JDK,免去了安裝JDK的過程,對喜歡使用Kali做安全滲透的朋友,安裝Hadoop更為簡單。
工具/原料
Kali2.0,百度搜索,官網直接下載
方法/步驟
一、新建hadoop使用者組和hadoop使用者名稱 1.開啟終端視窗,然後輸入如下命令建立新使用者組。 $ sudo usergroup hadoop 2 .使用下面命令建立使用者名稱(筆者密碼為hadoop) $ sudo adduser -ingroup hadoop hadoop 3. 為hadoop增加管理員的許可權,以免之後出現許可權問題。 $ sudo gedit /etc/sudoers 然後編輯增添如下那句hadoop ALL(ALL:ALL) ALL,建議在新增時候直接複製root使用者那一行,然後將root使用者名稱改為hadoop即可。
4. 切換到剛剛建立的hadoop使用者。
$ su - hadoop
二、安裝配置ssh服務
Kali2.0的好處之一是自帶了ssh服務。
1. 安裝ssh $sudo apt-get installl openssh-server
2. 開啟ssh服務 $sudo /etc/init.d/ssh start
3. 確認服務是否正確啟動: $ ps -e grep ssh
4. 設定免密碼登入,生成私鑰和公鑰
$ ssh-keygen -t rsa -P ""
在輸入路徑那兒筆者直接回車,這樣在/home/hadoop/.ssh裡面生成兩個檔案 id_rsa、id_rsa.pub,前者是私鑰,後者是公鑰。
5. 接著將公鑰追加到authorized_keys裡面,它儲存所有允許以當前使用者身份登入到ssh客戶端使用者的公鑰內容。
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
6. 登陸ssh $ssh [email protected] 輸入yes回車!
2.7. 退出 $exit
三、安裝Java環境
因Kali2.0自帶java jdk,這裡只需確認java環境可用,並查詢jdk的安裝路徑。
1.確認java版本號
~$ java -version
2.查詢jdk路徑並記錄(後面配置要用到)
~$ update-alternatives --config java
爆出完整的路徑為:/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java,只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64。
四、hadoop安裝配置
1.解壓安裝
~$ sudo tar xzf hadoop-2.7.1.tar.gz
3)將hadoop移動到 /usr/local/hadoop目錄下:
~$ sudo mv hadoop-2.7.1 /usr/local/hadoop
4)要確保所有的操作都是在使用者hadoop下完成的:
~$ sudo chown -R hadoop:hadoop /usr/local/hadoop
2.配置.bashrc:
配置該檔案,需要知道Java的安裝路徑,上面已經找到路徑為:/usr/lib/jvm/java-7-openjdk-amd64。
修改.bashrc檔案:
~$ sudo gedit ~/.bashrc
在檔案末尾追加下面內容,然後儲存,關閉編輯視窗。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS='-Djava.library.path=$HADOOP_INSTALL/lib'
#HADOOP VARIABLES END
修改完成後使新增的環境變數生效:
~$ source ~/.bashrc
3.配置hadoop-env.sh
開啟hadoop-env.sh檔案:
~$ sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME變數,按如下進行修改:
~$ export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
修改後的hadoop-env.sh檔案如下所示:
使配置生效:
~$ source /usr/local/hadoop/conf/hadoop-env.sh
到這裡,單機模式的hadoop就全部安裝完畢了。
五、Hadoop測試
為了測試Hadoop安裝的正確性,我們可以用在帶的例子WordCount進行測試。
1) 在/usr/local/hadoop路徑下建立test資料夾
~$ mkdir test
2)拷貝 README.txt 到 test 資料夾
~$ cp README.txt test
3)執行WordCount程式例項
~$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount test output
注意事項
1.配置完.bashrc和hadoop-env.sh,使用source使配置生效
2.java jdk安裝路徑要正確