Kali2.0環境下安裝Hadoop-2.7.1-單機版?

Tags: 環境, 自帶,

Kali環境下自帶Java JDK,免去了安裝JDK的過程,對喜歡使用Kali做安全滲透的朋友,安裝Hadoop更為簡單。

工具/原料

Kali2.0,百度搜索,官網直接下載

方法/步驟

一、新建hadoop使用者組和hadoop使用者名稱 1.開啟終端視窗,然後輸入如下命令建立新使用者組。 $ sudo usergroup hadoop 2 .使用下面命令建立使用者名稱(筆者密碼為hadoop) $ sudo adduser -ingroup hadoop hadoop 3. 為hadoop增加管理員的許可權,以免之後出現許可權問題。 $ sudo gedit /etc/sudoers 然後編輯增添如下那句hadoop ALL(ALL:ALL) ALL,建議在新增時候直接複製root使用者那一行,然後將root使用者名稱改為hadoop即可。

4. 切換到剛剛建立的hadoop使用者。

$ su - hadoop

Kali2.0環境下安裝Hadoop-2.7.1-單機版

Kali2.0環境下安裝Hadoop-2.7.1-單機版

Kali2.0環境下安裝Hadoop-2.7.1-單機版

二、安裝配置ssh服務

Kali2.0的好處之一是自帶了ssh服務。

1. 安裝ssh $sudo apt-get installl openssh-server

2. 開啟ssh服務 $sudo /etc/init.d/ssh start

3. 確認服務是否正確啟動: $ ps -e grep ssh

4. 設定免密碼登入,生成私鑰和公鑰

$ ssh-keygen -t rsa -P ""

在輸入路徑那兒筆者直接回車,這樣在/home/hadoop/.ssh裡面生成兩個檔案 id_rsa、id_rsa.pub,前者是私鑰,後者是公鑰。

5. 接著將公鑰追加到authorized_keys裡面,它儲存所有允許以當前使用者身份登入到ssh客戶端使用者的公鑰內容。

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

6. 登陸ssh $ssh [email protected] 輸入yes回車!

2.7. 退出 $exit

Kali2.0環境下安裝Hadoop-2.7.1-單機版

Kali2.0環境下安裝Hadoop-2.7.1-單機版

Kali2.0環境下安裝Hadoop-2.7.1-單機版

Kali2.0環境下安裝Hadoop-2.7.1-單機版

三、安裝Java環境

因Kali2.0自帶java jdk,這裡只需確認java環境可用,並查詢jdk的安裝路徑。

1.確認java版本號

~$ java -version

2.查詢jdk路徑並記錄(後面配置要用到)

~$ update-alternatives --config java

爆出完整的路徑為:/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java,只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64。

Kali2.0環境下安裝Hadoop-2.7.1-單機版

四、hadoop安裝配置

1.解壓安裝

    ~$ sudo tar xzf hadoop-2.7.1.tar.gz

  3)將hadoop移動到 /usr/local/hadoop目錄下:

    ~$ sudo mv hadoop-2.7.1 /usr/local/hadoop

  4)要確保所有的操作都是在使用者hadoop下完成的:

    ~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

2.配置.bashrc:

配置該檔案,需要知道Java的安裝路徑,上面已經找到路徑為:/usr/lib/jvm/java-7-openjdk-amd64。

 修改.bashrc檔案:

   ~$ sudo gedit ~/.bashrc

在檔案末尾追加下面內容,然後儲存,關閉編輯視窗。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS='-Djava.library.path=$HADOOP_INSTALL/lib'

#HADOOP VARIABLES END

修改完成後使新增的環境變數生效:

  ~$ source ~/.bashrc

3.配置hadoop-env.sh

  開啟hadoop-env.sh檔案:

  ~$ sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

  找到JAVA_HOME變數,按如下進行修改:

  ~$ export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

修改後的hadoop-env.sh檔案如下所示:

  使配置生效:

    ~$ source /usr/local/hadoop/conf/hadoop-env.sh

  到這裡,單機模式的hadoop就全部安裝完畢了。

Kali2.0環境下安裝Hadoop-2.7.1-單機版

Kali2.0環境下安裝Hadoop-2.7.1-單機版

Kali2.0環境下安裝Hadoop-2.7.1-單機版

五、Hadoop測試

為了測試Hadoop安裝的正確性,我們可以用在帶的例子WordCount進行測試。

  1) 在/usr/local/hadoop路徑下建立test資料夾

    ~$ mkdir test

  2)拷貝 README.txt 到 test 資料夾

    ~$ cp README.txt test

  3)執行WordCount程式例項

   ~$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount test output

Kali2.0環境下安裝Hadoop-2.7.1-單機版

注意事項

1.配置完.bashrc和hadoop-env.sh,使用source使配置生效

2.java jdk安裝路徑要正確

相關問題答案