如何安裝分佈式hbase?分佈式hbase安裝詳解?

Tags: 數據, 工程師,

大數據挖掘和雲已經是IT技術圈內最熱的詞語,雲就不說了,絕對是讓少部分IT人好起來,而大部分IT工程師活得更慘的物件。前幾天,國家也出臺了大數據綱要,為了今後能不被淘汰,要抓住大數據的機遇,趕緊補充這方面的知識。

工具/原料

hapdoop已正常啟動

免SSH登錄已配置

方法/步驟

下載hbase的安裝包,hbase和底層的hdoop有一定的關聯適配關係,應可能下載相配套的版本,可以少走很多彎路,下載後傳到預定為hbase master的主機上。小編的版本比較老,hadoop為0.20.2,hbase是0.95.5

如何安裝分佈式hbase?分佈式hbase安裝詳解

hbase的安裝很簡單,用tar命令解壓縮即可使用,不會與其它包產生互相依賴關係,但運行的前提是java和hapdoop都已經正確安裝,而且確定已經能夠啟動hadoop軟件。

如何安裝分佈式hbase?分佈式hbase安裝詳解

解決完成後,進入到前一步hbase的解壓目錄,進到conf子目錄,需要修改一些配置文件後,hbase才能正常啟動,如下圖所示,主要是三個文件hbase-env.sh、regionservers和hbase-site.xml。

如何安裝分佈式hbase?分佈式hbase安裝詳解

hbase-env.sh是hbase的環境配置文件,需要 將JAVA_HOME和HBASE_MANAGES_ZK進行修改,其中java_home目錄代表java在本機的安裝目錄,HBASE_MANAGES_ZK取決於zookeeper是否單獨安裝,如和小編一樣象省點事,就用hbase自帶的,需要將HBASE_MANAGES_ZK前的註釋去掉,賦值為True。

如何安裝分佈式hbase?分佈式hbase安裝詳解

regionservers文件的修改很簡潔,只要把所有的datanode主機名寫入該文件即可,需要注意的是如果把hbase的master是單獨安裝的,那不需要將不參與數據分佈的機器名寫在這個配置文件裡。

如何安裝分佈式hbase?分佈式hbase安裝詳解

hbase-site.xml配置文件缺省是沒有配置項的,需要寫入的信息較多,具體如下圖所示,至少需要配置hbase.rootdir、hbase.cluster.distributed、hbase.zookeeper.quorum、hbase.tmp.dir四項。其中hbase.cluster.distributed按下圖配置即可。

如何安裝分佈式hbase?分佈式hbase安裝詳解

hbase.rootdir為hadoop的配置,因此需要與本機hadoop的配置一致,具體文件可參見hadoop的conf目錄下的core-site.xml中fs.default.name下的屬性,如下圖所示。

如何安裝分佈式hbase?分佈式hbase安裝詳解

hbase.tmp.dir項要注意的是配置中目錄,一定要預先建立,系統不會自動創建,否則hbase是無法正常啟動的。hbase.zookeeper.quorum下配置的機器數需要是單數,雙數將無數啟動。

如何安裝分佈式hbase?分佈式hbase安裝詳解

所有hbase的主機用scp命令從已安裝的機器上覆制整個hbase安裝目錄,複製完成後,可能需要修改hbase-env.sh中java_home配置,如果所有主機的配置都一樣,就不需要作修改

如何安裝分佈式hbase?分佈式hbase安裝詳解

在hmater主機上鍵入./start-hbase.sh命令啟動數據庫,不需要在其它節點執行。正常啟動後在mater上有兩個進程,HMaster和 HQuorumPeer;數據節點上有HRegionServer和HQuorumPeer進程。

如何安裝分佈式hbase?分佈式hbase安裝詳解

全部安裝完成後,可以用URL的方式來檢驗是否正確安裝,具體格式為:如下圖所示,如安裝正常,將url能打開,且能看到所有節點的情況。

如何安裝分佈式hbase?分佈式hbase安裝詳解

相關問題答案