實現在windows下的eclipse開發hbase的非結構化數據的存儲和讀取。分佈式開發環境是以hadoop2.3cdh5+hbase0.96.1.1cdh5+zookeeper3.4.5搭建的。如果未有環境,可查看我的一個文章:“基於cloudera CDH5的環境搭建”
工具/原料
eclipse,個人比較喜歡oepe-12.1.1.2.1-juno-distro-win32
可去網上下載hadoop-eclipse-plugin-2.2.0.jar
方法/步驟
將下載的hadoop-eclipse-plugin-2.2.0.jar放到eclipse根目錄下的plugins目錄下,然後開啟eclipse。
配置hadoop location。些步驟不是開發必須,但是配置了後可在resource視圖下通過DFS location查看到hadoop的hdfs內容
修改開發機上的hosts。如添加:
192.168.17.129 master
192.168.17.128 slave1
192.168.17.131 slave2
開發過程:
1、連接到hbase。
建表。這個示例代碼是建立三個column family分別為column1、colunm2和column3
入數據。在上面建好的表實現將文件以byte[]形式存儲到hdfs中。ByteUtil.file2Bytes是我自定義的方法,就是通過流方式讀取將文件變成byte[]的過程。
刪除表。
全表查詢
根據rowkey數據進行行數據查詢
根據某個column下的qulify進行查詢
組合條件查詢