Hive?

Hive 報錯整理

工具/原料

Hive1.0

Hadoop 2.5

方法/步驟

1、Hive報錯為：There are 2 datanode(s) running and no node(s) are excluded in this operation.

詳細報錯為：

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/zhou/ed69eb4e-855a-4b18-a498-345e8685533a/hive_2015-12-14_05-32-03_335_9179215496953152524-1/-mr-10004/f8d2e938-b439-495f-b886-801c98f660da/map.xml could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation.

解決方法：

出現此類報錯主要原因是datanode存在問題，要麼硬盤容量不夠，要麼datanode服務器down了。檢查datanode，重啟Hadoop即可解決。

2、Hive存儲一千萬數據，佔用HDFS空間容量為7G左右，並且此時進行count(*)操作，兩臺datanode情況下，速度比較慢。Hive主要將數據存儲在Datanode服務器節點上，所以Datanode服務器硬盤空間要求比較高。