Hive?
Hive 報錯整理
工具/原料
Hive1.0
Hadoop 2.5
方法/步驟
1、Hive報錯為:There are 2 datanode(s) running and no node(s) are excluded in this operation.
詳細報錯為:
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/zhou/ed69eb4e-855a-4b18-a498-345e8685533a/hive_2015-12-14_05-32-03_335_9179215496953152524-1/-mr-10004/f8d2e938-b439-495f-b886-801c98f660da/map.xml could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation.
解決方法:
出現此類報錯主要原因是datanode存在問題,要麼硬盤容量不夠,要麼datanode服務器down了。檢查datanode,重啟Hadoop即可解決。
2、Hive存儲一千萬數據,佔用HDFS空間容量為7G左右,並且此時進行count(*)操作,兩臺datanode情況下,速度比較慢。Hive主要將數據存儲在Datanode服務器節點上,所以Datanode服務器硬盤空間要求比較高。