2011年11月24日 星期四

【Hadoop】疑難排除

在安裝完sqoop之後準備要跑import Mysql,
出現錯誤訊息
It seems as though you are running sqoop with a JRE.

因起先使用的JAVA是JDE  -----
所以造成這個問題,最後改成JRE後啟動正常,但依然出現錯誤訊息
cannot restore segment prot after reloc: Permission denied

解決方法:
chcon -t texrel_shlib_t /usr/java/jdk1.7.0_01//jre/lib/i386/client/libjvm.so


若發現master跟slaves機器node沒有串起來,
先查看/etc/hosts是不是有相衝的domain name對兩個ip
然後關閉iptables,然後重啟hadoop,再report看一下

串起來後還有一個問題是mysql的連接,因為分散掉資料運算,所以除了本機機器外,其它機器需授權讀取master本機的資料庫,所以要到資料庫中設定一組新的專用於hadoop讀取用的機器

解決方法:

GRANT ALL PRIVILEGES ON *.* TO <帳號>@'<本機ip或domain name>' IDENTIFIED BY '<密碼>';  --------注意! 此指令權限是全開的
以上指令要做兩次
第二次的指令為
GRANT ALL PRIVILEGES ON *.* TO <帳號>@'%' IDENTIFIED BY '<密碼>';  --------注意! 此指令權限是全開的

%代表外部所有連入接受

Mysql資料來源:http://itzone.hk/article/article.php?aid=200406230146464878

如果輸出時已有該資料夾會造成hadoop error
例如:曾輸出資料夾output,要再輸出一個新的資料夾output的話,需要把舊的刪除或是用新的名字輸出 

沒有留言:

張貼留言