資訊備忘錄: 11月 2011

2011年11月25日星期五

【Tools】強大的密碼發生器(Strong Password Generator)

~~http://163.21.2.95/class96/class9602/Strong%20Password%20Generator.files/~~
~~www.google.com/ig/directory?type=gadgets...tor.xml&hl=zh-tw~~
http://www.ifreesite.com/password/

【Linux】查看使用者最後登入時間 (last、lastlog)

查詢機器所有登入紀錄使用lastlog
子方法
Options:
-b, --before DAYS     print only lastlog records older than DAYS
-h, --help            display this help message and exit
-t, --time DAYS       print only lastlog records more recent than DAYS
-u, --user LOGIN      print lastlog record for user with specified LOGIN
查詢自己的登入歷史紀錄, 使用 last 查看

2011年11月24日星期四

【Hadoop】指令備忘

hadoop jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

hadoop dfsadmin -safemode leave

hadoop namenode -format

hadoop dfsadmin -report

hadoop fs -ls
hadoop fs -lsr
hadoop fs -rmr

bin/sqoop import --connect jdbc:mysql://hds01:3306/sqoop --table student --username hadoop -P

【Hadoop】建置Hadoop(三)設定sqoop

修改vim sqoop/bin/configure-sqoop

將HBASE跟ZOOKEEPER 關閉((除非有使用那些服務))
#if [ ! -d "${HBASE_HOME}" ]; then
# echo "Error: $HBASE_HOME does not exist!"
# echo 'Please set $HBASE_HOME to the root of your HBase installation.'
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo "Error: $ZOOKEEPER_HOME does not exist!"
# echo 'Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.'
# exit 1
#fi

【Hadoop】疑難排除

在安裝完sqoop之後準備要跑import Mysql,
出現錯誤訊息
It seems as though you are running sqoop with a JRE.

因起先使用的JAVA是JDE -----
所以造成這個問題，最後改成JRE後啟動正常，但依然出現錯誤訊息
cannot restore segment prot after reloc: Permission denied

解決方法：
chcon -t texrel_shlib_t /usr/java/jdk1.7.0_01//jre/lib/i386/client/libjvm.so

若發現master跟slaves機器node沒有串起來，
先查看/etc/hosts是不是有相衝的domain name對兩個ip
然後關閉iptables，然後重啟hadoop，再report看一下

串起來後還有一個問題是mysql的連接，因為分散掉資料運算，所以除了本機機器外，其它機器需授權讀取master本機的資料庫，所以要到資料庫中設定一組新的專用於hadoop讀取用的機器

解決方法：

GRANT ALL PRIVILEGES ON *.* TO <帳號>@'<本機ip或domain name>' IDENTIFIED BY '<密碼>'; --------注意! 此指令權限是全開的

以上指令要做兩次

第二次的指令為

GRANT ALL PRIVILEGES ON *.* TO <帳號>@'%' IDENTIFIED BY '<密碼>'; --------注意! 此指令權限是全開的

%代表外部所有連入接受

Mysql資料來源：http://itzone.hk/article/article.php?aid=200406230146464878

如果輸出時已有該資料夾會造成hadoop error
例如：曾輸出資料夾output，要再輸出一個新的資料夾output的話，需要把舊的刪除或是用新的名字輸出

【JAVA】JDK和JRE的差別

JDK和SDK其實我們通常指的都是同一個東西, 而JDK與JRE的差別是, JDK可以拿來編譯你所寫的Java程式, 如果你想要學Java, 就請裝JDK, 如果只是要執行Java的程式, 你只要裝JRE就可以了. (JRE是JDK的子集)

資料來源：http://chuan.no-ip.org/blog/?p=215

【Hadoop】建置Hadoop(二)安裝

下載CDH版本
wget http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz
wget http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz

解壓
tar -xzvf hadoop-0.20.2-CDH3B4.tar.gz
tar -xzvf sqoop-1.2.0-CDH3B4.tar.gz

備份原檔
cp -r hadoop-0.20.2-CDH3B4 hadoop
cp -r sqoop-1.2.0-CDH3B4 sqoop

設置PATH((指令))
echo "export HADOOP_HOME=/home/hadoop/hadoop" >> /etc/profile
echo "export PATH=\$PATH:$HADOOP_HOME/bin" >> /etc/profile
重啟(reboot)

2011年11月23日星期三

【Hadoop】建置Hadoop(一)環境規劃

環境設定

1、JAVA

2、yum -y install rsync

1、設定hosts

vi /etc/hosts

192.168.1.6   hds01

192.168.1.7   hds02

192.168.1.8   hds03

2、建立hadoop用戶

useradd hadoop

passwd hadoop

密碼自設

【linux】安裝及配置JAVA_HOME

1、安裝
chmod a+x jre-6u<版本>-linux-i586-rpm.bin
啟動安裝程序。鍵入：
./jre-6u<版本>-linux-i586-rpm.bin
參考來源：http://www.java.com/zh_TW/download/help/linux_install.xml#rpm

2、配置JAVA(預設安裝位罝大概為/usr/java
搜尋根下有JAVA名子的資料夾
find / -name java
ex：

[root@hds01 ~]# find / -name java

/usr/bin/java

/usr/java

/usr/java/jre1.6.0_29/bin/java

配置/etc/profile ★修改前先備份#cp /etc/profile /etc/profile.bak

echo "export JAVA_HOME=/usr/java/jre1.6.0_29" >> /etc/profile
echo "export PATH=\$JAVA_HOME/bin:\$PATH" >>/etc/profile
echo "export CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar" >>/etc/profile

重啟機器(reboot)

參考來源： http://www.linuxidc.com/Linux/2011-11/47687.htm

--------------------------------
懶人安裝法(複製貼上)
wget ftp://XXX/jre-6u29-linux-i586-rpm.bin
chmod a+x jre-6u29-linux-i586-rpm.bin
./jre-6u29-linux-i586-rpm.bin
cp /etc/profile /etc/profile.bak
echo "export JAVA_HOME=/usr/java/jre1.6.0_29" >> /etc/profile
echo "export PATH=\$JAVA_HOME/bin:\$PATH" >>/etc/profile
echo "export CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar" >>/etc/profile

【linux】安裝使用NTP自動對時服務

yum install ntp

ntpdate tick.stdtime.gov.tw

service ntpd restart

2011年11月25日 星期五

2011年11月24日 星期四

2011年11月23日 星期三

2011年11月25日星期五

2011年11月24日星期四

2011年11月23日星期三