2017/8/15

Hadoop 練習筆記 - HBase(2)


  • 完成前篇Hadoop環境後
  • Master主機  , Slave主機新增使用者  hbase , 並完成SSH無密碼連線 , 可參考前篇 
  • Master主機
    • 切換使用者來完成以下操作
      • su hbase
    • 下載最新hbase-1.2.6-bin.tar.gz 解壓縮放在 /home/hbase/下
    • 設定環境 hbase-env.sh
      • nano /home/hbase/hbase-1.2.6/conf/hbase-env.sh
      • export JAVA_HOME=/usr/java/jdk1.8.0_141/
      • remark 兩行 , 因jdk 8 已不適用 , 會有error 參考網址
      • #export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize$........
      • #export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX$
    • 修改設定檔hbase-site.xml
      • nano /home/hbase/hbase-1.2.6/conf/hbase-site.xml
      • <configuration>

            <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
            </property>
               
            <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master:9000/hbase</value>
            </property>

            <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master</value>
            </property>

        </configuration>
    • 修改設定檔regionservers
      • nano /home/hbase/hbase-1.2.6/conf/regionservers
      • slave1
        slave2
    • 做到此可將 Hbase資料夾複製到所有slave上 
      • scp -r hbase-1.2.6 slave1:~/
      • scp -r hbase-1.2.6 slave2:~/
    • 設置環境變數
      • export HBASE_HOME=/home/hbase/hbase-1.2.6
        export HADOOP_CLASSPATH=$HBASE_HOME/lib/*
        export PATH=$HBASE_HOME/bin:$PATH
      • source ~/.bash_profile
    • 啟動 hadoop 
      • start-all.sh
      • 建立hbase用目錄 參考網址
        • hadoop fs -mkdir /hbase 
        • hadoop fs -chown -R hbase /hbase 
    • 啟動 Hbase
      • /home/hbase/hbase-1.2.6/bin/start-hbase.sh
    • 開啟firefox進入web UI檢驗結果 參考網址
      • In HBase newer than 0.98.x, the HTTP ports used by the HBase Web UI changed from 60010 for the Master and 60030 for each RegionServer to 16010 for the Master and 16030 for the RegionServer.

沒有留言:

張貼留言

test2