初學者建立hadoop 分享 (上)

• 環境介紹

• vmware 12
• centos 6.6
• jdk 7
• hortonwork & ambari
• hdp 2.3.0
• name node、data node、secondary name node 皆在同一台vm ( 參考 )

• 事前準備

•  下載CentOS 6.6
• 下載vmware 12以上版本

• vmware安裝centos

• 安裝時請設定記憶體與容量大小,安裝完畢的畫面
• 安裝時請不要新增hadoop帳號,以免安裝hadoop時無法順利進行

• 設定一組ssh公私鑰

• 在終端機切換到root 

                     su - 

• 產生ssh公私鑰

                    ssh-keygen

• 複製公鑰給自己

                     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

• 測試 ssh

                    ssh localhost

• 設定hostname

• 檢查本機ip (192.168.186.206)

                     ifconfig

• 編輯hosts , 加入 master ip (192.168.186.206)

                    nano /etc/hosts

• 設定hostname ( 參考 )

                     hostname master

• 檢查hostname

                     hostname -f

• 設定/啟動對時服務

• 因hadoop屬分散式架構需開啟

                    chkconfig ntpd on
                    service ntpd start

• 安裝JDK

• 可直接利用linux的firefox上網下載,或者如果你的使用環境是windows的話,可以開啟samba服務做資料交換
• 下載   jdk-7u79-linux-x64.rpm
• 安裝 rpm

                      rpm -ivh jdk-7u79-linux-x64.rpm

• 為了未來切換版本方便, 建立軟連結, 類似windows的捷徑

                     ln  -s /usr/java/jdk1.7.0_79 /usr/java/java

• 檢查軟連結

                   ll /usr/java/java

• 設定環境變數, 在啟動腳本最下方加入4行export

                   nano /etc/profile

• export JAVA_HOME=/usr/java/java
• export JRE_HOME=$JAVA_HOME/jre
• export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
• export PATH=$PATH:$JAVA_HOME/bin

                              

• 立即重啟 / 立即生效

           source /etc/profile

• 檢查

           java -version

• 關閉安全設定

• 為保持hadoop暢通 , 關閉其機制
• 關閉防火牆

           chkconfig iptables off
           service iptables stop

• 關閉linux安全機制

           nano /etc/selinux/config 將 SELINUX=disabled
           setenforce 0 (強制關閉) 

• 關閉THP (Transparent Huge Pages)

• 官方建議THP , 避免因記憶體影響導致重開機

                   echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

                   echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

• 安裝Ambari

• 透過ambari的圖形化介面安裝hadoop
• 下載 ambari-server-2.2.0.0-1310.x86_64.rpm
• 安裝ambari

                    yum localinstall ambari-server-2.2.0.0-1310.x86_64.rpm
                    ambari-server setup

        

總結
再來下集部分要透過ambari的圖形化介面幫我們完成hadoop安裝