Hadoop 練習筆記 - Spark - Standalone mode (4)

• 建議完成第一篇環境
• Spark幾種部署方式 參考網址
• Local Mode
• YARN Mode
• Standalone Mode
• HA Mode
• Mesos Mode

• Standalone Mode
• 完成local mode安裝
• 將local mode完成之spark目錄scp至所有slave主機上
• 參考之前的文章 ,建立無密碼SSH連線至所有slave主機上
• 設定Master主機上 , conf/salves 檔案 , 加入以下
• slave1
  slave2
• 執行sbin/start-all.sh 啟動Standalone Mode
• 進入管理介面驗證 , master:8080

• 啟動一個spark程序交由standalone 
• spark-shell --master spark://master:7077
• 在管理介面port 8080 將多一條程序

• 讀取檔案 textFile 将本地文件或 HDFS 文件轉换成 RDD
• 進入 spark-shell --master spark://master:7077
• 本地文件
• 需要各節點都有同一份文件
• 依照測試的結果 , master會先在本地端檢查是否有該檔案 , 再呼叫work node再各自的本地端找尋檔案
• 可使用mount 去 shard folder  , 依照本篇作法 , 自行mount目錄
• 測試結果
• local 路徑應用 : "file:///home/spark/shareFolder/test

• HDFS文件
• 先將自製文件上傳到hdfs
• su - hadoop
• hadoop fs -mkdir /spark
• hadoop fs -chown -R spark /spark
• hadoop fs -put /test /spark/test
• su - spark
• spark-shell --master spark://master:7077
• var aaa = sc.textFile("hdfs://master:9000/spark/test")