如題,本文介紹如何通過Spark的shell測試Spark的工作
工具/原料
Spark環境
Spark Master管理系統
方法/步驟
啟動Spark叢集,啟動後的WebUI如下
啟動Spark Shell
Web控制檯檢視shell的情況
把Spark安裝目錄“README.md”拷貝到HDFS系統上在Master節點上新啟動一個命令終端,並進入到Spark安裝目錄下
把檔案拷貝到HDFS的root資料夾下
觀察一下Web控制檯,會發現該檔案已經成功上傳到HDFS上
在Spark shell之下操作編寫程式碼,操作我們上傳的“README.md”
注意事項
執行步驟過程完整性
版本區別帶來的影響和不一致性