如何通過Spark的shell測試Spark的工作?

Tags: 語音, 如題,

如題,本文介紹如何通過Spark的shell測試Spark的工作

工具/原料

Spark環境

Spark Master管理系統

方法/步驟

啟動Spark叢集,啟動後的WebUI如下

如何通過Spark的shell測試Spark的工作

啟動Spark Shell

如何通過Spark的shell測試Spark的工作

Web控制檯檢視shell的情況

如何通過Spark的shell測試Spark的工作

把Spark安裝目錄“README.md”拷貝到HDFS系統上在Master節點上新啟動一個命令終端,並進入到Spark安裝目錄下

如何通過Spark的shell測試Spark的工作

把檔案拷貝到HDFS的root資料夾下

如何通過Spark的shell測試Spark的工作

觀察一下Web控制檯,會發現該檔案已經成功上傳到HDFS上

如何通過Spark的shell測試Spark的工作

在Spark shell之下操作編寫程式碼,操作我們上傳的“README.md”

如何通過Spark的shell測試Spark的工作

注意事項

執行步驟過程完整性

版本區別帶來的影響和不一致性

語音, 如題,
相關問題答案