大資料運維工程師的具體職責描述

　　大資料運維工程師需要負責公司大資料平臺的運維管理工作，叢集容量規劃、擴容及效能優化。下面是小編為您精心整理的。

　　1

　　職責：

　　1、負責資料平臺的運維管理工作***部署、監控、優化、故障處理***;

　　2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構稽核、容量規劃、成本優化;

　　3、負責大資料平臺的使用者管理、許可權分配、資源分配;

　　4、參與資料探勘、機器學習平臺的設計、並給出可執行的運維方案;

　　5、參與資料平臺的相關工具開發***包括自動化部署、監控、ETL等***;

　　6、深入理解資料平臺架構，發現並解決故障隱患及效能瓶頸;

　　7、ETL工具、排程工具、關係型資料庫的運維。

　　任職資格：

　　1、本科以上學歷，計算機軟體相關專業;

　　2、1年以上大資料相關元件運維經驗***hadoop/yarn/hbase/hive/spark/kafka等***，1年以上的CDH或HDP維護經驗，3年以上系統運維相關經驗;

　　3、深入理解Linux系統，能獨立部署開源軟體，熟練掌握一門以上指令碼語言***shell/perl/python等***，熟悉python開發語言優先;

　　4、邏輯思維能力強，做事有條理，責任心強，工作積極主動，執行力強，有良好的團隊協作意識。

　　2

　　職責

　　1. 負責大資料ETL系統，運維及保障服務穩定可用;

　　2. 負責資料採集交換方案以及聯調測試;

　　3. 負責採集交換任務的評審和上線;

　　4. 負責及時排除ETL流程故障，形成知識庫，完善運維文件;

　　5. 負責監控和優化ETL的效能,持續性地提出改進自動化運維平臺建議

　　技能要求

　　1. 電腦科學或相關專業本科及以上學歷;

　　2. 熟悉Linux系統,熟練編寫shell/perl/python一種或多種指令碼語言;

　　3. 熟悉Hive、Hadoop、MapReduce叢集原理，有hadoop大資料平臺運維經驗者優先;

　　4. 熟悉資料庫的效能優化、SQL調優，有相應經驗;

　　5. 抗壓能力強，有強烈的責任心，良好的溝通能力、學習能力及團隊合作能力。

　　3

　　職責：

　　1、負責分散式大資料平臺產品的運維和運維開發，保證其高可用和穩定性;

　　2、負責大資料系統架構的可運維性設計、容量規劃、服務監控，持續優化服務架構、叢集效能;

　　3、通過技術手段控制和優化成本，通過自動化工具及流程提升大資料平臺運維效率;

　　4、為專案開發人員提供大資料技術指導及解決大資料平臺應用中遇到的技術難題;

　　任職資格：

　　1、三年以上大資料運維相關工作經驗，有大型網際網路公司工作經驗者優先，全日制本科及以上學歷;

　　2、熟練掌握至少一門開發語言，有Java或Python語言開發經驗優先;

　　3、精通Hadoop生態及高效能快取相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

　　4、熟悉Mysql等常用關係資料庫，熟練編寫SQL語句，有分散式nosql資料庫應用、效能調優經驗優先;

　　5、熟悉Linux環境，能夠熟悉使用shell指令碼;

　　6、對大資料技術有強烈興趣，有志於往大資料方向深層次發展;

　　7、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

　　8、具備較好的溝通能力、主動性及責任感。

　　4

　　職責：

　　1、負責大資料叢集的日常維護、監控、異常處理等工作，保障叢集穩定執行;

　　2、負責大資料批處理管理以及運維;

　　3、負責大資料叢集的使用者管理、許可權管理、資源管理、效能優化等;

　　4、深入理解資料平臺架構，發現並解決重大故障及效能瓶頸，打造一流的資料平臺;

　　5、跟進大資料前沿技術，不斷優化資料叢集;

　　6、有華為大資料平臺運維經驗優先;

　　崗位要求：

　　1、1年以上大資料運維或開發經驗;

　　2、有良好的計算機和網路基礎，熟悉linux檔案系統、核心、效能調優，TCP/IP、HTTP等協議;

　　3、熟悉大資料生態，有相關***HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka***的運維及開發經驗;

　　4、熟練使用shell、python等指令碼語言開發相關運維管理工具;

　　5、良好的文件撰寫習慣;

　　5

　　職責：

　　1、負責公司內部及專案中大資料叢集的構建，任務排程、監控預警，持續完善大資料平臺，保證穩定性、安全性;

　　2、負責叢集容量規劃、擴容、叢集效能優化及日常巡檢和應急值守，參與大資料基礎環境的架構設計與改進;

　　3、深入研究大資料業務相關運維技術，探索新的運維技術及發展方向。

　　任職要求：

　　1、熟悉Linux基礎命令操作，能夠獨立編寫Shell指令碼開展日常伺服器的運維;

　　2、熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調優;

　　3、熟悉軟硬體裝置，網路原理，有豐富的大資料平臺部署，效能優化和運維經驗;

　　4、工作認真負責，有較強的學習能力，動手能力和分析解決問題的能力;

　　5、能夠利用各種開源監控工具、運維工具，HA、負載均衡軟體完成工作任務;

　　6、熟悉JVM虛擬機器調優;

　　8、1年及以上相關崗位經驗，要有良好的安全和責任意識。