大資料運維工程師崗位的基本職責描述

　　大資料運維工程師需要定期對所有服務問題進行分析，並對服務效率有影響的問題提供反饋意見，提升服務支撐團隊專業度。以下是小編整理的。

　　1

　　職責：

　　1、負責維護伺服器的執行，包括巡檢、故障排除、資料備份等業務，保證伺服器高質量、高效率執行狀態;

　　2、負責伺服器漏洞整改及補丁升級;

　　3、負責hadoop運維相關工作;

　　4、負責大資料平臺的日常部署、升級、擴容、遷移;

　　5、負責高併發，大儲存和實時流的Hadoop/spark大資料平臺規劃，運維，監控和優化工作。

　　任職資格

　　1、2年左右伺服器運維經驗;

　　2、對linux基礎運維命令熟悉，shell,python至少精通一種，如會scala語言可優先考慮;

　　3、熟悉Linux的維護和管理，熟悉bat及Shell指令碼開發，能看懂Python/Scala優先;

　　4、做過大規模hadoop叢集優先;

　　5、大資料專案：包括不限於hadoop、hive、kafka、hbase、spark、Kudu、Impala等大資料生態的平臺搭建，監控，運維，調優、生產環境hadoop叢集trouble shooting 、hadoop版本升級管理及優化支援。

　　2

　　職責：

　　1、負責雲平臺等基礎環境規劃及建設，虛擬化等技術實施;

　　2、負責機房物理裝置的日常巡檢，對雲平臺及大資料執行環境的日常維護，保證執行環境的安全和穩定，對突發事件進行快速處理和恢復;

　　3、負責Hadoop叢集的部署及日常維護，熟悉Hadoop生態圈元件的配置與調優;

　　4、負責硬體裝置和系統軟體購買採購數的擬定，以及運維相關技術文件的整理和維護。

　　任職要求：

　　1、***優先，30歲以下，計算機相關專業，統招本科及以上學歷，3年以上中、大型雲平臺伺服器運維經驗。

　　2、具備基本的機房建設及管理能力，能對機房內伺服器、交換機、路由器等物理裝置巡檢維護資料備份及恢復。

　　3、熟悉TCP/IP協議，熟練掌握CISCO路由器、防火牆、交換機配置，具備一定的網路規劃和組網技術能力，負責VLan及子網劃分，提供內外網及VPN連線等網路接入方式;

　　4、熟悉KVM/Docker等虛擬化技術，及基於VMWare/OpenStack雲平臺的搭建及運維;

　　5、有豐富的Hadoop生態系統運維經驗，瞭解Hadoop、STorm、Spark、Kafka、zookeeper這些元件的原理，具備部署、實施、維護hadoop叢集及相關元件的能力。

　　6、熟悉Zabbix、Nagios等開源運維監控系統，熟悉通過LVS/Keepalived/Hearbeat技術實現負載均衡，瞭解CDN技術。

　　7、有中大型雲平臺數據中心容災建設方案***一城兩中心、兩地三中心***實施經驗者優先;有思科認證***CCNA/CCNP/CCIE***證書者優先。

　　8、為人正直，有責任感，工作認真細心。

　　3

　　職責：

　　1.負責大資料業務叢集的運維工作***Hadoop/Hbase/Hive/ Yarn/ Spark/ Storm/ ES等大資料生態圈元件***確保高可用性。

　　2.負責叢集容量規劃、擴容及效能優化;

　　3.參入建設大規模分散式叢集的運維、監控和管理平臺;

　　4.參與業務架構設計，在設計階段給出可運維性改進建議;

　　5.深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技及發展方向。

　　任職要求：

　　1.三年及以上大資料運維工作經驗，熟悉hadoop、hbase、hive、Solr、ES等分散式相關技術，熟悉原始碼尤佳，至少掌握java/python/shell中的一種語言。

　　2.瞭解大資料平臺應用架構，具備常見問題的基本分析和解決能力。

　　3.熟悉Linux作業系統的配置、管理及優化，能夠獨立排查及解決作業系統層面的問題;

　　4.熟悉nginx、tomcat等web應用及中介軟體的使用和配置

　　5.強烈的責任心和使命感，執行力強，富有團隊合作精神;

　　6.對大資料方向運維有很高的熱情和興趣，能主動學習瞭解相關知識;

　　4

　　職責

　　1、維護基於Linux的系統和相應的元件;

　　2、維護Hadoop叢集，包括hdfs、hive、sqoop、kafka等核心生態系統，確保叢集執行平穩;

　　3、基於***實踐，根據業務需求設計和優化Hadoop生態系統;

　　4、設計和維護Hadoop相關基礎設施的監控;

　　5、維護技術檔案;

　　6、根據業務需求設計和安裝新的生態系統或技術元件，並制定最終解決方案。

　　任職資格

　　1、本科及以上，資訊科技或相關專業;

　　2、2年以上企業Linux系統和Hadoop經驗;

　　3、Hadoop生態系統的經驗和知識***必須具備：HDFS, Yarn, Hive, HUE;傾向具備：MapReduce、Spark、Kafka、Logstash、Flume***;

　　3、較強的事故分析和故障排除能力，較強的shell指令碼編寫能力;

　　4、瞭解HA機制者優先;有ITIL知識者優先;

　　5、有跨國工作經驗者優先;

　　6、願意學習新事物，解決問題。

　　5

　　職責：

　　1、負責大資料基礎架構平臺***Hadoop/Spark/MPP DB***的自動部署;

　　2、負責線上資料平臺的運維，保障服務的穩定性和可用性;

　　3、參與超大規模資料快速查詢系統的架構設計和開發;

　　4、研究大資料前沿技術，改進現有系統的服務和運維架構，提升系統的運維效率。

　　任職要求：

　　1. 熟悉linux shell及SQL語言

　　2. 瞭解Hadoop等分散式技術，資料倉庫技術;

　　3. 熟悉資料倉庫資料流監控、故障自動化定位及運維;

　　4. 強烈的責任心與求知慾，願意學習新技術並能快速應用;

　　5. 有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力;

　　6、做事認真負責，自學能力較強。