大資料運維工程師的工作職責

　　大資料需要負責公司產品的技術支援、安裝除錯、客戶使用培訓及相關硬體的安裝除錯。下面是小編為您精心整理的。

　　1

　　職責：

　　1、負責和參與公司大資料基礎架構平臺規劃，運維，監控和優化工作，保障資料平臺服務的穩定性和可用性;

　　2、研究大資料前沿技術，改進現有系統的服務和運維架構，提升系統可靠性和可運維性;

　　3、負責和參與自動化運維繫統及平臺的建設;

　　4、負責優化部門運維流程提升運維效率。

　　任職要求：

　　1、統招本科及以上學歷，計算機相關專業，2年以上網際網路運維工作經驗;

　　2、熟悉Linux作業系統及常見開源軟體***Nginx,Tomcat,Zabbix等***的配置，管理及優化，能夠獨立排查及解決作業系統層的各類問題;

　　3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的元件原理及運維方式;

　　4、精通Python,shell,瞭解JAVA;有良好的系統性能優化及故障排除能力;

　　5、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

　　6、具備較好的溝通能力、主動性和團隊合作精神。

　　2

　　職責：

　　1、負責Hadoop、HBase、Hive、Spark等大資料平臺 規劃、部署、監控、系統優化等，確保高可用;

　　2、負責公司大資料平臺的運維管理工作，叢集容量規劃、擴容及效能優化;

　　3、處理公司大資料平臺各類異常和故障，確保系統平臺的穩定執行;

　　4、設計實現大規模分散式叢集的運維、監控和管理平臺;

　　5、深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技及發展方向;

　　6、為資料倉庫、資料探勘建模等資料應用專案提供執行環境支援。

　　崗位要求：

　　1、掌握Linux作業系統的配置，管理及優化，能夠獨立排查及解決作業系統層的各類問題;

　　2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發經驗優先;

　　3、熟悉 Hadoop生態及高效能快取相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

　　4、具有叢集運維經驗，以及大負載下的容量評估、問題定位、架構優化等能力優先;有分散式系統***計算/儲存***開發經驗優先;

　　5、熟悉zabbix/ganglia/Prometheus/grafana系統的組合構件及使用;

　　6、精通ELK系統，有過大規模ELK配置管理、調優經驗，有過ElasticSearch搜尋和分析引擎開發經驗者優先;

　　3

　　職責：

　　1、負責大資料平臺架構的規劃、設計、搭建;

　　2、負責大資料平臺的運維保障工作;

　　3、負責運維相關資料分析，以及報表產出;

　　4、為線上服務高效穩定執行負責，支撐業務和資料量的快速擴張;

　　5、深入理解大資料平臺架構，發現並解決重大故障及效能瓶頸;

　　6、研究跟進大資料架構領域新技術並分享。

　　工作要求：

　　1、熟悉大資料產品生態圈，包括但不限於HDFS、YARN、Hive、HBase、Spark等;

　　2、精通Linux/Unix系統;

　　3、有資料分析經驗優先，精通一門以上指令碼語言***shell/perl/python等***，熟悉java/C/C++/Golang等開發語言一種及以上;

　　4、有2年以上大資料平臺相關運維開發經驗，瞭解分散式平臺執行的原理，並有實際部署維護經驗;

　　5、學習能力和主動性強，具有鑽研精神，充滿激情，樂於接受挑戰;

　　6、良好的服務意識，善於團隊協作，專案管理，主動思考，自我驅動力強。

　　4

　　1.負責公司大資料業務叢集的運維工作***Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等***確保叢集環境的穩定可用;

　　2.負責叢集容量規劃、擴容及效能優化;

　　3.負責大資料叢集效能監控與優化，故障處理，資料備份及容災恢復，叢集出現異常時，能快速定位問題，並及時給出解決方案;

　　4.設計實現大規模分散式叢集的運維、監控和管理平臺;

　　5.參與/主導業務架構設計，在設計階段給出可運維性改進建議;

　　6.深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技術及發展方向;

　　7.參與例如伺服器維護、專案維護、監控維護等常見運維事務

　　5

　　職責：

　　1. 完成大資料平臺日常運維工作***上線/日常監控/問題定位/指令碼開發***，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源元件;

　　2. 完成大資料自研平臺工具運營，比如報表平臺、排程平臺和效能監控平臺;

　　3. 提升系統可靠性，完善監控策略，優化運維流程，提升部門運維效率，保證7*24服務;

　　4. 參與開源社群建設，提升公司開源影響力;

　　任職條件：

　　1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源元件的搭建、維護以及問題定位;

　　2. 熟悉Linux作業系統，熟練掌握Linux常用命令,瞭解ansible/puppet;

　　3. 熟練掌握shell/python/java;

　　4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握資料庫的維護工作;

　　5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;

　　6. 有大資料平臺維護經驗優先;

　　7. 掌握dockerfile，瞭解大資料與k8s結合者優先;

　　8. 參與開源社群，有程式碼貢獻或者高質量部落格文章者優先;