大資料運維工程師的基本職責

General 更新 2024年12月23日

  大資料運維工程師需要處理公司大資料平臺各類異常和故障,確保系統平臺的穩定執行。下面是小編為您精心整理的。

  1

  職責:

  1、技術保障各底層支撐系統的可靠性與穩定性;

  2、負責車輛網平臺的執行監控的解決方案編制、實施與二次功能開發;

  3、負責技術文件手冊編寫,更新,經驗總結沉澱,培訓分享;

  4、負責對新技術和方案進行調研,評估和引進,用技術去提升運維生產效率

  任職資格:

  1、熟悉常見的應用服務部署和調優***Nginx、MySQL、Redis、MongoDB、ELK,Hadoop等***,熟悉高可用叢集、負載均衡叢集的規劃與搭建;

  2、熟練使用Linux、TCP/IP網路協議棧,瞭解常用的Troubleshooting手段和常見效能指標

  3、具有車聯網平臺運維的經驗,精於容量規劃、架構設計、效能優化;

  4、熟悉主流PaaS雲產品的使用,具有運維平臺開發經驗者、參與過開源產品的開發者優先;

  5、優秀的溝通能力,出色的學習與鑽研能力,良好的問題分析與解決能力;

  6、對行業技術敏感度高且細緻,善於思考,樂於發現,對解決具有挑戰性問題充滿激情。

  2

  職責:

  1、負責維護伺服器的執行,包括巡檢、故障排除、資料備份等業務,保證伺服器高質量、高效率執行狀態;

  2、負責伺服器漏洞整改及補丁升級;

  3、負責hadoop運維相關工作;

  4、負責大資料平臺的日常部署、升級、擴容、遷移;

  5、負責高併發,大儲存和實時流的Hadoop/spark大資料平臺規劃,運維,監控和優化工作。

  任職資格:

  1、2年左右伺服器運維經驗;

  2、對linux基礎運維命令熟悉,shell,python至少精通一種,如會scala語言可優先考慮;

  3、熟悉Linux的維護和管理,熟悉bat及Shell指令碼開發,能看懂Python/Scala優先;

  4、做過大規模hadoop叢集優先;

  5、大資料專案:包括不限於hadoop、hive、kafka、hbase、spark、Kudu、Impala等大資料生態的平臺搭建,監控,運維,調優、生產環境hadoop叢集trouble shooting 、hadoop版本升級管理及優化支援。

  3

  職責:

  1、負責Hadoop平臺搭建,運維,管理,故障處理。

  2、負責保障大資料平臺的高效運轉、提升系統穩定性和安全性。

  3、對平臺的Hadoop,Hbase,Kafka,Hive等進行優化。

  4、建立Hadoop叢集管理和維護規範,包括版本管理和變更記錄等。

  崗位要求:

  1、有豐富的Hadoop生態系統的運維經驗,瞭解Hadoop、Storm、Spark、Kafka這些元件的原理,具備部署、實施、維護hadoop 及相關元件的能力;

  2、至少精通 Perl/Python/Shell指令碼語言中的一種;

  3、掌握Linux作業系統的配置,管理、優化以及各種常用命令,能夠獨立排查及解決作業系統層的各類問題;

  4、分析問題能力優秀,善於從各種系統、應用日誌中尋找出問題的原因。

  5、有獨立分析問題和解決問題的能力,能出差。

  4

  職責:

  1.負責Hadoop、spark、hbase、oozie、hive等平臺運營和優化工作,保障平臺服務執行穩定、高效。

  2.負責大資料方案架構及方案落地;

  3.開發Hadoop大資料管理平臺與監控建設;

  3.負責hadoop平臺部署、維護;生產問題、告警、故障處理及伺服器維護、日常值班;

  4.負責叢集網路架構、機器管理等。

  任職資格:

  1. 全日制本科以上學歷,三年以上後臺系統運營工作經驗;

  2. 熟悉hadoop原理,具有Hadoop平臺應用及管理經驗,熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開源專案及部署、維護、調優;

  3. 熟悉linux作業系統及調優;熟悉sql程式設計,熟悉Shell/Python/Java/Perl語言的一種或多種,有開發經驗優先, 熟悉nagios,cacti,ganglia,zabbix,zenoss優先;

  4. 對大資料和自動化運維開發有濃厚興趣,有大規模hadoop運維經驗者優先;有hadoop/hbase/spark/hive 開發經驗者優先。

  5

  職責:

  1. 負責大資料平臺的穩定性和效能優化;

  2. 負責大資料專案的運維工作;

  3. 針對業務需求制定統一的運維解決方案;

  4. 完善自動監控報警系統,對業務層面關鍵指標進行監控與報警通知;

  任職要求:

  1、熟練掌握hadoop平臺搭建、維護,有平臺優化經驗;

  2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等元件的原理,有閱讀原始碼能力者優先;

  3、熟悉騰訊雲產品,有騰訊雲EMR使用經驗者優先考慮;

  4、熟練掌握java、python語言,熟練使用SQL,並有一定的優化能力

大資料運維工程師崗位的基本職責描述
大資料運維工程師的具體職責描述
相關知識
大資料運維工程師的基本職責
大資料運維工程師的具體職責描述
大資料運維工程師的崗位職責模板
大資料運維工程師的崗位職責模板
資料倉庫工程師的基本職責模板
資料探勘工程師的基本職責
大資料運維工程師的工作職責
大資料運維工程師的職責精選
大資料運維工程師崗位的基本職責描述
桌面運維工程師的主要職責描述

Have any Question?

Let us answer it!