大資料運維工程師的職責精選

　　大資料運維工程師負責大資料平臺的穩定性和效能優化。下面是小編為您精心整理的。

　　1

　　職責：

　　1、負責大資料平臺Hawq資料庫運維;

　　2、負責大資料平臺Tbase資料庫運維;

　　3、負責傳統資料***Oracle、MySQL等資料庫***資料遷移、資料同步;

　　4、負責日常資料庫的監控及問題分析排查;

　　5、負責OGG、Kafafa等元件資料傳輸同步日常運維;

　　6、負責資料庫的優化、SQL語句的優化調優;

　　7、負責資料同步的檢驗與異常處理，確保資料的一致性、完整性、及時性;

　　8、負責制定資料同步方案及實施。

　　任職要求：

　　1、大專或以上學歷，計算機或統計類相關專業

　　2、有3年以上技術類或資料類的開發經驗;

　　3、熟練linux 系統操作及linux 運維監控、軟體安裝配置;

　　4、熟悉大資料技術，如Hadoop、Spark、storm、zookeeper等;

　　5、熟悉主流資料庫mysql/sql serverl/oracle/postgreSQL等，精通SQL語句，對複雜SQL能進行優化，能熟練編寫儲存過程;

　　6、熟練Linux SHELL，可以進行運維SHELL開發;

　　7、學習能力強，責任心強，具有優秀的溝通表達、理解能力與團隊合作能力;

　　8、有CentOS 7、Red Hat 7等Linux作業系統，有Shell指令碼編寫經驗的優先。

　　9、有3年以上的基於MPP***greenplum ,HAWQ,Vertica,GBASE等MPP DB***資料倉庫的實際運維經驗或3年以上 HIVE、SPARK 實際專案運維經驗

　　10、在實際專案中，有異構資料庫遷移經驗，從傳統ORACLE,MYSQL遷移至MPP資料倉庫的實戰經驗.

　　2

　　職責:

　　1. 負責公司核心叢集的運維工作, 任務排程、監控預警，持續完善大資料平臺，保證穩定性、安全性;

　　2. 負責叢集容量規劃、擴容及叢集效能優化;

　　3. 基於大資料應用需求，持續優化Hadoop框架及元件的配置，提升效能;

　　任職資格：

　　1.大專以上計算機，通訊和網路相關專業;

　　2.3年以上中等規模叢集環境下的Hadoop/Impala/Hive/Spark叢集相關運維經驗;

　　3.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關引數調優, 效能優化等有實際經驗;

　　4.有實際踩坑經歷, 對於相關元件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗;

　　5.實際處理過各種叢集線上版本升級, 資料遷移, 叢集擴容, 穩定性監控等工作;

　　6.熟悉Kerberos安全認證系統，實施過叢集許可權管理, 資源隔離方面的方案規劃或二次開發工作;

　　7.能維護Hadoop原始碼，有Hadoop 原始碼BUG修復或者原始碼優化經驗者優先;

　　8.有Cloudera的CM使用經驗尤佳。

　　3

　　職責：

　　1負責政務雲平臺、政務應用系統中資料庫業務的日常運維，保障平臺及應用系統服務7*24穩定可靠高效執行

　　2負責資料庫效能調優，瞭解鎖與隔離機制，協助客戶解決資料庫效能瓶頸

　　3制定資料庫使用規範，制定資料庫備份、升級、遷移規劃並部署實施

　　4參與資料庫設計工作，提高資料庫維護自動化水平

　　5熟悉Linux作業系統，熟練使用Python，Go，Shell等至少一種語言

　　崗位要求：

　　1*** 5年以上 Oracle/MySQL DBA 從業經驗;

　　2*** 熟練掌握 Oracle/MySQL 資料庫的基礎理論知識、執行機制、體系架構、高可用方案、備份機制、容災機制等;

　　3*** 熟練掌握資料庫效能優化，瞭解主流的分散式資料庫 Spanner/Cassandra;

　　4*** 熟悉 Linux/Unix 作業系統，對伺服器硬體有一定了解;

　　5*** 熟練掌握 golang、Python、Java 等語言中的一種;

　　6*** 熟悉阿里雲產品線，具備ACP認證者優先考慮;

　　4

　　職責：

　　- 負責局點大資料平臺的部署、管理、優化、監控報警，保障平臺服務7*24穩定可靠高效執行;

　　- 深入理解公司大資料平臺架構，發現並解決效能瓶頸，支撐業務和資料量的快速增長;

　　- 開發大資料自動化運維、監控報警、故障處理相關指令碼和工具;

　　- 負責Hadoop/spark/Kafka等叢集服務、業務監控、持續交付、應急響應、容量規劃等。

　　要求：

　　- 4年以上運維相關工作經驗，有大資料平臺運維相關工作經驗優先;

　　- 具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上指令碼語言***shell/python等***，熟悉Http/Https、TCP/IP、SMTP等協議;

　　- 熟悉Linux***redhat/centos***軟硬體環境、系統管理和優化，熟練部署、優化各種常用服務。熟練使用Linux 命令和常用的ssh、ftp、git、maven等開發工具;

　　- 熟悉Hadoop大資料生態圈，包括但不限於CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;

　　- 熟悉Hadoop各元件的原理和實現，有實際部署維護、管理*** 包括元資料管理***及優化經驗。並擁有持續調優能力，運維管理過大規模資料平臺;

　　- 熟悉掌握常用的安全協議和元件服務，對hadoop各元件的許可權、安全、kerberos進行配置管理。熟悉SSL、ACL、kerberos等在大資料環境場景的使用;

　　- 熟悉常用運維監控工具***nagios/ganglia/zabbix/grafan/openfalcon等***和相關外掛的開發。比如郵件、簡訊、微信報警外掛等;

　　- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優化;

　　- 具備良好的服務意識，善於主動思考，自我驅動力強。有良好的溝通、協調能力，富有團隊精神，有較強的文件編寫能力;

　　- 有大資料開發經驗和閱讀原始碼能力者優先

　　5

　　職責：

　　1、負責銀行各類應用系統的運維標準制定和運維管理等工作;

　　2、負責銀行各類應用系統的執行情況及相關技術的整理、分析和總結等工作;

　　3、負責銀行各類應用系統的應用監控、應用運維體系工具的建設和維護工作;

　　4、負責銀行各類應用系統的自動化指令碼編寫和測試工作。

　　招聘要求：

　　1、全日制一本以及以上學歷，理工類專業;

　　2、具備2年及以上應用系統運維或應用系統開發經驗，有銀行應用系統運維或開發經驗者優先;

　　3、具備較強的文件編寫、英語文件閱讀能力;

　　4、具備良好的溝通表達能力和團隊合作精神，具有較強的工作責任心和主動性;

　　5、至少具備以下二項技能：

　　***1***熟悉銀行應用系統體系架構、應用運維標準化流程;

　　***2***熟悉AIX、LInux作業系統相關運維工作，具備熟練的SHELL指令碼程式設計能力;

　　***3***熟悉應用軟體持續整合和持續釋出交付專案的整體流程，熟悉Jenkins、Nexus等相關Devops工具;

　　***4***熟練使用容器平臺相關技術，有容器平臺管理工作、應用容器打包的相關經驗;

　　***5***熟練使用Golang或者Python程式設計。