大資料架構師崗位的職責內容

　　大資料架構師負責大資料平臺技術框架的選型與技術難點攻關,指導開發大資料平臺的開發，保證大資料產品的上線執行。以下是小編整理的。

　　1

　　職責：

　　1、大資料平臺架構規劃與設計;

　　2、負責大資料平臺技術框架的選型與技術難點攻關;

　　3、能夠獨立進行行業大資料應用的整體技術框架、業務框架和系統架構設計和調優等工作，根據系統的業務需求，能夠指導開發團隊完成實施工作;

　　4、負責資料基礎架構和資料處理體系的升級和優化，不斷提升系統的穩定性和效率，為相關的業務提供大資料底層平臺的支援和保證;

　　5、培養和建立大資料團隊，對團隊進行技術指導。

　　任職要求：

　　1、計算機相關專業的背景專業一類院校畢業本科、碩士學位，8年***碩士5年***以上工作經驗***至少擁有3年以上大資料專案或產品架構經驗***;

　　2、精通相關技術，精通常見開源框架的架構，精通關係資料庫系統***Oracle MySQL等***和noSQL資料儲存系統的原理和架構;

　　3、精通SQL和Mapreduce、Spark處理方法;

　　4、精通大資料系統架構，熟悉業界資料倉庫建模方法及新的建模方法的發展，有DW，BI架構體系的專項建設經驗;

　　5、對大資料體系有深入認識，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大資料技術，並能設計相關資料模型;

　　6、很強的學習Java，J2EE、分析和解決問題能力，可以迅速掌握業務邏輯並轉化為技術方案，能獨立撰寫專案解決方案、專案技術文件;

　　7、具有較強的內外溝通能力，良好的團隊意識和協作精神;

　　8、機器學習技術、資料探勘、人工智慧經驗豐富者優先考慮;

　　9、具有能源電力行業工作經驗者優先。

　　2

　　職責:

　　1、 負責大資料倉庫、資料集市的規劃及實現，負責大資料中臺的設計和核心開發工作;

　　2、 負責資料基礎架構和資料處理體系的升級和優化，不斷提升系統的穩定性和效率，為公司的業務提供大資料底層平臺的支援和保證;

　　3、 大資料平臺的資料採集、處理、儲存以及挖掘分析的架構實現;

　　4、 研究未來資料模型和計算框架的創新與落地，包括但不限於以下領域：大規模資料實時化、研發模式敏捷化、資料計算框架輕量化、資料模型組織方式業務化等方面,參與制定並實踐團隊的技術發展路線

　　任職資格:

　　1、 精通資料建模、資料標準管理、元資料管理、資料質量管理;

　　2、 有作為技術負責人系統化解決問題的成功案例;有海量資料實踐經驗優先;

　　3、 熟悉目前正在發展的大資料分散式平臺前沿技術的應用;包括但不僅僅限於：hadoop、flink、spark等;

　　4、 性格積極樂觀，誠信，能自我驅動，有較強的語言表達能力;具備強烈的進取心、求知慾及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力; 在資料業界有一定的影響力優先，具有風控經驗背景的人優先;

　　5、 具備獨立的深度思考能力，給出結合實際情況的較為理想的技術解決方案。

　　3

　　職責:

　　1、對業務需求深入分析，從而進行大資料平臺核心應用的架構設計、開發和技術支援;

　　2、規劃業務應用系統和基礎平臺的技術架構，參與需求分析、建模、架構設計、技術決策以及詳細設計;

　　3、把握複雜系統的設計，確保系統的架構質量，編寫核心部分程式碼;

　　4、帶領團隊攻克例如大資料量、高併發、高穩定性等帶來的各種挑戰及技術難關;

　　5、在大資料平臺建設路線圖指導下，進行架構實施和交付物投遞，同時確保研發質量和方向的準確性;

　　6、進行團隊技術的培訓和梯隊建設崗位要求;

　　任職條件:

　　1、本科或以上學歷，計算機相關專業，8年以上研發經驗，3年以上大資料平臺相關工作經驗;

　　2、精通Java開發技術，熟悉Shell、Scala語言和PYTHON優先;

　　3、程式設計基礎紮實，熟悉I/O、多執行緒、叢集等基礎框架和原理，熟悉分散式、快取、訊息等機制;

　　4、熟悉常用設計模式，程式碼評審規則，單元測試，持續整合;

　　5、熟悉AWS雲服務或阿里雲服務;

　　6、熟悉容器技術原理、生態系統，熟悉Docker、Mesos、Kubernetes等容器系統、大規模容器資源排程系統、分散式應用生命週期。

　　4

　　職責：

　　1***負責大資料平臺系統架構設計、核心開發工作***Hadoop&Spark技術方向***，基於業務場景設計最優的系統解決方案。

　　2***構架支援大數量級的資料的大資料平臺系統，及相關監控，拓展系統設計及實現。

　　3***利用Hadoop、Spark等大資料技術對海量資料進行處理，支援BI和資料科學***建模***的應用實現。

　　4***對現有系統的進行架構深入分析及系統優化，進一步提升系統的效能及資料處理能力。

　　任職資格

　　1***統招本科或以上學歷，計算機相關專業， 5年以上軟體開發經驗、3年以上大資料專案經驗。

　　2***具備較豐富的大資料平臺相關構建，維護及調優經驗，有大資料量級下的大資料集市相關經驗。

　　3***具備較豐富的基於Hadoop或Hive或Spark等大資料處理專案經驗，具備一定的資料探勘經驗。

　　4*** 具有阿里雲的EMR***emapreduce***的經驗者優先考慮。

　　5***具有良好的業務理解、溝通和協作能力，具有較強的學習和總結能力。

　　6***優秀的團隊合作精神、誠實、勤奮、嚴謹，敢於接受挑戰。

　　7***機器學習技術、資料探勘經驗豐富者優先考慮。

　　5

　　職責：

　　負責大資料平臺的規劃和搭建、完成大資料平臺的日常運營工作，為資料分析和展現提供支援;

　　對系統框架相關技術和業務進行培訓，並負責核心程式碼編寫，指導團隊開發及解決出現的系統問題;

　　參與基於大資料平臺的創新業務場景進行資料產品的架構設計，負責資料產品的研發交付;

　　負責處理大資料平臺的疑難問題，為資料團隊提供可靠的技術支援;

　　負責資料質量、穩定性等資料管理，資料內部共享融通的資料平臺，讓資料標準更規範、資料獲取更高效;

　　及時跟進大資料領域新技術並分享，提升團隊技術能力。

　　任職要求：

　　本科或以上學歷，5年以上資料系統建設經驗，3年以上大資料架構設計經驗;

　　精通 java，python，scala 等一種大資料開發語言，熟悉Hadoop生態圈，包括但不限於hdfs，hive，spark， 有豐富的大資料專案的實踐經驗;

　　具備創新精神，條理清晰，溝通表達和邏輯思維能力強;

　　熟悉資料倉庫的設計和開發，對資料架構有深入的瞭解和具備相關的專案實踐經驗優先;

　　對SQL on Hadoop 的開源查詢引擎***如Presto、 Apache Drill *** 原理有深入研究優先;

　　有敏捷大資料和資料視覺化實踐經驗優先。