大資料架構師工作的職責

General 更新 2024年11月26日

  大資料架構師負責大資料系統設計、功能模組設計,資料平臺的搭建、維護和優化。下面是小編整理的。

  1

  職責:

  1、負責大資料專案平臺架構的評估、規劃和設計

  2、開發大資料平臺的核心模組程式碼,負責大資料平臺的搭建,完成系統除錯、整合與實施,保證大資料產品的上線執行

  3、根據業務需求整合優化資料架構,保證產品的可靠性、穩定性

  4、指導開發人員完成資料模型規劃建設,分析模型構建及分析呈現

  5、深入研究大資料相關技術和產品,跟進業界先進技術;

  6、根據專案要求編寫相關技術文件;

  7、負責大資料平臺的架構評審,程式碼評審,上線評審;參與資料應用需求、設計、稽核和評審;

  8、負責核心模組研發,負責大資料平臺的搭建,完成系統除錯、整合與實施;

  9. 負責關鍵功能的開發,技術難題的解決,以及輸出程式碼的關鍵把控;

  10. 負責對使用關鍵技術的預研和選型,完成 PoC ;

  11. 指導工程師完成開發工作,並能分享技術經驗。

  任職資格:

  1、精通Linux作業系統,熟練使用Java;

  2、3年以上大資料專案實戰經驗,兩個專案的架構設計經驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,並熟悉其工作原理;

  3、有Hadoop、Spark、Hbase平臺效能調優經驗;

  4、熟悉其它分散式儲存相關技術,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;

  5、熟悉Java開發常用框架.如Spring、MyBatis等;

  6、熟悉關係型資料庫如oracle及資料庫程式設計。

  7、能夠根據專案情況安排人力、分配任務,具有較強的團隊管理能力。

  8、碩士以上學歷,10年以上的工作經驗。

  2

  職責:

  1. 負責設計企業級大資料平臺的整體架構,從技術層面制定清晰的大資料產品與系統技術架構,並負責實現關鍵技術和產品。

  2. 負責設計具有創新價值的大資料底層平臺、大資料上層應用系統等,帶領團隊完成有質變的技術解決方案。

  3. 負責組織同事研究行內最前沿的技術發展方向,突破現有的技術難題。

  4. 負責研究院對外專案合作協調與支援,編寫專案建設方案及後期專案建設支援。

  任職要求:

  1. 碩士及以上學歷,計算機相關專業。

  2. JAVA基礎紮實,不少於8年的一線開發經驗,精通Spring boot/MyBatis/Restful API的開發與管理. 熟悉ReactJS/Angular/Vue之一前端開發技術,熟悉Maven或Ant.,熟悉Python語言開發加分。

  3. 不少於4年大資料的直接研發經驗,精通Hadoop/Spark系統,有hands-on的架構設計、效能調優、開發經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統的開發經驗。

  4. 掌握分散式系統原理,對分散式儲存、流式計算、訊息佇列中的一項或多項有深入的理解和認識。

  5. 熟悉分散式系統的監控、運維、故障恢復,高可用原理和設計理念。

  6. 演算法基礎紮實,熟悉常見的資料結構,掌握大規模高併發訪問、大資料開發等處理經驗;熟練的Linux系統, 網路, 記憶體和儲存等方面知識。

  7. 必須要有千萬級別的專案管理經驗,包括但不限於前期需求溝通,建設方案編寫,中期專案實施,進度彙報,後期專案維護。

  3

  職責:

  把控大資料系統及全公司的產品做技術選型和架構設計;

  負責公司產品需求技術解決方案的編制設計工作,並能夠將解決方案清晰地傳達給專案組成員;

  主導專案關鍵技術問題的攻關,協助專案管理對技術問題進行跟進;

  協助解決具體研發過程中的問題;

  定期進行新技術研究和彙報;

  對產品線進行技術方案支援,及客戶、市場技術調研

  任職要求:

  1. 全日制綜合類大學本科及以上學歷,電腦科學與技術、資訊工程、大資料、通訊相關專業***如有特殊經歷者酌情考慮***;

  2. 擁有多年系統設計與開發工作經驗,深刻理解計算機、網際網路有關技術與理論、設計模式,深刻理解多執行緒、記憶體資料庫、分散式系統、大資料相關的設計、架構規劃、開發經驗者優先;

  3. 深入理解各類技術與產品的原理與思想,有較強需求分析和技術設計與實現能力;

  4

  職責:

  1、正確理解業務需求,對需求進行工作量評估;

  2、參與專案相關的需求、設計、投產手冊等文件的編寫;

  3、根據進度計劃,完成所承擔功能模組的設計、開發、單元測試、聯調測試;

  4、配合測試組修復程式碼缺陷,確保功能實現與程式碼質量;

  5、負責所承擔功能模組投產、部署,及上線後的日常維護;

  6、完成專案經理或者架構師安排的其他工作;

  任職資格:

  1、本科以上學歷,計算機相關專業,兩年以上大資料開發經驗;

  2、熟悉Linux 環境,掌握shell或python;

  3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大資料開發元件;

  4、精通 ETL,資料倉庫的設計和開發;

  5、有大資料處理實戰經驗,熟悉整個大資料的完整處理流程,包括資料的採集、清洗、儲存;

  6、較強的動手能力和學習能力,良好的溝通能力、團隊協調能力;

  7、具有銀行、金融行業從業背景者優先。

  5

  職責:

  1. 負責大資料基礎平臺、海量資料儲存/處理分散式平臺、資料分析系統架構設計和研發;

  2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;

  3. 制定專案/資料倉庫設計及實現規範,指導設計研發和部署;

  4. 協助策略和演算法團隊工作,保障資料探勘建模和工程化;

  5. 深入研究大資料相關技術和產品,跟進業界先進技術。

  任職要求:

  1. 全日制本科及以上學歷,5年以上軟體和分散式系統研發經驗,3年以上大資料系統架構經驗;

  2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;

  3. 具備Java/C++/Scala等開發經驗,熟悉資料探勘和分析的策略與演算法;

  4. 具備良好的系統分析能力、故障診斷能力;

  5. 有大資料策略、演算法、視覺化經驗優先;

  6、211/985 重點學校畢業優先。

軟體實施工程師的崗位職責精選
大資料架構師工作的職責
相關知識
大資料架構師工作的職責
大資料架構師工作的職責
大資料架構師工作的崗位職責
大資料架構師工作的崗位職責
大資料架構師崗位的職責內容
大資料架構師崗位的職責內容
高階資料分析師工作的職責內容
大資料架構師崗位的工作職責
大資料架構師崗位的具體職責表述
大資料架構師崗位的具體職責表述