大資料架構師工作的職責
大資料架構師負責大資料系統設計、功能模組設計,資料平臺的搭建、維護和優化。下面是小編整理的。
1
職責:
1、負責大資料專案平臺架構的評估、規劃和設計
2、開發大資料平臺的核心模組程式碼,負責大資料平臺的搭建,完成系統除錯、整合與實施,保證大資料產品的上線執行
3、根據業務需求整合優化資料架構,保證產品的可靠性、穩定性
4、指導開發人員完成資料模型規劃建設,分析模型構建及分析呈現
5、深入研究大資料相關技術和產品,跟進業界先進技術;
6、根據專案要求編寫相關技術文件;
7、負責大資料平臺的架構評審,程式碼評審,上線評審;參與資料應用需求、設計、稽核和評審;
8、負責核心模組研發,負責大資料平臺的搭建,完成系統除錯、整合與實施;
9. 負責關鍵功能的開發,技術難題的解決,以及輸出程式碼的關鍵把控;
10. 負責對使用關鍵技術的預研和選型,完成 PoC ;
11. 指導工程師完成開發工作,並能分享技術經驗。
任職資格:
1、精通Linux作業系統,熟練使用Java;
2、3年以上大資料專案實戰經驗,兩個專案的架構設計經驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,並熟悉其工作原理;
3、有Hadoop、Spark、Hbase平臺效能調優經驗;
4、熟悉其它分散式儲存相關技術,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java開發常用框架.如Spring、MyBatis等;
6、熟悉關係型資料庫如oracle及資料庫程式設計。
7、能夠根據專案情況安排人力、分配任務,具有較強的團隊管理能力。
8、碩士以上學歷,10年以上的工作經驗。
2
職責:
1. 負責設計企業級大資料平臺的整體架構,從技術層面制定清晰的大資料產品與系統技術架構,並負責實現關鍵技術和產品。
2. 負責設計具有創新價值的大資料底層平臺、大資料上層應用系統等,帶領團隊完成有質變的技術解決方案。
3. 負責組織同事研究行內最前沿的技術發展方向,突破現有的技術難題。
4. 負責研究院對外專案合作協調與支援,編寫專案建設方案及後期專案建設支援。
任職要求:
1. 碩士及以上學歷,計算機相關專業。
2. JAVA基礎紮實,不少於8年的一線開發經驗,精通Spring boot/MyBatis/Restful API的開發與管理. 熟悉ReactJS/Angular/Vue之一前端開發技術,熟悉Maven或Ant.,熟悉Python語言開發加分。
3. 不少於4年大資料的直接研發經驗,精通Hadoop/Spark系統,有hands-on的架構設計、效能調優、開發經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統的開發經驗。
4. 掌握分散式系統原理,對分散式儲存、流式計算、訊息佇列中的一項或多項有深入的理解和認識。
5. 熟悉分散式系統的監控、運維、故障恢復,高可用原理和設計理念。
6. 演算法基礎紮實,熟悉常見的資料結構,掌握大規模高併發訪問、大資料開發等處理經驗;熟練的Linux系統, 網路, 記憶體和儲存等方面知識。
7. 必須要有千萬級別的專案管理經驗,包括但不限於前期需求溝通,建設方案編寫,中期專案實施,進度彙報,後期專案維護。
3
職責:
把控大資料系統及全公司的產品做技術選型和架構設計;
負責公司產品需求技術解決方案的編制設計工作,並能夠將解決方案清晰地傳達給專案組成員;
主導專案關鍵技術問題的攻關,協助專案管理對技術問題進行跟進;
協助解決具體研發過程中的問題;
定期進行新技術研究和彙報;
對產品線進行技術方案支援,及客戶、市場技術調研
任職要求:
1. 全日制綜合類大學本科及以上學歷,電腦科學與技術、資訊工程、大資料、通訊相關專業***如有特殊經歷者酌情考慮***;
2. 擁有多年系統設計與開發工作經驗,深刻理解計算機、網際網路有關技術與理論、設計模式,深刻理解多執行緒、記憶體資料庫、分散式系統、大資料相關的設計、架構規劃、開發經驗者優先;
3. 深入理解各類技術與產品的原理與思想,有較強需求分析和技術設計與實現能力;
4
職責:
1、正確理解業務需求,對需求進行工作量評估;
2、參與專案相關的需求、設計、投產手冊等文件的編寫;
3、根據進度計劃,完成所承擔功能模組的設計、開發、單元測試、聯調測試;
4、配合測試組修復程式碼缺陷,確保功能實現與程式碼質量;
5、負責所承擔功能模組投產、部署,及上線後的日常維護;
6、完成專案經理或者架構師安排的其他工作;
任職資格:
1、本科以上學歷,計算機相關專業,兩年以上大資料開發經驗;
2、熟悉Linux 環境,掌握shell或python;
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大資料開發元件;
4、精通 ETL,資料倉庫的設計和開發;
5、有大資料處理實戰經驗,熟悉整個大資料的完整處理流程,包括資料的採集、清洗、儲存;
6、較強的動手能力和學習能力,良好的溝通能力、團隊協調能力;
7、具有銀行、金融行業從業背景者優先。
5
職責:
1. 負責大資料基礎平臺、海量資料儲存/處理分散式平臺、資料分析系統架構設計和研發;
2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;
3. 制定專案/資料倉庫設計及實現規範,指導設計研發和部署;
4. 協助策略和演算法團隊工作,保障資料探勘建模和工程化;
5. 深入研究大資料相關技術和產品,跟進業界先進技術。
任職要求:
1. 全日制本科及以上學歷,5年以上軟體和分散式系統研發經驗,3年以上大資料系統架構經驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;
3. 具備Java/C++/Scala等開發經驗,熟悉資料探勘和分析的策略與演算法;
4. 具備良好的系統分析能力、故障診斷能力;
5. 有大資料策略、演算法、視覺化經驗優先;
6、211/985 重點學校畢業優先。
大資料架構師工作的職責