大資料架構師的具體職責
大資料架構師負責公司大資料底層框架的整體架構設計,結合公司實際業務情況進行技術選型及大資料戰略規劃。下面是小編為您精心整理的。
1
職責:
1、負責企業大資料平臺的基礎建設、管理及制定拓展規劃;
2、負責大資料平臺相關自動化服務工具的設計、開發;
3、參與Hadoop、Hbase、Spark等核心平臺元件的開發、優化;
4、對平臺特殊場景化的資料應用制定相關實踐方案;
5、大資料團隊的搭建。
任職資格:
1、統招本科以上學歷,計算機等相關專業,5年以上工作經驗;
2、具有Hadoop等大規模叢集管理經驗、海量***PB***資料處理經驗;
3、精通Hadoop、Hive、Hbase等離線平臺相關元件的原理機制;
4、瞭解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分散式系統;
5、熟悉高併發、分散式開發等相關知識,具有後端服務優化相關經驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心,工作積極,對新領域新技術有熱情。
2
職責:
負責大資料平臺架構的規劃和設計,主導系統的架構設計和核心模組開發,確保專案質量和關鍵效能指標達成;
負責大資料平臺技術框架的選型與技術難點攻關,指導開發大資料平臺的開發,保證大資料產品的上線執行;
負責深入理解業務需求,對業務建模,設計系統架構,滿足業務需求;
負責協助策略和演算法工作,保障資料探勘建模和工程化;
負責根據業務需求整合優化資料架構,保證產品的可靠性、穩定性;
負責指導開發人員完成資料模型規劃建設、分析模型構建及分析呈現;
負責研發技術發展方向,新技術領域的探索,將新技術應用到公司大資料平臺,提升公司效能
任職要求:
本科及以上學歷,擁有5年以上大資料平臺產品或分散式系統設計經驗,6年以上的開發經驗;
精通Hadoop,熟悉大資料生態技術,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大規模叢集架構、開發及運維經驗;
熟練掌握java/Scala語言,實現面向物件開發思想OOA,OOD,OOP;
熟悉linux作業系統,熟練掌握指令碼言語Shell/Perl/Python等編碼語言;
熟練掌握資料倉庫設計,開發工作。能夠根據業務設計並開發資料倉。
具備原始碼級問題解決和叢集優化改造能力者優先;
能快速的學習新的開源框架和知識體系,並應用到現有架構體系中;
邏輯清晰,快速的學習能力,良好的溝通能力、團隊協調能力。
具備良好的團隊合作精神,較強的溝通交流能力,具備良好的技術領導能力;
具備良好的文件撰寫能力和技術團隊管理能力
3
職責:
1、負責大資料基礎平臺的整體規劃和架構設計,參與需求分析、技術決策以及詳細設計;
2、為現有大資料叢集Hadoop、hive平臺提供效能調優、架構優化重組,解決系統中的關鍵問題和技術難題;
3、把握基礎業務複雜系統的設計,確保系統的架構質量,編寫核心部分程式碼;
4、持續挑戰新的技術方向,攻克大資料量,高併發,穩定性等各種技術難點。
任職資格:
1、計算機或相關專業本科及以上學歷;
2、5年以上hadoop的應用開發經驗,5年以上資料倉庫開發實踐經驗,至少一個企業級資料倉庫專案開發經驗或者大資料處理專案經驗;
3、良好的程式設計開發能力,精通PHP及其他開發語言;
4、熟悉mysql等資料庫經驗,具備優秀的SQL編寫、調優能力;
5、熟練掌握Linux常規命令與工具,精通shell, perl, python等指令碼語言至少一種;
6、軟體基礎理論知識紮實,具有良好的資料結構、演算法功底;
7、對新技術敏感,學習能力強,樂於接受挑戰,具有良好的團隊合作精神;
4
職責:
1、資料分析軟體平臺架構搭建
2、負責深度學習核心框架或高效能後臺服務系統的架構設計工作,包括系統總體規劃、架構設計、系統分析、軟體實現、效能優化;
3、指導開發人員開發,並解決系統出現的問題,理解物業需求;
4、制定開發計劃和控制開發進度,負責指導研發團隊開展設計工作;
任職要求:
1、碩士以上,計算機或先關專業;
2、5年左右軟體開發經驗,含3年以上系統分析、設計經驗,有大型軟體專案大型軟體專案;有中大型網際網路企業資料庫架構設計及管理經驗,
3、 具備良好的元件級建模能力,熟悉HTTP、TCP等協議
4、熟練使用UML進行軟體架構設計,至少精通EA,RATIONAL, VISIO等一種設計工具.
5、精通至少一種程式語言,熟悉 Linux 相關技術,能獨立在上面進行開發、測試和部署
6、深入理解資料庫、資料倉庫、大資料、分散式體系架構和關鍵技術
5
職責:
1. 負責大資料基礎平臺、海量資料儲存/處理分散式平臺、資料分析系統架構設計和研發;
2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;
3. 制定專案/資料倉庫設計及實現規範,指導設計研發和部署;
4. 協助策略和演算法團隊工作,保障資料探勘建模和工程化;
5. 深入研究大資料相關技術和產品,跟進業界先進技術;
任職要求:
1. 全日制本科及以上學歷,5年以上軟體和分散式系統研發經驗,3年以上大資料系統架構經驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;
3. 具備良好的系統分析能力、故障診斷能力;
4 有大資料策略、演算法、視覺化經驗優先。
大資料架構師的具體職責