大資料架構師工作的崗位職責

　　大資料架構師負責研發技術發展方向，新技術領域的探索，將新技術應用到公司大資料平臺，提升公司效能。下面是小編整理的。

　　1

　　職責：

　　1、負責大資料平臺技術框架的技術選型和搭建;

　　2、負責核心技術問題公關，建設高可靠性，擴充套件性及高效能大資料/資料應用平臺;

　　3、負責規劃資料探勘的整體流程，負責大資料開發團隊業務需求開發;

　　4、與其他團隊密切配合，尋求資料層面的業務價值，利用資料分析結論推動產品優化;

　　5、研究和分享大資料架構領域新技術。

　　任職要求：

　　1、計算機相關專業全日制統招本科及以上;

　　2、5年以上工作經驗，至少3年以上大資料專案相關工作經驗，能夠設計大型大資料系統的架構和技術方案;

　　3、精通Hadoop/Spark/Hbase/Hive等大資料技術,精通ETL技術;

　　4、熟悉資料探勘，瞭解典型大資料演算法和策略;

　　5、熟悉主流Java技術框架，精通關係型資料庫及SQL語言，熟悉NoSQL/JSON/XML;

　　6、有較強的學習能力和問題解決能力，邏輯嚴密、思路清晰;

　　7、有資料倉庫經驗者優先，有金融行業專案經驗者優先。

　　2

　　職責：

　　1、負責DMP技術架構設計與構建，根據業務規劃及技術規劃制定應用架構方案;

　　2、負責設計構建DMP資料採集、儲存及分析框架，設計資料處理的技術流程和規範;

　　3、負責核心功能的架構與程式碼模板編寫，開發與維護系統公用核心模組;

　　4、負責基於大資料技術的海量資料的自動化分析處理和統計工作。

　　崗位要求：

　　1、計算機或相關專業本科以上學歷，三年以上的開發經驗，二年以上大資料相關軟體架構的實際經驗;

　　2、精通大資料處理技術，熟悉Hadoop/Storm技術體系，有Hadoop、Hive、Hbase專案經驗;

　　3、具有較強的架構能力，具有分散式計算、實時計算、資料倉庫、資料探勘系統的架構經歷優先;

　　4、對資料敏感，洞察力強，瞭解國內外廣告發展趨勢;

　　5.、擅長系統分析與設計，精通常用的設計模式，擅長效能調優;

　　6、熟悉DMP/RTB技術原理，瞭解使用者的行為分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等廣告行業從業經歷。

　　3

　　職責：

　　1、負責spark, hadoop, flink等開發和優化。

　　2、參與前期需求溝通和分析，以產品化開發的思維，完成需求分解和資料架構設計。

　　3、與研發和資料科學家合作保證產品定義清晰，按時完成產品上線。

　　4、能夠洞察市場狀況，與各部門合作轉化為基於大資料探勘的新策略或方案.

　　5、主動創造和發掘新的基於大資料探勘產品商業模式.

　　任職要求：

　　1、全日制本科及以上學歷，計算機軟體相關專業，5年以上開發經驗，3年以上架構經驗

　　2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分散式資料儲存和分散式計算平臺原理，流式計算開發，有開源二次開發經驗者優先。

　　3、精通大資料探勘、機器學習.熟練掌握Java/Perl/Python至少一種程式語言。

　　4、具有資料探勘和分析、機器學習等專案實施相關經驗者優先;

　　5、良好的跨部門溝通合作能力，解決不同觀點能力並取得結果。具備敏銳的網際網路產品理解力，學習能力和邏輯思維能力強;

　　6、較強的自我驅動力、推動和協調能力，強烈的責任心和團隊合作精神;

　　4

　　職責

　　1、負責大資料架構設計，包括定義資料的儲存、整合***ETL***、應用，支撐業務運營和資料分析類需求實現;

　　2、制定資料治理領域的資料體系化管理措施，包括元資料設計、資料標準、資料質量、資料處理、資料安全等工作，確保資料可信與安全;

　　3、基於行業資料積累，滿足業務的資料探勘需求，實現從資料到資產的轉變，根據目標行業建立具有前瞻性的資料模型;

　　4、對各產品的資料安全負責，主導制定和實施資料庫系統安全策略，保證整體方案資料安全;

　　崗位要求

　　業務技能要求：

　　1、深入理解雲化、資料倉庫，在參與過的系統設計中，必須涉及這兩項關鍵技術;

　　n2、精通或者熟悉Hadoop體系架構，以及HDFS/HBase/Hive/MapReduce/Spark等技術，瞭解體系架構各元件的優缺點，有直接的產品設計與開發、部署、調優的經驗;

　　3、精通或熟悉常見RDBMS***Oracle / PostgreSQL / MySql***、NoSQL***Redis / Memcached/ MongoDB***、全文搜尋引擎***Solr/ElasticSearch***的使用及開發，瞭解各資料庫優缺點， 熟悉與架構設計相關的資料儲存、效能調優等相關領域知識，有相關專案經驗尤佳;

　　4、熟悉業界常用的資料採集、整合、資料儲存、計算、資料模型、資料分析的技術方案，具有資料分析或資料探勘相關經驗者優先;

　　n5、熟悉資料治理相關流程，包括資料接入、資料處理、資料治理、資料組織、資料服務等。

　　專業知識要求：

　　1、具備資料治理的知識與體系方案，包含政策、組織、角色、流程、規範等，以及規劃相應的支撐方案。瞭解業界的資料管理方法論;

　　2、具備資料用例設計和開發能力。能夠基於業務相關資料進行業務需求分析和痛點識別，將業務需求轉化為資料的需求，完成資料用例的設計和開發;

　　3、精通海量資料***日增量百億***級別資料倉庫、資料集市的構建流程。熟悉公安、政務、工業、交通、醫療等多行業業務者優先。

　　5

　　職責：

　　1. 負責大資料平臺的基礎技術規劃，編制相關規範文件。

　　2. 負責大資料平臺的資料採集，處理，儲存以及挖掘分析的架構實現。

　　3. 負責大資料平臺的實際規劃建設，包括環境和框架的規劃搭建以及部分核心編碼工作。

　　4. 負責大資料相關技術發展方向的預研。

　　5. 參與業務需求調研，根據需求及行業特點設計大資料解決方案並跟進具體實施專案。

　　6. 制定大資料平臺中資料質量，業務質量監控及管理辦法。

　　崗位要求：

　　1. 全日制本科及以上學歷，5年以上工作經驗，4年及以上大資料架構設計經驗，熟悉大資料解決方案，包括Hadoop平臺、Spark、storm、機器學習、深度學習等大資料解決方案。

　　2. 深刻理解大資料處理***流計算、分散式計算、分散式檔案系統、分散式儲存等相關技術***實現方法。有架構和設計實踐經驗。

　　3. 精通大型資料庫Oracle、SqlServer等的開發。

　　4. 精通java，Python中的一種或多種語言。

　　5. 熟悉容器、虛擬化、微服務框架等相關技術。

　　6. 對資料敏感，有嚴謹的工作思路，良好的溝通能力和團隊合作精神。

　　7. 熟悉R，Python，SAS、SPSS等資料探勘經驗者優先。

　　8. 高寬展性，高效能，和分散式系統的實踐及運維經驗者優先。

　　9. 有大型資料倉庫實施、大資料平臺數據開發經驗，熟悉運營商業務者優先。