大資料架構師的基本職責

　　大資料架構師需要參與規劃從資料來源到資料應用的整體流程，並參與相關產品的決策。下面是小編為您精心整理的。

　　1

　　職責：

　　1.負責整個大資料平臺架構的設計和構建;

　　2.負責構建大資料平臺的資料交換、任務排程等通用平臺;

　　3.制定開發、測試、實施、維護的標準和規範，指導和培訓工程師，不斷提升團隊能力。

　　4.參與系統需求分析、架構設計、技術選型、應用設計與開發以及測試與部署，負責編寫核心部分程式碼。

　　5.持續挑戰新的技術方向，攻克大資料量、高併發、高可用、可擴充套件等技術難點。

　　任職要求：

　　1.3年以上大資料架構經驗，豐富的資料倉庫、資料探勘、機器學習專案經驗

　　2.大規模資料處理的架構和設計實戰經驗

　　3.精通Spark、MR，熟練HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB***NEO4J或其他***等，並具有豐富的大型資料平臺工程經驗

　　4.深刻理解大資料處理***流計算，分散式計算，分散式檔案系統，分散式儲存等***相關技術和實現方法

　　5.熟悉主資料、元資料、資料質量等企業資料管理相關的體系和方法，熟練Linux/Unix平臺上的開發環境

　　6.本科或以上學歷，計算機軟體或相關專業，豐富的java開發經驗和網際網路背景優先。

　　7.具有比較強的問題分析和處理能力，有比較優秀的動手能力，熱衷技術，精益求精

　　2

　　職責：

　　1. 深刻理解政府行業業務模式，構建政府行業的資料模型，制定公司大資料技術發展路線;

　　2. 對接業務研究和技術部門，主動蒐集和轉化需求，組織資料中心業務開發，進行資料相關產品需求分析和設計;

　　3. 搭建資料倉庫，研發資料庫管理系統，蒐集、提取、處理業務積累的海量資料，開展資料分析和挖掘;

　　4. 根據公司戰略和發展需要，規劃資料中心重點工作和任務;落實部門人員、事務管理，開展跨部門、跨地區協作，協助對外交流與合作。

　　職位要求：

　　1. 5年以上相關工作經驗，有團隊管理和專案管理經驗者優先;

　　2.瞭解政府運作機制，掌握財政行業知識，有電子政務行業經驗者優先;

　　3. 熟練掌握使用Java或Python,精通資料庫查詢語言如SQL，Oracle等,在機器學習模型和演算法方向有應用經驗者優先;

　　4. 具備資料中心產品策劃整體思維，有大資料處理、分析、挖掘經驗者優先;

　　5. 邏輯思維嚴密，具備業務抽象、分解和標準化的能力，口頭和書面表達優秀;

　　6. 有較強的大局意識和良好的團隊合作意識，富有領導力，具備優秀的人際交往和溝通能力。

　　3

　　職責:

　　1、從事電信行業大資料專案相關業務調研、產品標準建設、核心模型設計和優化、系統測試等相關工作

　　2、與資料專業委員會一起研究資料建模方案和建模工具，負責產品線產品的資料架構、資料模型設計

　　3、參與研究資料庫之間的資料轉換方式，參與專案中的資料移植工作，收集在專案中的資料移植經驗，優化產品的資料模型

　　4、負責培訓本部門隊伍的資料模型基礎理論工作，建立資料模型團隊

　　崗位要求：

　　1、統招本科學歷，3年以上主流資料上***DB2、Oracle、SQLServer、Mysql等***ETL設計、開發經驗，具備大型資料倉庫邏輯模型和物理模型設計經驗，精通SQL，有較好的SQL效能調優經驗;

　　2、擁有Python，R等數學建模工具的使用經驗，並具備一定的資料處理和建模經驗，可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法並對其進行完整的解釋和說明;

　　3、熟悉統計學基本原理，做過實戰的資料建模專案;

　　4、有分散式資料倉庫建設相關經驗者優先，具備電信行業資料倉庫建設相關經驗者優先;

　　4

　　職責：

　　1、負責大資料平臺的架構設計、核心程式碼開發等任務;根據專案要求編寫相關技術文件;

　　2、負責大資料平臺的架構評審，程式碼評審，上線評審;參與資料應用需求、設計、稽核和評審;

　　3、負責核心模組研發，負責大資料平臺的搭建，完成系統除錯、整合與實施;

　　4、負責建立和維護大資料平臺技術標準規範，指導開發人員編寫程式碼;

　　任職要求：

　　1、本科及以上計算機相關專業畢業;

　　2、精通離線和實時資料處理流程，掌握離線資料處理框架hive、impala、spark-sql等，掌握實時資料處理常用技術工具，包括Storm、SparkStreaming等;

　　3、熟悉大資料技術生態圈，精通大資料技術架構，有大資料平臺構建經驗;

　　4、掌握常見資料流接入工具，包括Flume、kafka等;

　　5、熟練掌握基本的Linux作業系統和某種指令碼語言程式設計***如Shell等***;

　　6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優先;

　　7、有實際大規模資料***TB級以上***處理經驗優先;

　　5

　　職責：

　　1、負責公司的大資料處理框架的研發設計工作，梳理可實現方案和技術規範;

　　2、開發、完善公司大資料平臺;參與公司離線、實時大資料處理系統的設計、開發、測試及多個業務模組的自動化整合;

　　3、負責業務平臺數據統計分析模組的設計與規劃;

　　4、負責公司產品研發過程中的資料及儲存設計;

　　5、帶領和培養團隊完成組織分解的目標;

　　任職要求：

　　1、統招本科及以上學歷，計算機、軟體工程相關專業，至少8年以上工作經驗，5年以上大資料開發經驗;

　　2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構

　　3、熟悉資料倉庫，資料演算法，分散式計算技術理論，具有大資料整體系統架構設計經驗;

　　4、熟悉Linux系統，熟練使用shell/perl/python指令碼處理問題;

　　5、對深度學習框架***Tensorflow***和機器學習***svm 隨機深林貝葉斯等***有一定了解的優先;

　　6、能夠組織專案開發組協同工作，包括團隊溝通、計劃、開發環境管理等