資料倉庫工程師的基本職責模板
資料倉庫工程師需要根據專案資料業務需求場景,設計合理的倉庫模型,以及ETL開發、實施、效能優化、資料監控等,構建可擴充套件的資料倉庫以及資料分析解決方案。以下是小編整理的。
1
職責:
1、根據公司業務需求,構建可擴充套件的資料倉庫,負責資料模型的規劃設計實現和優化。
2、負責業務資料的採集,清洗,特徵抽取。
3、負責ETL的維護工作,發現故障及時診斷、定位、分析和除錯,保證資料準確、穩定。
4、根據業務需要,提供面向業務的報表、資料提取等資料服務。
5、參與業務資料分析體系的資料統計、分析及建模。
任職資格:
1、 統招本科及以上學歷,三年以上資料倉庫、BI開發經驗;至少兩年
2、熟練使用oracle、mysql、Postgres等關係型資料庫及Hive、Hbase、spark、impala等基於hadoop叢集的元件、編寫優秀的儲存過程、熟悉shell指令碼語言,有良好的程式碼習慣
3、 熟悉資料倉庫建設的流程及方法論、理解維度建模,有實際的模型設計經驗及ETL相關開發經驗;
4、 熟悉二種以上開源或商業的BI工具,有報表及視覺化開發經驗,熟悉帆軟開發優先;
5、網際網路金融工作經驗優先,汽車金融行業經驗優先
5、 較強的邏輯思維能力和學習能力,對資料有敏銳的認知力,工作態度踏實、認真、積極主動,有良好的團隊協作能力、執行力以及抗壓工作能力和心態,樂於溝通交流和分享。
2
職責:
1. 獨立完成ETL 需求分析、設計、開發及部署工作
2. 獨立完成BI分析報表等應用的需求分析、模型設計、資料處理、報表開發等工作;
3. 配合開發經理完成BI分析報表等專案的過程管理、元資料管理、質量管理;
4. 完成實時大資料處理系統及批處理系統的架構設計及實現;
5、負責BI分析報表等應用的系統部署及運維
任職要求:
1. 計算機相關專業本科及以上學歷,3年以上相關開發經驗;
2. 精通主流關係型資料庫,精通SQL優化、ETL問題定位,能夠從模型設計層面做ETL優化;
3. 精通ETL架構的設計,精通BI/DW,精通資料倉庫模型設計;
4. 熟悉Hadoop、Map/Reduce的原理,能夠選用合適的工具設計、編寫Hadoop的ETL程式;
5. 熟悉Shell/Perl/Python等指令碼語言;
6. 熟悉kettle及sqoop; 精通元資料管理、資料質量分析和處理設計。
3
職責:
1.負責VIVO公司級的資料集市和資料倉庫的設計和開發
2.負責基於使用者行為的使用者標籤探索和開發
3.負責基於業務需求的資料中間層和視覺化開發
4.負責各類分類和預測模型的開發
任職資格:
1.本科學歷,數統、計算機相關專業。
2.瞭解hadoop\spark生態,有完整倉庫設計和開發經驗。
3.精通hql調優,shell\python,熟練使用常規機器學習演算法。
4
職責:
1、負責公司大資料平臺建設、開發
2、依據業務需求,進行資料產品的規劃和設計開發,為資料分析和運營等人員搭建友好高效的資料產品,如報表、BI系統等
3、協助對業務資料進行分析、建模,為業務部門的資料化運營提供支援
任職要求:
1、本科或以上學歷,2年以上大資料開發或資料倉庫或BI經驗,熟練掌握Java或者Python開發語言
2、熟悉Hadoop或Hadoop生態圈相關技術,如Hive、Spark等,或者大資料雲服務技術。
3、對業務有敏銳的洞察力,有較強的業務理解與分析能力;
4、具備良好的團隊合作精神,有較好的溝通交流能力,善於主動思考和行動,樂於解決具有挑戰性的問題;
5、具有電商領域大資料開發、推薦系統研發經驗的優先考慮。
5
職責:
1、 負責全平臺流量及業務資料開發,參與資料模型體系構建及資料主題設計,為BI資料報表提供底層資料支援;
2、 理解產品、業務人員的資料需求,提供OLAP、資料提取等資料服務;
3、 參與資料倉庫模型設計,負責元資料建設、資料融合、多維度事實表及維表的資料倉庫開發;
4、 參與專案ETL的設計、開發、排程、執行、處理,進行模型效能及ETL流程調優;
任職要求:
1、大學本科及以上學歷,5年以上工作經驗;
2、 熟悉ORACLE、MYSQL、SQL Server等主流資料庫,熟練使用Power designer、kettle、 Data service等資料倉庫及ETL工具,瞭解Dashboard、Smart BI、Power BI、Cognos等前端開發工具;
3、 熟悉Data Cube,並精通SQL,熟練使用Hive、Spark-SQL, python、Shell等進行資料開發,具備開發複雜業務邏輯的資料處理及分析能力;
4、熟悉資料倉庫理論,掌握Kimball維度建模方法,有ETL開發和數倉模型設計經驗;
5、有很強的自我驅動力,對開源技術非常感興趣並具有一定的研究能力;
資料倉庫工程師的工作職責