數據倉庫工程師的工作職責(精選16篇)
數據倉庫工程師的工作職責 篇1
職責
1.負責數據ETL開發,優化ETL流程設計;
2.負責數據質量問題的分析、跟進、解決,進行數據質量監測、校驗和提升;
3.負責ETL開發實施文檔的編寫;
4.負責梳理公司數據倉庫/數據集市數據清單、數據映射關系,優化現有數據倉庫模型;
5.完善和梳理數據指標體系,完成和維護數據字典的工作;
6.參與數據標準的制定、數據標準管理和數據安全管理工作;
7.參與公司大數據平臺的建設,包括Sugar報表或神策接口配置,用戶畫像標簽體系的開發等
任職要求:
1.有shell或Python腳本開發經驗;
2.有傳統數據庫SQL Server和MySQL,有存儲過程編寫能力;
3.熟悉Hadoop生態相關技術并有相關實踐經驗,包括但不限于Sqoop、Hive、HBase、Kylin等開發經驗;
4.有kettle、azkaban或oozie工作流調度經驗;
5.熟悉Hive SQL或Flink SQL的開發;
6.有數據倉庫模型設計,有使用kafka+Flink Streaming實時數據處理經驗優先;
7.有Sugar、神策或Tableau使用經驗,有用戶畫像或客戶召回標簽工作經驗優先;
8.對數據挖掘和機器學習有所了解,包括常用的機器學習算法和數據建模過程的優先
數據倉庫工程師的工作職責 篇2
職責:
1. 負責直播業務相關數據倉庫的數據模型設計;
3. 參與數據倉庫ETL流程設計、開發和優化,解決ETL過程相關技術問題;
3. 參與項目規劃,數據采集設計,數據倉庫開發,模型開發,報表開發等;
4. 總結數據倉庫建模的方法,負責數據產品平臺化和系統化;
任職資格:
1. 2年及以上的數據倉庫/BI相關研發經驗,對數據和業務敏感,有較好的數據模型設計能力;
2. 熟悉數據倉庫各類模型建模理論,了解數據倉庫數據分層架構,多維數據模型設計;
3. 熟練使用Hadoop/Spark/Hive/HBase/Mysql,有列式數據庫/Kylin/ElasticSearch等經驗者優先;
4. 有較強的編程能力和編程經驗,至少熟悉Java/Scala/Python/PHP等其中一門編程語言;
5. 參與過大型數據倉庫架構設計、模型設計、ETL設計,具備海量數據處理、性能調優經驗;
6. 學習能力強,熱衷開源技術,有團隊觀念,具備獨立解決問題的能力;
數據倉庫工程師的工作職責 篇3
職責:
1、負責數據源導入、清洗、集成等工作,優化ETL流程并解決ETL相關技術問題;
2、負責參與數據模型體系構建及數據主題設計和開發,數據倉庫和業務數據集市的建設;
3、負責數據集市需求調研和需求分析;
4、基于阿里云Maxcompute,進行數據開發工作。
崗位要求:
1、3年或以上數據倉庫開發和模型設計經驗;
2、深入理解DW,BI相關的知識,包括:ETL、數據倉庫、OLAP、多維數據模型等;
3、熟悉MapReduce、Hive原理;
4、精通SQL,能夠熟練使用HiveSQL進行數據開發;
5、具有良好的團隊協作精神和溝通能力,較強的邏輯思維,學習能力和解決問題的能力,可承擔較大的工作壓力;
6、熟悉阿里云大數據開發平臺優先,如Maxcompute;
7、熟悉跨境電商及供應鏈業務優先。
數據倉庫工程師的工作職責 篇4
職責:
1、 參與數據倉庫及ETL基礎架構規劃、安全規劃制定;
2、 負責數據倉庫及ETL的開發、測試和優化,并及時解決相關技術問題;
3、 負責相關數據準確性驗證及報表等日常維護;
4、 報表性能優化:對存在性能問題的數據報表進行優化;
5、 數據運維:及時處理線上問題;
6、 完成上級交代的其他工作。
崗位要求:
1.計算機相關專業本科及以上學歷,2年以上ETL開發或數倉相關工作經驗;
2.熟練使用Oracle、MySQL、PostgreSQL等主流數據庫,具有較強的SQL編寫、優化能力,熟悉存儲過程編寫;
3.熟悉數據倉庫數據處理流程,有一定的數據建模能力;
4.具有良好的溝通理解能力,能根據業務提出的需求,快速理解并落地實施;
5.有Kettle、Greenplum開發經驗者優先。
數據倉庫工程師的工作職責 篇5
職責:
1. 負責數據倉庫架構設計與開發
2. 根據業務調研,設計信息模型與數據模型,負責大數據建模、ETL、數據產品及平臺的設計與開發
3. 滿足業務數據需求,設計面向業務的數據集市模型
4. 需求的溝通與數據開發項目管理
5. 基于Hadoop生態的程序設計、開發和維護
崗位要求:
1.熟悉SQL語言,至少熟悉Oracle、MySQL、SQL sever一種及以上
2.精通數據庫系統(Oracle、SQL、mysql等):精通熟悉Oracle數據庫體系結構,基礎扎實;精通熟悉DataGuardRAC等高可用技術,能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復技術;熟悉SQL和PLSQL,能編寫日常維護需要的腳本
3. 從事過數倉邏輯模型、物理模型設計與實施等工作
4. 有使用Hive、Hbase、kettle等相關應用經驗更佳
數據倉庫工程師的工作職責 篇6
職責:
1. 文檔編寫:根據項目經理的要求,參與開發設計文檔的編寫,
2. 代碼編寫:根據項目需求 按時完成程序代碼編寫,
3. 代碼測試:做好自己開發的單元測試或部分集成測試工作。
崗位要求:
1. 1到3年工作經驗,計算機或相關專業大學本科及以上學歷 ,
2. 熟悉postgresql MySQL mongodb等數據庫基本操作,
3. 有較強的sql處理能力,
4. 熟練掌握linux常用命令,有shell腳本處理能力,
5. 有python基礎能力優先,有數據實時處理能力優先。
數據倉庫工程師的工作職責 篇7
職責:
1、稅務系統數據按照甲方需求的分析、加工、查詢、統計等;
2、BIEE報表前臺展現工具的基礎應用;
3、后臺ORACLE數據庫庫表結構的維護優化;
4、ETL工具(ODI)的基礎使用;
崗位要求
1、計算機相關專業本科學歷,或有一年以上數據庫相關工作經驗專科學歷;
2、較好的溝通、學習能力和團隊協作精神;
3、熟練使用ORACLE等數據庫相關技術;
4、熟練掌握PL/SQL等開發工具;
5、具有較強的問題分析和解決能力,能獨立完成需求分析;
6、有大型數據庫使用維護經驗者優先;
7、責任心強,有較好的敬業精神,工作積極,有較強的自主學習能力;
8、有數據庫工作經驗者優先;
9、有稅務行業、財務行業開發管理經驗者優先;我們提供雙休、生日禮金、 五險一金以及帶薪年假,發展前景廣闊。
數據倉庫工程師的工作職責 篇8
1、熟悉國土調查生產作業的各項處理規范,并能夠整體把控各項目執行過程;
2、能夠獨立帶隊開展三調成果內業數據核查工作;
3、科學制定工作計劃,負責項目組任務分配,跟蹤、檢查項目組工作完成質量;
4、學習、發展新的測繪技術手段,不斷完善生產工藝和技術創新,為提高項目生產效率提供技術支持。
數據倉庫工程師的工作職責 篇9
1.負責公司各類模型(語音、計算機視覺、語義等)中某幾項的模型訓練、優化、測試等;
2.負責公司各類模型(語音、計算機視覺、語義等)所需數據的爬取、清洗、處理等;
3.協助完成研究中心的其他研發任務。
數據倉庫工程師的工作職責 篇10
1. 負責來料檢驗員工作安排,提高工作效率;
2. 負責來料檢驗工作的規劃和管理;
3. 對裝配過程中出現的零件質量問題進行分析和跟蹤處理;
4. 不斷改進檢驗方法,提高來料檢驗質量;
5. 對供應商進行指導;
6. 負責來料檢驗員的培訓。
數據倉庫工程師的工作職責 篇11
1、負責電力營銷業務需求分析及設計工作,可以獨立完成電力營銷業務需求調研、業務模型編制、需求說明書編制及制作業務需求原型等工作。
2、能夠熟練及清晰的開展需求講解,為開發人員概要設計和詳細設計提供業務支持、及負責功能驗收工作。
3、配合測試人員參與測試計劃、測試用例、測試報告的編寫、問題缺陷的發現及跟蹤、用戶手冊編寫等。
4、對系統需求變更進行影響分析,跟進批準后的需求變更在各個階段的落實。
數據倉庫工程師的工作職責 篇12
職責:
1、負責ETL開發、作業調度和數據平臺建設
2、負責數據倉庫的設計、開發和優化,建立結構層次合理、靈活可擴展的數據倉庫
3、設計并研發BI分析相關的數據產品
4、結合對數據的理解和業務需求,對數據進行整理、分析和挖掘
任職要求
1、計算機相關專業本科及以上學歷,有2年以上數據倉庫、ETL工作經驗
2、有海量數據處理、ETL及作業調度優化、數據倉庫建模等經驗
3、熟悉Linux、SQL、Python或Java、Shell腳本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大數據技術使用經驗
4、邏輯清晰,對數據敏感,深入了解業務,具備自己獨特的想法并能提出合理的建議
數據倉庫工程師的工作職責 篇13
職責:
主動與用戶進行業務需求溝通,準確理解客戶需求,協助客戶進行需求提出及分類,進行新需求維護;能及時的處理并解決用戶反饋的業務問題或需求;
主動與用戶建立并保持良好的溝通,與項目組其他成員(開發/測試人員等)進行良好的溝通;
按要求編寫出高質量需求規格說明書;
協調組織相關客戶及項目成員,按要求進行需求評審,協助各相關干系人準確理解客戶的真實需求;
管理需求變更,跟蹤需求使用情況。
崗位要求:
本科以上學歷,計算機、軟件工程、信息管理相關專業優先考慮;
3年以上軟件需求分析工作經驗,完成過至少2個項目的需求分析、交互設計,原型設計的工作;
掌握visio/axure等原型及流程設計工具,具備較強的需求分析和文檔撰寫能力,具備較強的邏輯思維能力;
有RPA(機器人流程自動化)項目經驗的優先考慮;
具有良好的英語聽說讀寫能力的優先考慮。
數據倉庫工程師的工作職責 篇14
職責:
1、駐點項目,負責機房所有服務器(機架式,刀箱及塔式)和存儲設備的日常維護。
2、負責虛擬化平臺的管理及運維,并持續優化;
3、負責運維項目windows、linux、unix、aix系統的管理及運維;
4、協助運維項目服務器、存儲、SAN網絡的建設、管理及運維;
5、負責基本服務的日常維護。(DNS,DHCP,SAMBA,FTP和Mdaemon郵件等服務)
6、定期對系統和WEB應用做安全掃描,提供掃描報告和總結。對一些入侵或者其他安全事件提供技術支持和防御建議。
任職要求:
1、25~35歲,計算機相關專業統招本科及以上學歷,3年以上服務器、存儲及災備系統建設管理經驗;通過VMWARE VCP認證,能力較強者可適當放寬條件;
2、熟悉服務器、存儲、SAN網絡管理;有IBM、netapp存儲運維經驗者優先;對網絡技術感興趣,能自覺查找相關學習資料或故障手冊;
3、掌握linux運維管理;具有IBM、oracle小型機運維;經驗、熟悉AIX、solaris者優先;能獨立搭建實驗環境模擬現網;
數據倉庫工程師的工作職責 篇15
1.根據產品前段設計線路或文件要求,按照工藝設計規則、設計產品的版圖;
2.對產品版圖進行規則檢查,電路與版圖匹配檢查;
3.完成用于生產加工的產品最終設計。
數據倉庫工程師的工作職責 篇16
1、參與產品調試及驗證過程,協助完成產品調試說明書等生產調試文檔,做好產品從科研到生產的銜接工作;
2、協助工程師,對產品在研制過程中出現的問題進行分析,并協同解決;
3、協助生產調試人員,完成產品的生產相關工作;
4、完成領導安排的其它工作。