數據倉庫工程師的主要職責(通用20篇)
數據倉庫工程師的主要職責 篇1
職責:
1.參與傳統數倉和大數據數倉日常開發工作;
2.參與大數據倉庫設計、規劃和開發;
3.參與日常工作的優化,提出建設性意見;
4.負責管理項目,負責板塊內的資源協調、進度管理、交付管理;
5.參與數據倉庫、數據集市體系架構的設計、規劃與開發, 參與大數據、ETL開發,sql性能優化。
任職要求:
1.全日制本科,計算機等相關專業。3年以上數倉開發經驗,有銀行、金融從業經驗者優先。
2.2年以上項目管理經驗,具備PMP證書優先.
3.熟悉oracle/hive/spark,熟悉數據處理和性能優化,有UDF自定義函數、MR開發經驗優先;
4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一種腳本語言。
數據倉庫工程師的主要職責 篇2
職責:
1、負責ETL開發、作業調度和數據平臺建設
2、負責數據倉庫的設計、開發和優化,建立結構層次合理、靈活可擴展的數據倉庫
3、設計并研發BI分析相關的數據產品
4、結合對數據的理解和業務需求,對數據進行整理、分析和挖掘
任職要求
1、計算機相關專業本科及以上學歷,有2年以上數據倉庫、ETL工作經驗
2、有海量數據處理、ETL及作業調度優化、數據倉庫建模等經驗
3、熟悉Linux、SQL、Python或Java、Shell腳本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大數據技術使用經驗
4、邏輯清晰,對數據敏感,深入了解業務,具備自己獨特的想法并能提出合理的建議
數據倉庫工程師的主要職責 篇3
職責:
1、負責制定數據倉庫平臺技術體系架構、數據架構及規范;
2、負責設計和實施公司業務數據的實時/離線數據ETL架構方案;
3、負責調度架構設計與開發;
4、負責數據倉庫平臺運維以及日常數據運營等管理;
5、負責關鍵技術攻關;
任職要求:
1、5年以上數據倉庫項目開發經驗,參與過數據倉庫架構設計,對ETL開發流程、調度架構有深入理解;
2、精通mysql、 oralce 、greenplum等至少一種數據庫,豐富的SQL性能調優經驗;
3、熟練使用Java、Shell、Python、Perl等至少一種腳本語言;
4、熟悉數據治理理論,數據質量、元數據管理流程和方法;
5、了解Hadoop/Hive/HBase/Spark/Storm等技術及其生態圈;
6、溝通能力好、責任心強,具有良好的團隊合作精神和敬業精神;
數據倉庫工程師的主要職責 篇4
職責:
1.負責企業級數據倉庫設計、規劃、建設、實施、管理,數據倉庫架構設計與數據開發,創建數據倉庫、數據集市
2.熟悉數據倉庫領域知識,從架構和技術層面參與建設數據倉庫,包括元數據管理、數據質量、主數據管理、性能優化和調優。
3.負責數據倉庫平臺相關數據管理工作,如研發規范、質量規范、保障規范的制定與推動實施落地
4.配合和協助數據分析/數據挖掘形成底層/中間層的業務邏輯切片
任職資格:
1. 本科或碩士以上學歷,計算機工程相關專業
2. 熟悉大數據相關技術能力(Hadoop/MapReduce/Hive/Hbase等),熟練進行數倉Hive建設和軟件架構,較強的數據抽象能力
3.精通SQL,具備海量數據處理和Hive/Spark性能調優經驗,3年以上大規模分布式數據倉庫建設經驗
4.熟練使用Druid/Kylin之一進行數據挖掘模型設計,熟練掌握Java/Scala之一,具備良好的coding素養和習慣,了解腳本語言,如Python、Shell等
5.強烈的責任心,工作態度積極主動,有較好的團隊精神和溝通能力,工作細致認真
數據倉庫工程師的主要職責 篇5
職責:
1.建設公司級數據倉庫,并根據業務變化持續迭代和優化;
2.對業務數據進行梳理和抽象,建設數據倉庫的數據模型;
3.對業務數據進行采集、清洗、轉換和存儲;
4.支撐BI、用戶數據、用戶運營、用戶畫像、房源數據、推薦系統等核心數據平臺產品;
5.研究大數據前沿技術,不斷持續優化大數據平臺,為業務提供價值。
任職資格:
1.本科及以上計算機、統計學、數據庫、機器學習等相關專業,5年以上數據相關工作;
2.對業務數據有敏銳的理解能力,并能快速梳理和分析業務數據;
3.熟練掌握SQL語言、熟悉MySQL,對Shell、Java(主要開發語言)、Python編程非常熟悉;
4.熟悉常用的ETL技術和原則;精通數據倉庫數據庫設計規范和實操;
5.熟悉Hadoop、Hive、HBase、Spark、Storm等開源平臺者優先;
6.具有較強的分析和解決問題的能力,良好的學習能力和團隊合作精神,追求價值實現,認同目標管理和敏捷。
數據倉庫工程師的主要職責 篇6
職責:
1、根據業務部門需求進行數據的處理、分析、導出和日常維護;
2、結合公司的業務,進行一些自動化數據處理腳本的開發;
3、完成相關文檔的編寫。
職位要求:
1、熟練掌握SQL語句,能夠運用SQL進行各種數據處理;
2. 熟悉Postgresql、Mysql、Oracle、HIVE 或其他數據庫中的一項或幾項;
3、熟悉shell或python編程,能夠用腳本進行數據自動化數據處理;
4、具有良好的溝通能力和業務理解能力;
5、有過kettle,powercenter等ETL經驗加分;
6、有數據挖掘分析能力加分。
數據倉庫工程師的主要職責 篇7
職責:
1.根據業務需求,設計數據庫結構,改進數據庫架構,實施數據庫分布式、集群、負載均衡方案;
2.負責數據庫服務可用性監控、容量規劃、架構設計和擴容實施;
3.定期檢查并優化數據庫平臺性能;
4.分析數據庫系統性能瓶頸,提出優化建議和方案。
任職資格:
1.精通SQL Server、MySQL等數據庫;
2.精通SQL腳本的編寫,有豐富的數據庫管理、運維調優經驗;
3.熟練使用數據庫管理、分析、設計工具;
4.具備優秀的數據庫架構設計能力,熟悉數據庫性能優化;
5.快速處理系統突發事件的能力,較強的學習和創新能力。
數據倉庫工程師的主要職責 篇8
職責:
1、 負責組織客戶需求調研,收集、分析、整理項目需求,撰寫需求規格說明書,并與客戶達成一致;
2、 根據業務需求進行功能需求分析,制作頁面原型,組織需求論證說明,編寫需求分析說明書;
3、 給設計開發人員、測試人員和實施人員培訓需求,跟進需求在各個環節的落實,驗證系統的各項產出物與需求一致;
4、 對需求變更進行影響分析;跟進批準后的需求變更在各個環節的落實;
5、 協助業務部門進行項目應用推進工作,負責用戶手冊、產品功能說明等相關資料的編寫。
職位要求:
1、 本科及以上學歷,計算機相關專業優先,具有保險行業相關知識及從業經歷者優先;
2、 熟練使用word、excel等辦公軟件;熟悉UML、visio、Axure等建模工具者優先;
3、 思維清晰敏捷,具有較強的邏輯分析能力;
4、 有較強的理解、溝通能力,表達能力和文檔編寫能力。
數據倉庫工程師的主要職責 篇9
職責:
1. 負責推薦引擎,統計學模型,以及大數據產品和服務的核心模型與算法的創新研究和實現;
2. 實現個性化推薦數據平臺的實時處理性能優化;
3.參與大數據預測模型的產品和服務設計與建模;
4.負責用戶畫像在產品運營/廣告/大數據產品等場景的應用。
任職資格:
1.本科及以上學歷,四年工作經驗,計算機、統計學等相關理科專業,具有深厚的統計學.數學.人工智能和數據挖掘知識基礎;
2.熟悉機器學習相關算法,有較豐富的機器學習落地經驗,有tensorflow,spark,sklearn等框架使用經驗者優先;
3.至少熟練使用一門編程語言(python/java/scala等),熟悉數據庫操作,有hadoop、hive等分布式大數據工具使用經驗者優先;
4.有較強的數據分析能力,邏輯思考,問題定位解決能力;
數據倉庫工程師的主要職責 篇10
職責:
參與數據倉庫模型設計和開發工作;
負責建立數據分析模型,設計前端報表,數據可視化開發;
負責數據平臺項目數據倉庫的管理、性能監控及優化等;
負責數據平臺的日常運維及優化
職位要求:
大學本科以上學歷,3年以上工作經驗,包含2年以上數據倉庫開發工作經驗;
精通數據倉庫建設,熟悉常用的模型設計方法;
對數據可視化有豐富的經驗,熟悉常用的數據分析方法;熟悉至少一種報表工具開發;
精通數據倉庫領域知識和技能,包括元數據管理、主數據管理、數據質量管理等;
熟練使用ETL工具如Kettle、SSIS等進行數據清洗、轉換、整合;
熟悉至少兩種關系型數據庫,如Oracle、SQL Server、PostgreSQL、MySql等主流數據庫,精通SQL Server開發和運維者優先考慮;
有完整的數據平臺建設經驗者優先;
熟悉使用Linux系統及Shell腳本開發,熟練開發Python程序者優先;
熟悉大數據開發框架者優先,如Spark,Flink等;
對新技術好奇愛學習,主動性和責任心強,對數據敏感,邏輯性強,有良好的抗壓能力;
團隊協作能力強
數據倉庫工程師的主要職責 篇11
1、通信、電磁場與微波技術等相關專業本科以上學歷;
2、熟悉無線通信原理、電磁場、微波理論等基礎電路知識;
3、熟悉使用頻譜分析儀和網絡分析儀,以及常用綜測儀等射頻設備,工作原理和對應技術指標;
4、熟悉應用RF電路仿真軟件;
5、負責射頻測試、測試方案制定和實施及測試環境搭建;
6、負責產品EMI、EMC、無線認證的射頻部分的準備,以及相關射頻問題的解決;
7、對藍牙,Wifi協議的物理層指標及測試熟悉的優先。
8、對待工作認真負責、責任心強,有良好的團隊合作精神、溝通能力,能夠承受一定的工作壓力。
數據倉庫工程師的主要職責 篇12
職責:
1、對海量業務數據進行整合、分析、挖掘,并提供相關數據服務;
2、研發與設計大數據挖掘算法,搭建數據平臺;
3、應用數據挖掘工具或者開發新算法,參與項目開發,解決產品需求;
4、通過對數據的敏銳洞察,深入挖掘產品潛在價值和客戶需求,進而提供更有價值的產品。
崗位要求:
1、統計學、應用數學、計算機等相關專業,統招本科及以上學歷;
2、一年以上數據挖掘經驗,熟練掌握多種統計和挖掘方法,熟練使用SPSS、SAS等相關數據分析軟件;
3、較強的數據敏感度,邏輯分析能力和文檔撰寫能力;
4、良好的邏輯思維能力,優秀的分析和解決問題的能力,對挑戰性問題充滿激情。
數據倉庫工程師的主要職責 篇13
職責:
1. 負責公司數據倉庫/數據集市模型設計,優化現有數據倉庫模型;
2. 參與數據倉庫支持工具設計;
3. 參與數據倉庫需求定義;
4. 參與數據治理、元數據建設、優化數據開發流程。
任職資格:
1. 計算機、數學、統計或相關專業本科及以上學歷,數據挖掘/平臺和BI分析領域優先;
2. 3年及以上數據倉庫設計開發經驗;
3. 熟悉HIVE,有HQL使用經驗者優先;
4. 精通數據倉庫建模方法,對kimball維度建模理論有深入的了解;
5. 有實際數倉建設項目負責人經驗者優先;
6. 熟悉Hadoop生態圈以及大數據環境的 OLAP 框架者優先。
數據倉庫工程師的主要職責 篇14
1、熟悉客運專線施工質量驗收暫行標準、施工技術指南及施工質量驗收補充標準,參與橋梁工程施工技術創新和新技術、新設備、新工藝的推廣、應用,督促落實新技術、新工藝的實施情況;負責橋梁工程科技信息收集、積累、開發、利用及科技資料的整理。
2、編制橋梁工程實施性施工組織設計。參與橋梁開工報告、竣工文件的編制工作。
3、負責橋梁工程的設計文件審核與匯總,對設計中存在的問題及時報請相關單位,相關部門,相關人員解決。
4、負責管段內橋梁工程的材料計劃提報。
5、負責一般性橋梁工程施工方案的制定,并報主管領導審核。
6、參加解決橋梁工程施工中的技術問題,及時向主管領導匯報施工中遇到的技術難題,參與研究、制定解決問題的方案并及時組織實施。
7、參加工程竣工驗收工作,編制施工技術總結。
數據倉庫工程師的主要職責 篇15
1.參與施工交接樁、復測、設計圖紙復核。對設計中存在問題及時匯報。
2.做好隧道施工中特殊過程、危險源和環境因素辯識評價,參與編制項目施組及隧道工程專項施工組織設計,制定質量安全、環保相關作業指導書、管理方案、應急予案和技術交底。
3.準確掌握隧道工程的設計文件意圖、標準規范,明確施工工藝流程和創優規劃,按工期要求及時提報進度安排、材料計劃和技術交底。深入現場指導施工,及時處理施工中出現的技術問題。
4.做好隧道施工過程中內業資料的積累及竣工資料的編制、整理工作。
5.參與推廣隧道施工中新技術,新工藝、新材料、新方法的應用和QC小組活動。
6.積極主動參與論文及技術總結的編寫。按規定提供有關報表。
7.協助領導做好施工中的進度、質量、安全、環保、成本控制及管理。搞好日常檢查,發現問題及時糾正預防。
數據倉庫工程師的主要職責 篇16
通過海量用戶交易數據挖掘用戶特征,根據業務需求搭建風險識別模型;
依據支付及相關數據,對用戶進行風險評級;
開發用戶信用風險模型及策略。
數據倉庫工程師的主要職責 篇17
1.學習并操作設備進行啟動,系統安裝、數據備份、恢復,維修并檢測損壞的設備;
2. 收集客戶需求,處理客戶協調工作,進行技術分析及支持工作;
3. 確保正確使用工具和測試設備,并及時在相關的報告中匯總使用情況;
4. 符合國家和地方法規和安全標準,以及公司的技術和操作指導;
數據倉庫工程師的主要職責 篇18
1.土地資源管理、地理信息系統等相關專業;
2.負責土地規劃類項目的數據庫建設及更新;
3.建設用地預審及報批業務;
4.土地利用總體規劃傳統業務(規劃編制、規劃調整、專項規劃等)
數據倉庫工程師的主要職責 篇19
職責:
1、負責項目的PC服務器軟硬件巡檢、故障處理、設備優化工作;
2、負責項目的存儲、光纖交換機的巡檢、故障處理、設備優化工作;
3、負責服務器及存儲相關技術的報告及方案編寫;
4、公司安排的其它工作。
任職要求:
1、2年以上經驗,具備主流品牌DELL\HP\IBM的PC服務器硬件故障處理能力,熟悉設備巡檢流程
3、具備主流品牌EMC\HP\IBM\華為存儲及光纖交換機硬件故障處理能力,熟悉設備巡檢流程
4、具備VMware、KVM、XEN、HelpverV等虛擬化維護能力,能對虛擬平臺進行遷移、優化等操作
5、具備Windows\Linux操作系統的巡檢和故障處理能力
6、熟悉OFFICE等辦公軟件使用,能獨立設計、編寫方案和報告,熟悉文檔排版能力
7、具有較強的抗壓能力,較強的溝通意識、責任心強
數據倉庫工程師的主要職責 篇20
1.承擔智慧城市頂層設計和規劃工作;
2.承擔行業信息化總體規劃、信息系統總體方案設計、可行性研究等工作,并進行跟蹤溝通、方案宣講、現場調研、和技術交流;
3.承擔用戶需求分析與解決方案的編制和設計工作;
4.承擔智慧城市的數據標準/接口等的制定;