數據倉庫工程師的主要職責(通用27篇)
數據倉庫工程師的主要職責 篇1
職責:
1、負責ETL開發、作業調度和數據平臺建設
2、負責數據倉庫的設計、開發和優化,建立結構層次合理、靈活可擴展的數據倉庫
3、設計并研發BI分析相關的數據產品
4、結合對數據的理解和業務需求,對數據進行整理、分析和挖掘
任職要求
1、計算機相關專業本科及以上學歷,有2年以上數據倉庫、ETL工作經驗
2、有海量數據處理、ETL及作業調度優化、數據倉庫建模等經驗
3、熟悉Linux、SQL、Python或Java、Shell腳本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大數據技術使用經驗
4、邏輯清晰,對數據敏感,深入了解業務,具備自己獨特的想法并能提出合理的建議
數據倉庫工程師的主要職責 篇2
職責:
1、負責制定數據倉庫平臺技術體系架構、數據架構及規范;
2、負責設計和實施公司業務數據的實時/離線數據ETL架構方案;
3、負責調度架構設計與開發;
4、負責數據倉庫平臺運維以及日常數據運營等管理;
5、負責關鍵技術攻關;
任職要求:
1、5年以上數據倉庫項目開發經驗,參與過數據倉庫架構設計,對ETL開發流程、調度架構有深入理解;
2、精通mysql、 oralce 、greenplum等至少一種數據庫,豐富的SQL性能調優經驗;
3、熟練使用Java、Shell、Python、Perl等至少一種腳本語言;
4、熟悉數據治理理論,數據質量、元數據管理流程和方法;
5、了解Hadoop/Hive/HBase/Spark/Storm等技術及其生態圈;
6、溝通能力好、責任心強,具有良好的團隊合作精神和敬業精神;
數據倉庫工程師的主要職責 篇3
職責:
1.參與傳統數倉和大數據數倉日常開發工作;
2.參與大數據倉庫設計、規劃和開發;
3.參與日常工作的優化,提出建設性意見;
4.負責管理項目,負責板塊內的資源協調、進度管理、交付管理;
5.參與數據倉庫、數據集市體系架構的設計、規劃與開發, 參與大數據、ETL開發,sql性能優化。
任職要求:
1.全日制本科,計算機等相關專業。3年以上數倉開發經驗,有銀行、金融從業經驗者優先。
2.2年以上項目管理經驗,具備PMP證書優先.
3.熟悉oracle/hive/spark,熟悉數據處理和性能優化,有UDF自定義函數、MR開發經驗優先;
4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一種腳本語言。
數據倉庫工程師的主要職責 篇4
職責:
1.負責企業級數據倉庫設計、規劃、建設、實施、管理,數據倉庫架構設計與數據開發,創建數據倉庫、數據集市
2.熟悉數據倉庫領域知識,從架構和技術層面參與建設數據倉庫,包括元數據管理、數據質量、主數據管理、性能優化和調優。
3.負責數據倉庫平臺相關數據管理工作,如研發規范、質量規范、保障規范的制定與推動實施落地
4.配合和協助數據分析/數據挖掘形成底層/中間層的業務邏輯切片
任職資格:
1. 本科或碩士以上學歷,計算機工程相關專業
2. 熟悉大數據相關技術能力(Hadoop/MapReduce/Hive/Hbase等),熟練進行數倉Hive建設和軟件架構,較強的數據抽象能力
3.精通SQL,具備海量數據處理和Hive/Spark性能調優經驗,3年以上大規模分布式數據倉庫建設經驗
4.熟練使用Druid/Kylin之一進行數據挖掘模型設計,熟練掌握Java/Scala之一,具備良好的coding素養和習慣,了解腳本語言,如Python、Shell等
5.強烈的責任心,工作態度積極主動,有較好的團隊精神和溝通能力,工作細致認真
數據倉庫工程師的主要職責 篇5
職責:
1.建設公司級數據倉庫,并根據業務變化持續迭代和優化;
2.對業務數據進行梳理和抽象,建設數據倉庫的數據模型;
3.對業務數據進行采集、清洗、轉換和存儲;
4.支撐BI、用戶數據、用戶運營、用戶畫像、房源數據、推薦系統等核心數據平臺產品;
5.研究大數據前沿技術,不斷持續優化大數據平臺,為業務提供價值。
任職資格:
1.本科及以上計算機、統計學、數據庫、機器學習等相關專業,5年以上數據相關工作;
2.對業務數據有敏銳的理解能力,并能快速梳理和分析業務數據;
3.熟練掌握SQL語言、熟悉MySQL,對Shell、Java(主要開發語言)、Python編程非常熟悉;
4.熟悉常用的ETL技術和原則;精通數據倉庫數據庫設計規范和實操;
5.熟悉Hadoop、Hive、HBase、Spark、Storm等開源平臺者優先;
6.具有較強的分析和解決問題的能力,良好的學習能力和團隊合作精神,追求價值實現,認同目標管理和敏捷。
數據倉庫工程師的主要職責 篇6
1、負責用于醫療器械的光學系統研發,主要是鏡頭規格制定以及選型,解決影響圖像質量等的光學系統問題;主導光學系統性能測試及送檢。完成光學相關結構件設計。
2、負責解決產品光學部分的批量生產問題。
數據倉庫工程師的主要職責 篇7
1、熟悉PCB制造流程、行業檢驗標準、工藝流程、工程制作要求;
2、英文讀寫良好,掌握PCB專業英語;
3、熟練掌握阻抗軟件,精通各種阻抗計算模型,并能根據客戶需求提供完善的可制作性的疊層設計建議;
4、熟練掌握工程制作軟件(GENESIS、 CAM350),熟悉CAD設計軟件的GERBER文件轉換;
5、具備良好的溝通能力以及抗壓能力;
數據倉庫工程師的主要職責 篇8
職責:
1、基于互聯網行業特點構建企業級數據倉庫架構,建設PB級共享數據平臺;
2、負責數據平臺相關數據研發及管理工作,參與制定EDW相關規范并推動實施落地;
3、對海量數據處理的相關需求進行評估及方案設計;
4、負責數據產品如用戶畫像等模型設計;
5、了解行業前沿大數據處理方法。
任職資格:
1、8年以上數據倉庫開發及管理經驗,5年以上互聯網/電商行業經驗;
2、精通數據倉庫建設方法論,有大型數據倉庫建設項目經驗(PB級以上);
3、熟悉HADOOP、HIVE、HBASE、SPARK、FLUME等工作原理;
4、精通HiveSQL,有較豐富的HiveSQL性能調優經驗;
5、至少熟練使用Shell、Python、Perl等腳本語言之一;
6、工作認真、負責,有良好的團隊合作精神,良好的分析及溝通能力;
數據倉庫工程師的主要職責 篇9
職責:
1. 負責數據ETL開發,根據數倉層級結構及主題域劃分,規范清洗代碼,提供準確數據
2. 負責數據質量治理,發現異常業務邏輯或數據質量問題,推動業務優化及改善。
3. 負責數據開發需求評審、結合數據分析體系制定ETL清洗方案;
任職要求:
1. 一年以上數據倉庫ETL設計及開發經驗,有BI經驗者優先
2. 熟練使用 SQL,熟悉HQL常用內部函數,有一定的 HQL性能調優經驗優先
3. 具備數據倉庫架構設計、模型設計、ETL設計,調度的相關經驗優先;
4. 對數據敏感,有較強數據分析和解決問題能力;
5. 積極溝通,主動了解業務需求,愿意嘗試新的技術領域。
數據倉庫工程師的主要職責 篇10
(1)認真貫徹執行國家制訂的相關技術規范、規則、標準和鐵道部頒布的技術規范、規則、驗收標準,以及集團公司、成貴鐵路公司有關規定。
(2)負責隧道專業施工圖紙的審查及優化、現場技術交底、施工方案優化、關鍵工序控制、合理化建議、現場技術指導等工作。
(3)參與編制實施性施工組織設計和重大技術方案,根據批準的施工組織設計和技術方案組織實施,結合工程進展情況,提出隧道專業動態管理、控制、調整建議。
(4)負責隧道專業技術資料保管工作,建立隧道專業技術臺帳。
(5)開展科技創新、合理化建議、方案優化活動,積極參與新技術、新工藝、新設備、新方法并推廣應用。
(6)負責隧道專業設計變更日常管理工作。
(7)負責隧道工程驗工計價工作。
(8)負責對各項目分部的隧道超前地質預報、監控量測、沉降變形觀測、隧道接口工程管理工作。
(9)組織隧道專業單位工程、單項工程驗收。
數據倉庫工程師的主要職責 篇11
1.制訂具體方案和開發計劃,分管所負責的產品計劃及產品的具體方案。
2.執行所立項目的研發計劃、安排具體工作的開展。
3.組內成員工作協助,及時準確與客戶溝通。
4.對所負責的產品有分析能力。
5.對開發出來的新產品進行試驗和改進。
6.協助工藝規格的編制、技術標準的執行。
7.完成上級交代的其他工作。
數據倉庫工程師的主要職責 篇12
職責:
1. 負責數據倉庫架構設計與開發
2. 根據業務調研,設計信息模型與數據模型,負責大數據建模、ETL、數據產品及平臺的設計與開發
3. 滿足業務數據需求,設計面向業務的數據集市模型
4. 需求的溝通與數據開發項目管理
5. 基于Hadoop生態的程序設計、開發和維護
崗位要求:
1.熟悉SQL語言,至少熟悉Oracle、MySQL、SQL sever一種及以上
2.精通數據庫系統(Oracle、SQL、mysql等):精通熟悉Oracle數據庫體系結構,基礎扎實;精通熟悉DataGuardRAC等高可用技術,能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復技術;熟悉SQL和PLSQL,能編寫日常維護需要的腳本
3. 從事過數倉邏輯模型、物理模型設計與實施等工作
4. 有使用Hive、Hbase、kettle等相關應用經驗更佳
數據倉庫工程師的主要職責 篇13
職責:
1、負責IBM、HP、DELL等業界主流品牌的服務器安裝配置及日常維護工作;
2、負責VMWare虛擬化平臺項目實施及維護工作;
3、負責EMC、DELL等企業級存儲及其SAN網絡的安裝配置及日常維護工作;
4、負責服務器集群拓撲及SAN存儲網絡部署;
5、解決實施工作中的技術難題,挖掘客戶需求,提出針對性的解決方案;
6、編寫各類維護文檔,譬如:實施方案、實施報告、巡檢報告、故障處理報告等等。
崗位要求:
1、計算機相關大專以上學歷,3年以上IT運維或機房管理工作經驗;
2、熟悉主流X86服務器(IBM/HP/華為)和存儲的運維和管理;
3、熟悉思科、華為等主流網絡設備的配置和問題排錯;
4、熟悉vmware虛擬化架構技術,具有虛擬化的搭建和運維經驗,對vmware的存儲、災備、網絡、安全、升級、虛擬機管理、監控和性能等有深刻的理解;
5、有一定的信息安全實施經驗,對VPN,防火墻,上網行為管理以及內網安全有深入理解和實操經驗;
6、熟悉服務器運維及服務器架設,包括AD域,IIS,DNS、雙機集群等各類windows服務器的配置管理;
7、熟悉openstack或者cloudstack任意一種平臺的部署實施,有成功搭建或者部署經驗優先。
數據倉庫工程師的主要職責 篇14
職責:
1. 負責移動終端軟件測試,按照測試用例和測試流程完成測試任務。
2. 負責測試過程中發現BUG的登記,并對修改后的BUG做驗證和回歸測試。
3. 按照軟件測試文檔要求,編制規范測試報告。
4. BT,WiFi功能和協議的測試/功耗、性能、壓力測試等,其中任意一方向能達到深入了解;
任職要求:
1. 計算機、通信相關專業,專科以上學歷。
2. 對測試行業有興趣,并想長期發展。
3. 1年以上工作經驗,應屆生條件優秀者可酌情考慮。
4. 責任心強,執行力強,樂于學習,有一定抗壓能力。
5. 有一定用例編寫能力。
6. 有基礎的英文讀寫能力。
數據倉庫工程師的主要職責 篇15
1.學習并操作設備進行啟動,系統安裝、數據備份、恢復,維修并檢測損壞的設備;
2. 收集客戶需求,處理客戶協調工作,進行技術分析及支持工作;
3. 確保正確使用工具和測試設備,并及時在相關的報告中匯總使用情況;
4. 符合國家和地方法規和安全標準,以及公司的技術和操作指導;
數據倉庫工程師的主要職責 篇16
1、微波毫米波功率放大器產品及相關模塊電路的調試、測試、篩選;
2、功率放大器產品技術設計、圖紙的繪制、流程執行;
3、在培訓指導下學習功率放大器基礎理論知識;
4、學習產品開發、設計、生產、篩選等完整的工作流程,協助上級負責協調處理或上報過程中出現的問題。
數據倉庫工程師的主要職責 篇17
1. 能獨立對工藝流程圖進行全套電氣控制設計,包括電氣控制柜原理圖設計,現場布控圖設計等;
2.PLC控制軟件的編寫,包括控制邏輯梯形圖,與上位機的接口程序等
3. 指導現場電氣部分的施工
4. 對項目電氣部分的調試,配合機械信息部門之間的接口調試工作
5. 對項目電氣部分驗收資料圖紙的整理,配合項目驗收工作
6. 上級主管臨時安排的其它任務
7,有5年以上工作經驗,主要使用美國Rockwell Allen-Bradley(AB)、三菱等PLC
數據倉庫工程師的主要職責 篇18
職責:
1、基于ERP數據、用戶數據、日志行為數據等構建數據中間層,為數據分析、數據挖掘、數據預測應用場景提供優質的基礎數據;
2、深度挖掘數據價值,構建用戶畫像,挖掘潛在規律和關聯用戶行為,為業務產品決策提供數據依據。
3、對公司業務應用場景進行數據分析和決策支撐;
4、主導數據產品的設計;
5、配合軟件工程師把模型落地,并對模型進行迭代優化。
任職要求:
1、數學、統計學,計算機類本科以上學歷,有良好數學基礎;
2、熟練掌握SQL語言,基本會使用SAS、Python、SPSS、R等其中一項挖掘分析軟件;
3、有數據建模工作經驗,良好的業務理解能力和模型抽象能力;
4、有海量大數據平臺使用經驗的優先考慮,有農業行業數據研究經驗的優先考慮;
5、具有良好的溝通和團隊協作能力,對業務有良好的理解能力和敏銳度。
數據倉庫工程師的主要職責 篇19
職責:
(1)收集客戶分析需求,轉化需求為可執行的分析方案;
(2)基于分析方案,進行數據收集、挖掘建模、模型優化;
(3)撰寫分析報告;
(4)跟進模型效果評估與優化;
(5)其他數據分析挖掘技術性工作。
崗位要求:
(1)本科及以上學歷,專業背景是應用數學或者統計學等相關專業有關;
(2)2年以上相關數據挖掘分析工作經驗;對數據挖掘的基本算法有一定了解和應用經驗;
(3)能快速理解客戶需求,將實際需求轉化為建模分析需求;
(4)熟練使用SAS、JMP、SPSS、R等其中任一挖掘分析軟件。
(5)熟悉運營商業務數據;
數據倉庫工程師的主要職責 篇20
1.按APQP要求負責產品的工工藝策劃部分,井提拱歸口輸出物(如工藝流程圖、平面布局圖、過程特殊性清單.PBOM,PFMEAヽ節拍分析報告、防錯方案、工裝夾具開發、內部過程審核等)
2.參與新產品試制,ゥ責輸出整機裝配工藝過程流程圖、整機裝配操作指導書, 指導樣機裝配
3負責生產線裝配工藝調試,支持生產線聯調及生產線驗收
4負責新產品制造工藝設計評審,工藝試制與工藝驗證
5.負責生產過程中生產工藝的合理性
6.負責編制標準化工藝卡片,維護更新批產后工藝文件及現場相關工藝記錄表式
7.負責現場重要質里問題的解之,對各糞缺陥統計分析,尋找原因,制定措施并及時反饋
8.負責組織,協調生產區域的所管轄產品試驗結果析,改進和反貴.產品問題的解決:進行觀察并直接采取措施,從其他技術和操作人員處收集并解讀數據
9.負責所管轄產品生產過程的不斷完善,健全現場質量控制手段,不斷提高產品質量
10.完成領導交班的其他工作
數據倉庫工程師的主要職責 篇21
職責:
研究數據挖掘或統計學習領域的前沿技術,并用于實際問題的解決和優化;
前沿數據挖掘和機器學習算法研究及實現,為各種數據挖掘和機器學習應用研發核心技術;
將數據挖掘算法應用在智慧水務領域中;
參與產品規劃,完成研發任務及產品開發,實現研發成果的轉換,并對產品進行持續維護。
任職要求:
熱愛技術,對技術研究和應用抱有濃厚的興趣,善于學習和運用新知識;
良好的邏輯思維能力,對數據敏感,能夠抓住核心問題,設計實現相應算法解決問題;
具有以下一個或多個領域的理論背景和實踐經驗:機器學習、數據挖掘、深度學習、信息檢索、自然語言處理、復雜網絡分析、博弈論等;
至少精通一門編程語言(C/C++,Java,Python,Scala等),熟悉網絡編程、多線程、Hadoop/Spark分布式編程技術,對數據結構和算法設計有較為深刻的理解;
思路清晰,優秀的控制與溝通能力;
有較強的責任心和事業心,能夠承受較大的工作壓力,有時間觀念,具有團隊合作精神。
數據倉庫工程師的主要職責 篇22
1、 負責解答用戶對IT相關問題的咨詢和求助,如系統、軟件的操作流程、使用技巧咨詢等;
2、 負責解決用戶遇到的IT問題,如軟件故障、上網故障、郵件收發故障、會議調度等;
3、負責維護客戶后臺信息、幫助用戶重裝系統、安裝軟件、配置工作環境、講解使用技巧等。
數據倉庫工程師的主要職責 篇23
職責:
1. 維護數據庫穩定運行,持續發現和解決潛在的問題;
2. 負責數據庫的性能優化,使用新技術和新架構滿足日益增長的業務需求;
3. 負責數據庫的監控系統設計,為開發團隊提供平臺支持;
4. 負責數據庫的運維方面的相關工作,包括數據庫的安裝部署、壓力測試、備份恢復、知識庫管理等
5. 負責數據庫進行容量規劃、架構設計,提高業務高可用性和容災能力;
6. 負責數據庫相關工作的整體規劃,提供決策建議。
任職要求:
1. 計算機相關專業本科及以上,具有3年以上DB2數據庫DBA經驗;
2. 精通DB2數據庫體系結構和工作原理,有高可用架構規劃設計經驗優先;
3. 熟悉MySQL數據庫體系結構和工作原理,有高可用架構規劃設計經驗優先;
4. 熟悉TSM的運維管理,并熟悉基于TSM的數據備份和恢復;
5. 熟悉V5000、V7000等存儲的運維管理;
6. 熟悉數據庫的性能優化、SQL調優技術,對高并發數據庫的鎖和事務隔離問題有深入理解;
7. 熟悉數據庫容量規劃和分表設計方法,有海量數據庫設計和支持經驗優先;
8. 熟悉常用的數據庫備份方法;
9. 精通腳本語言,并至少能用Shell,Perl,Python等中的一種進行快速開發。
數據倉庫工程師的主要職責 篇24
1.負責電路PCB繪制,電子元器件的布局與布線,元器件庫的建立與管理,PCB加工Gerber文件的生成;
2.協助生成和維護原理圖,PCB Layout及相關生產數據生成;
3.跟蹤PCB 制板及SMT 過程,和相關部門及供應商密切協作,解決相關問題;
4.協助硬件工程師處理簡單硬件問題及輔助測試。
數據倉庫工程師的主要職責 篇25
職責:
1、負責公司數據庫的日常巡檢、常規故障維護、數據庫優化、數據庫的備份恢復
2、負責公司數據庫的容災環境的維護、數據庫的升級、數據庫的遷移
3、負責公司數據庫的數據庫系統linux、solaris的維護
4、負責公司數據庫存儲的維護
職位要求:
1、 三年以上oracle DBA/Sybase/mysql DBA工作經驗,本科以上文憑
2、 熟悉oracle數據庫的體系結構、邏輯結構,熟悉表空間管理,熟悉sql、pl/sql,熟悉oracle數據庫的備份與恢復,熟悉oracle RAC、DATAGURD的搭建與管理,熟悉oracle數據庫的性能優化,熟悉oracle的常規故障處理
3、 熟悉mysql 熟悉mysql集群的搭建與管理,熟悉mysql的備份與恢復,熟悉mysql數據庫的性能優化與常規故障處理
4、 熟悉linux、unix(solaris),熟悉shell腳本的編寫,熟悉sun小機維護、熟悉sybase數據庫者優先考慮
5、具有良好的學習能力、溝通能力和團隊合作能力。
6、有耐心,有服務意識
數據倉庫工程師的主要職責 篇26
職責:
1、根據產品規劃或者項目要求,對客戶進行需求調研,整理客戶需求;
2、負責編寫用戶需求說明書;
3、負責將完成的項目模塊給客戶做演示,并收集完成模塊的意見;
4、協助系統架構師、系統分析師對需求進行理解;
5、指導測試工程師根據測試需求,組建測試環境的工作。
任職要求
1、所學專業為計算機相關專業或管理專業;
2、具有一定的工作經驗,如軟件開發、需求分析、系統分析等;
3、具有一定的技術背景,了解軟件開發的過程,包括編程語言和數據庫等;
4、具備良好的專業知識儲備,如數據庫知識、建模知識等,并了解掌握行業最新資訊;
5、熟練掌握相關工作軟件如需求分析軟件、建模軟件等;
6、具有良好的分析綜合能力,能做出正確的市場判斷;
7、具有很強的文檔撰寫能力及表達理解能力,能夠理解客戶的需求并向設計開發人員清晰地闡述;
8、具有良好的溝通協調能力和人際交往能力,善于傾聽客戶意見。
數據倉庫工程師的主要職責 篇27
職責:
1、負責公司與阿里巴巴在新行業方向(新金融、新零售、國內外運營商)的產品研發;
2、負責分析挖掘客戶/行業對大數據產品的需求(應用場景),利用數據分析結論提升客戶業務能力。例如:文本挖掘,潛在客戶挖掘,用戶畫像,個性化推薦,用能預測等;
3、進行大數據場景下的數據統計、數據挖掘、機器學習、深度學習,包括數據整理、模型建立、模型應用、評估優化等;
4、將客戶需求準確轉化為可執行的數學模型,針對不同的應用場景,負責編寫數據挖掘算法及對其的優化;
5、基于需求分析/運營支持/商業報告等成果,抽取典型用戶/客戶/行業/產品分析模型并與開發團隊溝通實施方案及構建產品原型。
崗位要求:
1、本科以上學歷,扎實的機器學習、數據挖掘、統計學理論基礎;有統計、應用數學、金融等相關專業背景優先;
2、精通常見機器學習算法(如邏輯回歸、SVM、神經網絡、決策樹、貝葉斯等),有實際建模經驗,掌握深度學習算法優先;
3、具有扎實的計算機操作系統、數據結構等編程基礎,精通至少一門編程語言例如JAVA/python/R等;
4、熟悉Map-Reduce模型,對Hadoop、Spark、Storm等大規模數據存儲與運算平臺有實踐經驗優先。