數據倉庫工程師的工作職責(精選24篇)
數據倉庫工程師的工作職責 篇1
職責:
1. 負責數據倉庫架構設計與開發
2. 根據業務調研,設計信息模型與數據模型,負責大數據建模、ETL、數據產品及平臺的設計與開發
3. 滿足業務數據需求,設計面向業務的數據集市模型
4. 需求的溝通與數據開發項目管理
5. 基于Hadoop生態的程序設計、開發和維護
崗位要求:
1.熟悉SQL語言,至少熟悉Oracle、MySQL、SQL sever一種及以上
2.精通數據庫系統(Oracle、SQL、mysql等):精通熟悉Oracle數據庫體系結構,基礎扎實;精通熟悉DataGuardRAC等高可用技術,能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復技術;熟悉SQL和PLSQL,能編寫日常維護需要的腳本
3. 從事過數倉邏輯模型、物理模型設計與實施等工作
4. 有使用Hive、Hbase、kettle等相關應用經驗更佳
數據倉庫工程師的工作職責 篇2
職責:
1、 參與數據倉庫及ETL基礎架構規劃、安全規劃制定;
2、 負責數據倉庫及ETL的開發、測試和優化,并及時解決相關技術問題;
3、 負責相關數據準確性驗證及報表等日常維護;
4、 報表性能優化:對存在性能問題的數據報表進行優化;
5、 數據運維:及時處理線上問題;
6、 完成上級交代的其他工作。
崗位要求:
1.計算機相關專業本科及以上學歷,2年以上ETL開發或數倉相關工作經驗;
2.熟練使用Oracle、MySQL、PostgreSQL等主流數據庫,具有較強的SQL編寫、優化能力,熟悉存儲過程編寫;
3.熟悉數據倉庫數據處理流程,有一定的數據建模能力;
4.具有良好的溝通理解能力,能根據業務提出的需求,快速理解并落地實施;
5.有Kettle、Greenplum開發經驗者優先。
數據倉庫工程師的工作職責 篇3
職責:
1. 負責直播業務相關數據倉庫的數據模型設計;
3. 參與數據倉庫ETL流程設計、開發和優化,解決ETL過程相關技術問題;
3. 參與項目規劃,數據采集設計,數據倉庫開發,模型開發,報表開發等;
4. 總結數據倉庫建模的方法,負責數據產品平臺化和系統化;
任職資格:
1. 2年及以上的數據倉庫/BI相關研發經驗,對數據和業務敏感,有較好的數據模型設計能力;
2. 熟悉數據倉庫各類模型建模理論,了解數據倉庫數據分層架構,多維數據模型設計;
3. 熟練使用Hadoop/Spark/Hive/HBase/Mysql,有列式數據庫/Kylin/ElasticSearch等經驗者優先;
4. 有較強的編程能力和編程經驗,至少熟悉Java/Scala/Python/PHP等其中一門編程語言;
5. 參與過大型數據倉庫架構設計、模型設計、ETL設計,具備海量數據處理、性能調優經驗;
6. 學習能力強,熱衷開源技術,有團隊觀念,具備獨立解決問題的能力;
數據倉庫工程師的工作職責 篇4
職責:
1、負責數據源導入、清洗、集成等工作,優化ETL流程并解決ETL相關技術問題;
2、負責參與數據模型體系構建及數據主題設計和開發,數據倉庫和業務數據集市的建設;
3、負責數據集市需求調研和需求分析;
4、基于阿里云Maxcompute,進行數據開發工作。
崗位要求:
1、3年或以上數據倉庫開發和模型設計經驗;
2、深入理解DW,BI相關的知識,包括:ETL、數據倉庫、OLAP、多維數據模型等;
3、熟悉MapReduce、Hive原理;
4、精通SQL,能夠熟練使用HiveSQL進行數據開發;
5、具有良好的團隊協作精神和溝通能力,較強的邏輯思維,學習能力和解決問題的能力,可承擔較大的工作壓力;
6、熟悉阿里云大數據開發平臺優先,如Maxcompute;
7、熟悉跨境電商及供應鏈業務優先。
數據倉庫工程師的工作職責 篇5
職責
1.負責數據ETL開發,優化ETL流程設計;
2.負責數據質量問題的分析、跟進、解決,進行數據質量監測、校驗和提升;
3.負責ETL開發實施文檔的編寫;
4.負責梳理公司數據倉庫/數據集市數據清單、數據映射關系,優化現有數據倉庫模型;
5.完善和梳理數據指標體系,完成和維護數據字典的工作;
6.參與數據標準的制定、數據標準管理和數據安全管理工作;
7.參與公司大數據平臺的建設,包括Sugar報表或神策接口配置,用戶畫像標簽體系的開發等
任職要求:
1.有shell或Python腳本開發經驗;
2.有傳統數據庫SQL Server和MySQL,有存儲過程編寫能力;
3.熟悉Hadoop生態相關技術并有相關實踐經驗,包括但不限于Sqoop、Hive、HBase、Kylin等開發經驗;
4.有kettle、azkaban或oozie工作流調度經驗;
5.熟悉Hive SQL或Flink SQL的開發;
6.有數據倉庫模型設計,有使用kafka+Flink Streaming實時數據處理經驗優先;
7.有Sugar、神策或Tableau使用經驗,有用戶畫像或客戶召回標簽工作經驗優先;
8.對數據挖掘和機器學習有所了解,包括常用的機器學習算法和數據建模過程的優先
數據倉庫工程師的工作職責 篇6
職責:
1、根據概要需求(客戶及內部需求)編寫詳細需求規格說明書,包括規劃業務流程、繪制原型等。
2、系統規劃,與產品人員進行前期調研和產品設計工作,編寫調研報告和項目解決方案。
3、參與系統功能驗收工作及用戶手冊、新增產品功能培訓資料的編寫。
4、負責客戶需求調研及需求反饋的分析。
5、配合測試人員編寫測試計劃、測試用例、測試報告的編寫、問題缺陷的發現及跟蹤、產品用戶手冊編寫等。
6、協助系統架構師、系統分析師對需求進行理解。
任職資格:
1.有成熟的技能經驗,其中2年以上軟件需求分析經驗,成功參與過大型產品項目的需求分析工作;有1年以上保險及理賠需求分析經驗者優先;有開發經驗者優先;
2、具備良好的溝通能力,能快速把握需求的核心要點,能夠與不懂軟件的其他行業的客戶迅速溝通,獲取用戶的想法、目的,同時對內溝通,讓內部的開發人員、項目經理理解用戶想要的東西;
3、熟悉需求調研方法,較強的業務流程及業務模型分析設計能力;善于控制需求,
4、有較強的文檔編寫能力;熟悉CMM文檔規范者優先;
5、需有較強的團隊協作精神。有效的溝通技巧,在團隊協作中具有精煉思維和解決復雜問題的能力,具備良好的學習能力,責任心強,能夠承受較大的工作壓力;
數據倉庫工程師的工作職責 篇7
職責:
1. 負責公司各類數據庫系統維護管理、問題處理及性能調優工作;
2. 負責公司數據備份及數據分析工作;參與數據中心建設、管理;
3. 負責數據庫架構的規劃,設計主機、存儲、數據庫的整體方案;
4. 參與公司技術管理其它工作。
任職資格:
1.計算機相關專業大學本科及以上學歷,具有2年及以上的ORACLE管理和開發經驗;
2.熟悉ORACLE、SQLSERVER等主流數據庫的管理,要求具備有較強的故障定位和問題分析、解決能力;
3.豐富的數據庫維護經驗,擅于分析運行瓶頸,并提供改進方案;
4.熟悉UNIX/LINUX等主流OS平臺,理解操作系統原理,具備腳本編寫能力(SHELL/PERL/PYTHON),并善于利用腳本解決問題;
5.能夠熟練運用RAC/DATAGUARD/GOLDENGATE/STREAMS等高可用技術;
6.深入理解ORACLE數據庫的運行機制和體系架構,精通SQL 性能調優;
7.善于數據庫架構的規劃,能設計主機、存儲、數據庫的整體方案;
8.具備期貨從業資格者優先。
數據倉庫工程師的工作職責 篇8
1)基于傳感數據與場景建模,完成基于人工智能算法的物體識別與跟蹤;
2)完成基于機器學習的場景物體識別與分類;
3)完成基于場景態勢感知數據的概率決策算法開發;
4)基于點云與圖像數據融合識別場景特征;
5)開發適用于自動駕駛的場景、物體、行人、標志、車道線等的人工智能識別算法;
數據倉庫工程師的工作職責 篇9
職責描述:
1.負責不銹鋼雕塑工件的加工鍛造
2.具有識圖、鍛造、拼接、拋光經驗
任職要求:
1.有兩年以上相關工作經驗
2.有做道具、雕塑、工藝品、家具相關行業經驗者優先錄用
數據倉庫工程師的工作職責 篇10
職責:
1、國家電網公司數據挖掘與數據分析工作;
2、面向國家電網各省分公司進行數據挖掘模型設計、方案編寫、模型開發工作;
3、數據挖掘模型方案交流、模型分析成果交流工作
崗位要求:
1、三年左右數據挖掘建模工作經驗,電網行業相關工作經驗優先;
2、統招本科及以上學歷,統計學、應用數學類相關專業優先;
3、熟悉主流機器學習算法,精通文本挖掘者優先;
4、熟練使用主流建模工具,Python等;
5、掌握主流的框架、如keras、Caffe等;
6、具有良好的SQL編寫與優化能力,至少熟悉一種數據庫的操作oracle/mysql;
7、熟練使用word,Excel,powerpoint等辦公軟件;
8、思維清晰、有邏輯,學習能力強,具備較強的分析能力;
9、具有良好的溝通能力和團隊合作精神
數據倉庫工程師的工作職責 篇11
1、根據生產計劃,結合庫存、在途等情況制定物料需求計劃;
2、跟進生產用料的進度,保證物料使用需求,協調物料及時到料;
3、對接生產計劃,及時協調和反饋物料異常等情況,確保生產有序進行;
4、原材料庫存控制,制定合理的庫存控制策略和具體措施,滿足生產發貨的同時不斷優化庫存結構;
5、確保物料更替有序進行,并保證生產需求和預防呆滯;
6、評估和分析物料供應風險,制定長期有效的供應策略,降低供應風險。
數據倉庫工程師的工作職責 篇12
1.做好車間各機臺的上下模工作,對車間機臺所生產的模具進行監控,防止人為因素的破壞;
2.負責機臺工藝調試,產品質量控制;
3.負責模具潤滑(保養)及生產運營情況;
4.對設備運營情況進行觀察,防止設備故障的產生;
5.下班前檢查工具是否齊全,是否規范到位;
6.對不能正常生產的設備和模具要做好記錄,上報維修;
7.接到轉模通知單后要迅速轉模,嚴禁拖拖拉拉;
8.負責機臺作業員操作技能培訓,作業試指導;
9.協助機臺的6S管理工作;
10.認真填寫作業員交接班記錄,面對面和下一班技術員相互交流,傳遞信息;
11.負責設備狀況的標識工作,及機臺各類表單成型參數,設備模具的點檢記錄;
12.完成上級交代的其它工作.
數據倉庫工程師的工作職責 篇13
1.負責與用戶進行新開發底盤產品技術要求協調工作;
2.負責完成底盤產品總體方案論證、方案設計工作;
3.負責底盤車架等總成的具體設計、技術文件制定工作;
4.負責底盤產品生產配合、售后技術服務工作;
5.負責開展底盤關鍵技術預先研究、論證以及標準、規范研究制定工作;
6.配合開展底盤可靠性提升等技術研究工作;
數據倉庫工程師的工作職責 篇14
職責
1、負責數據庫設計、開發、運維工作,能獨立完成核心數據庫開發、數據庫性能優化工作;
2、針對公司的海量結構化和非結構化數據,設計和開發數據存儲模型,實現數據資源合理高效的存儲、管理;針對具體數據應用系統的建設需求與目標,參與設計和開發數據倉庫;基于數據庫和數據倉庫,設計和開發數據服務接口,實現數據資源服務化;
3、負責主導該領域的技術沉淀及經驗分享。
4、能夠及時配合并支持數據團隊完成該領域的數據庫開發及性能問題處理。
5、負責數據庫環境部署和運維管理;及時處理數據庫系統的各類故障問題;
6、負責數據庫日常監控、維護、備份和恢復,探查系統潛在的問題和可能的性能瓶頸,并進行優化。
7、有良好的溝通技能及處理突發事件的能力;
8、可適應短期出差(浙江省內);
9、熟悉DB2或MySQL數據庫、具有OCP認證優先考慮。
招聘要求
1、計算機、電子通信、自動化等專業,本科及以上學歷;
2、五年以上相關領域的數據庫開發及運維工作經驗,熟悉制造業及相關領域業務,熟練掌握數據庫相關工作技能、了解該領域發展趨勢;
3、掌握高效的數據庫開發和管理工作方法及流程,能承受工作中的各種壓力;
4、具備良好的自我學習能力及團隊合作意識;
5、熟練使用關系型數據庫,并具有豐富的實際項目經驗;
6、對數據庫有一定的了解并具備一定的相關項目實踐經驗;
7、熟悉Hadoop 、Hive、Spark等技術及其生態圈。
數據倉庫工程師的工作職責 篇15
職責:
1.負責用戶特征、車輛特征等挖掘,并能結合應用場景進行抽象建模;
2.負責用戶意圖、偏好及車輛等建模畫像工作;
3.負責梳理各業務場景下用戶生命軌跡,挖掘價值點,建立用戶行為預測模型;
4.負責挖掘用戶、車源的關聯關系,實體對象相似性計算,構建供需匹配推薦模型
任職資格:
1. 5年以上相關工作經驗,計算機、統計學、數學相關專業背景,機器學習、數據庫、數據挖掘理論和技術基礎;
2.掌握常用的機器學習算法,如關聯規則 、分類算法、聚類算法;
3.掌握至少一門編程語言,如Python、C、C++、Java等;
4.理解數據庫原理,掌握sql,熟練使用Hadoop系列工具;
5.有較強的結構化思維、邏輯思維、數據思維,具備獨立思考問題解決問題的能力;
6.有用戶畫像建模及推薦系統工作經驗者優先。
數據倉庫工程師的工作職責 篇16
職責:
1、編寫簡單的功能測試用例,完善測試流程;
2、執行測試計劃,測試用例,負責客戶端的測試工作;
3、跟進回歸測試周期的相關工作;
4、在職學習相關測試的技能和知識;
5、完成上級領導安排的其他事宜。
任職要求:
1、大專以上學歷,計算機相關專業,經驗不限;
2、性格沉穩,做事細心,有耐心,責任心強,具有良好的溝通協調能力和團隊合作精神;
3、工作積極性高,學習能力強,能勝任長期枯燥和重復性的工作,對測試崗位具有濃厚興趣;
4、能熟練使用辦公軟件:word、excel、SVN,了解一種或多種性能測試工具更佳。
數據倉庫工程師的工作職責 篇17
1、企業基礎信息調查。
2、污染源調查。
3、對數據進行分析計算整理,編寫廢水、廢氣技術方案。
4、和甲方技術部門能充分有效溝通,確定完善的技術路線。
5、協助工程部確定工程安裝場地,確定設備,儀表,管道,閥門及其配件的選型,完成工藝流程圖、場地基礎圖、非標設備加工圖、設備布置圖、管路布置圖等設計安裝圖紙,圖紙交底,監制非標設備制造加工。
5、編制調試方案,安裝完成后根據調試方案進行設備單機調試、聯動調試,調試完成后編寫調試報告,整理移交竣工資料。
6、了解設計規范,了解最新環保法規以及行業環保標準和規范。
數據倉庫工程師的工作職責 篇18
1.負責醫院各種生化分析儀器的參數調試、定標、校準、做質控,保證公司試劑在生化分析儀上面正常使用及后期的維護、保養工作;
2.負責生化試劑的技術支持、異常結果處理工作;
3.負責收集市場反饋信息,提高終端用戶的滿意度。
數據倉庫工程師的工作職責 篇19
職責:
1、負責數據中心服務器架構的規劃、建設、驗收與運維,編制虛擬化和私有云建設方案、設備采購清單和具體實施計劃;
2、負責參與相關業務系統的規劃部署,分配與業務系統需求匹配的計算、存儲、網絡資源,并提供相關技術支持;
3、負責制定服務器日常技術維護流程與制度,并推動執行,包括事務處理,系統升級、備份和恢復,日志報告等;
4、負責建立自動化、平臺化管理運維平臺,分析服務器架構日常運行情況,提供服務器性能分析報告和架構優化方案;
5、負責對服務器環境進行故障響應和問題跟蹤,解決系統故障、性能瓶頸等相關問題;了解分布式服務框架、服務網關、消息中間件、數據中間件、公用組件服務等,參與中間件系統的安裝、擴容、升級、遷移、拆分、合并等重要項目實施。
任職要求:
1、計算機相關專業統招本科及以上學歷,3年以上服務器、存儲及災備系統建設管理經驗、通過VMWAREVCP認證;
2、熟悉服務器、存儲、備份、SAN網絡管理;有存儲運維經驗者優先;
3、掌握linux運維管理;熟悉AIX、solaris者優先;
4、具有私有云建設、管理維護經驗,有應用級別災備系統項目運維經驗優先。
數據倉庫工程師的工作職責 篇20
職責:
1、編制水文水資源信息化項目有關的科研報告、實施方案、投標文件等;
2、負責與客戶進行業務溝通,挖掘和把握客戶的需求;
3、在項目實施過程中,對階段成果進行功能性測試;
4、協助項目經理在項目實施過程中進行匯報、溝通;
5、帶領團隊進行需求調研,包括需求調研計劃編制、需求調研實施、系統原型設計、需求規格說明書編寫、推進需求評審等;
6、掌握軟件開發與數據庫基礎知識,輔助項目實施工作;
7、負責需求變更的跟蹤管理;
8、編制項目過程文檔,完成各類匯報與項目驗收等工作,承擔培訓及后期維護工作;
9、配合項目經理,帶領團隊針對項目中的數據進行規劃、整理,掌握行業發展現狀,了解行業動態,分析政策信息。
任職要求:
1、從事水利行業需求分析等相關經驗3年以上,最好做過2個以上大中型項目(300萬以上),熟悉軟件開發者更佳;
2、本科及以上學歷,碩士研究生優先考慮;
3、有良好的計算機基礎,了解軟件設計和開發基本原理;
4、熟悉水文、水資源、地下水、水環境等業務者優先,具備應用系統初步設計能力;
5、有較強的文檔編寫能力;
6、具備良好的系統分析、邏輯思維和抽象概括的能力;
7、具備獨立工作能力和團隊合作精神,細心、責任感強;
8、 對用戶體驗方面的理論有一定的了解和認識,并能有效運用于產品設計工作中;
9、熟悉需求調研方法,有較強的業務流程及業務模型分析設計能力。
10、優先考慮具有水利行業軟件需求分析經驗的人員。
數據倉庫工程師的工作職責 篇21
職責:
1、負責公司與阿里巴巴在新行業方向(新金融、新零售、國內外運營商)的產品研發;
2、負責分析挖掘客戶/行業對大數據產品的需求(應用場景),利用數據分析結論提升客戶業務能力。例如:文本挖掘,潛在客戶挖掘,用戶畫像,個性化推薦,用能預測等;
3、進行大數據場景下的數據統計、數據挖掘、機器學習、深度學習,包括數據整理、模型建立、模型應用、評估優化等;
4、將客戶需求準確轉化為可執行的數學模型,針對不同的應用場景,負責編寫數據挖掘算法及對其的優化;
5、基于需求分析/運營支持/商業報告等成果,抽取典型用戶/客戶/行業/產品分析模型并與開發團隊溝通實施方案及構建產品原型。
崗位要求:
1、本科以上學歷,扎實的機器學習、數據挖掘、統計學理論基礎;有統計、應用數學、金融等相關專業背景優先;
2、精通常見機器學習算法(如邏輯回歸、SVM、神經網絡、決策樹、貝葉斯等),有實際建模經驗,掌握深度學習算法優先;
3、具有扎實的計算機操作系統、數據結構等編程基礎,精通至少一門編程語言例如JAVA/python/R等;
4、熟悉Map-Reduce模型,對Hadoop、Spark、Storm等大規模數據存儲與運算平臺有實踐經驗優先。
數據倉庫工程師的工作職責 篇22
職責:
1. 負責移動終端軟件測試,按照測試用例和測試流程完成測試任務。
2. 負責測試過程中發現BUG的登記,并對修改后的BUG做驗證和回歸測試。
3. 按照軟件測試文檔要求,編制規范測試報告。
4. BT,WiFi功能和協議的測試/功耗、性能、壓力測試等,其中任意一方向能達到深入了解;
任職要求:
1. 計算機、通信相關專業,專科以上學歷。
2. 對測試行業有興趣,并想長期發展。
3. 1年以上工作經驗,應屆生條件優秀者可酌情考慮。
4. 責任心強,執行力強,樂于學習,有一定抗壓能力。
5. 有一定用例編寫能力。
6. 有基礎的英文讀寫能力。
數據倉庫工程師的工作職責 篇23
職責:
1. 負責不同大型客戶環境下Linux業務服務器的配置,維護,監控,調優,故障排除等;
2. 針對用戶量大的集群,做高性能GPU服務器系統的部署方案及實施;
3. 保障服務器與數據庫安全,檢查并消除安全漏洞;
4. 數據備份、數據監控、應急響應、故障排除、編寫數據分析報告等;
任職資格:
1. 兩年以上大中型系統運維工作經驗、Linux基礎較好,熟悉Linux相關數據庫、操作系統、硬件服務器、系統部署、網絡安全等,對存儲、網絡安全有一定的了解,具備網絡故障診斷能力;
2. 精通Linux系統如Redhat、Gentoo、精通Apache、NginX、MySQL、FTP、DNS、Squid等常用服務的安裝、配置和維護;
3. 精通并靈活運用1種以上的腳本語言,包括:Python、Shell、PERL、PHP等;
4. 對事物有敏銳的洞察力,高度的責任感,較強的故障分析及排除能力,運用相關工具及資源,保障系統的運行。善于在工作中學習,有較強的抗壓能力;
數據倉庫工程師的工作職責 篇24
職責:
1、負責時間序列分析類算法的維護和設計實現;
2、負責海量內容和業務數據的分析和挖掘、建模,快速迭代算法,提升算法效果;
3、參與搭建和實現大數據平臺下的算法處理程序;
4、應用各種機器學習、數據挖掘技術進行數據分析與數據挖掘;
5、根據業務需求進行數學建模,設計并開發高效算法,并對模型及算法進行驗證和實現。
【職位要求】
1、20xx屆應屆畢業生,本科及以上學歷,985/211畢業院校優先考慮,計算機軟件、通訊相關專業;
2、熟悉linux操作,熟悉oracle數據庫及sql語言;
3、掌握數據分析/挖掘方法及相關算法;
4、有R語言開發能力優先;
5、有運營商數據分析,模型構建經驗優先。