數據倉庫工程師的具體職責文本(通用25篇)
數據倉庫工程師的具體職責文本 篇1
Responsibility
1、負責建設數據倉庫架構,包括元數據管理、ETL調度、數據集成、OLAP等子系統的設計和開發;
2、制定和推廣數據字典,建立完善的元數據管理規范,負責數據質量監控設計;
3、搭建和維護數據倉庫表,解決業務人員在倉庫系統流程、工具使用、數據處理等遇到的問題;
4、深入了解網易游戲、CC直播、藏寶閣、網易大神等業務,負責數據倉庫和其它業務系統接口。
5、基于對數據的理解和業務需求,對數據進行整理、分析和用戶畫像搭建。
Requirements
1、計算機相關專業本科及以上學歷,有2年以上數據倉庫、ETL工作經驗;
2、熟悉SQL、Shell等相關技術,有海量數據處理、ETL及任務調度優化、數據倉庫建模等經驗;
3、熟悉Linux環境,了解Java/Python服務端系統開發;
4、熟悉Hadoop/Spark/Hive/Hbase/Kafka/Flume等大數據技術者優先;
5、邏輯清晰、對數據敏感,良好的溝通能力和協作能力,敢于接受挑戰,能夠承受壓力;
數據倉庫工程師的具體職責文本 篇2
職責:
1、負責大數據平臺搭建及數據倉庫建模;
2、負責數據庫管理及數據優化;
3、利用大數據相關技術實現對數據的分析、挖掘、處理、及數據可視化等相關工作;
4、維護大數據平臺并能解決相關問題, 保障平臺正常運行;
5、學習和研究新技術以滿足系統需求。
任職資格:
1、本科及以上學歷,計算機、通信等相關專業;
2、有相關工作經驗者優先;
3、對互聯網產品有見解,關注前沿技術,有較強的學習能力、分析能力和動手能力;
4、熟悉Linux操作系統及ORACLE、MySQL及MongoDB等數據庫,了解SQL優化,熟悉ER模型和相關數據建模技術,能夠熟練使用Java或Python、SHELL;
5、熟悉Hadoop的體系架構和運行原理,有大數據處理方面經驗
6、具有大型數據倉庫和ETL開發、HIVE經驗優先
7、個性樂觀開朗,溝通能力強,具備良好的團隊協作精神,能利用自身技術能力提升團隊整體研發效率。
數據倉庫工程師的具體職責文本 篇3
職責:
1、學習并理解勵步云學業務及系統,根據業務部門需求對公司各項業務數據進行統計分析,出具相關報表;
2、進行數據倉庫設計、模型開發、數據質量校驗,報表開發;
3、進行數據差異分析,找出統計口徑、數據錯誤、操作錯誤等造成的差異原因;
4、進行數據查詢優化,解決跑數性能問題。
任職資格:
1、本科以上學歷,數學、統計、計算機相關專業優先;
2、3年以上互聯網相關行業數據開發經驗;
3、精通數據倉庫建設思路,并有相關實施經驗,特別是通用匯總層建設經驗;
4、較強的數據開發能力,熟悉Hadoop相關技術,深刻理解MapReduce原理和過程;
5、精通Hive SQL,進行數據處理及模型開發;
6、有較強的學習能力,能快速學習和理解業務知識及數據需求;
數據倉庫工程師的具體職責文本 篇4
職責:
1、負責數據倉庫(HADOOP)ETL工作以及數據運營;
2、負責數據產品的業務需求梳理、數據開發以及維護;
3、負責數據倉庫的維度建模以及設計相關的腳本調度;
4、負責維度模型的數據處理的腳本開發,程序開發以及接口對接。
職位要求:
1. 本科以上學歷,信息管理、計算機相關專業,兩年以上ETL、數據倉庫和大數據相關經驗;
2. 熟悉數據倉庫架構,了解HADOOP等大數據平臺;
3. 有ORACLE\DB2等大型的數據倉庫的開發經驗;
4. 能夠用HIVE的SQL,HADOOP的MAPREDUCE和SPARK去處理數據;
5. 熟悉關系數據庫,并有HIVE的SQL的開發經驗;
6. 熟悉Linux的shell編程;
7. 有銀行和運營商相關的大數據或者數據倉庫相關經驗的優先
8. 熱愛技術工作,具有較強的團隊協作意識,數據安全意識;
9. 工作嚴謹、責任心強,能承受工作壓力。
數據倉庫工程師的具體職責文本 篇5
職責:
1、參與數據倉庫建設,負責數據倉庫模型設計;
2、開發高質量可擴展的底層數據倉庫體系;
3、負責數據倉庫系統與業務系統的接口設計和確認工作;
4、負責數據平臺相關的管理工作,如數據研發規范、數據質量及穩定性保證等建設;
5、參與公司各個業務線BI、數據產品與應用的數據研發,發覺數據潛在價值。
崗位要求:
1.大學本科及以上學歷,計算機、經濟、金融、數學專業背景,有3年以上工作經驗;
2.熟悉數據倉庫建模理論,以及數倉數據層級關系,具備大型數倉邏輯模型和物理模型設計經驗;
3.熟悉一種ETL開發工具(sqoop,datax等), 熟悉ETL開發實施流程和原理;
4.掌握CDH版的hadoop環境,掌握hiveQL,有調優經驗;
5.有一定的編程語言基礎,不限制于java,python,shell等;
6.有元數據管理、數據質量管理工作經驗的優先考慮;
7.工作認真,負責,仔細,有良好的團隊合作精神。
數據倉庫工程師的具體職責文本 篇6
1、模切產品的材料管控、材料開發與驗證、材料知識培訓、產品開發等;
2、對工程開發選材,提供技術支持;
3、為客戶提供材料解決方案;
4、協助生產工藝流程的改進、優化等;
5、能獨立完成新產品開發,產品工藝改善,和各項研究工作開展;
6、對模切生產了解提供支持。
數據倉庫工程師的具體職責文本 篇7
1、負責公司(化工)設備的調試運行工作,調試成功后培訓客戶操作員上機
2、主導設備現場整改,技改工作
3、培訓操作員操控設備、
4、與客戶做好現場工作對接,溝通。
數據倉庫工程師的具體職責文本 篇8
1、根據平臺要求,檢查和轉換數字化模型,保證模型的精度和完整性,管理和更新產品目錄;
2、持續規范并優化建模流程,提高建模標準;
3、產品模型相關功能的調研和測試工作;
4、根據研發需求,抽取模型建模相關信息。
數據倉庫工程師的具體職責文本 篇9
職責:
1. 獨立完成ETL 需求分析、設計、開發及部署工作
2. 獨立完成BI分析報表等應用的需求分析、模型設計、數據處理、報表開發等工作;
3. 配合開發經理完成BI分析報表等項目的過程管理、元數據管理、質量管理;
4. 完成實時大數據處理系統及批處理系統的架構設計及實現;
5、負責BI分析報表等應用的系統部署及運維
任職要求:
1. 計算機相關專業本科及以上學歷,3年以上相關開發經驗;
2. 精通主流關系型數據庫,精通SQL優化、ETL問題定位,能夠從模型設計層面做ETL優化;
3. 精通ETL架構的設計,精通BI/DW,精通數據倉庫模型設計;
4. 熟悉Hadoop、Map/Reduce的原理,能夠選用合適的工具設計、編寫Hadoop的ETL程序;
5. 熟悉Shell/Perl/Python等腳本語言;
6. 熟悉kettle及sqoop; 精通元數據管理、數據質量分析和處理設計。
數據倉庫工程師的具體職責文本 篇10
職責:
1、存儲、服務器、云計算售后技術支持工程師;
2、負責項目主機存儲系統建設的實施方案設計、系統調試、系統測試;
3、負責主流主機、存儲、備份設備的安裝調試;
4、負責項目協調工作;
5、負責存儲、云計算項目的售后技術支持;
6、負責設備的安裝及調試。
任職要求:
1、熟悉主流Linux、Unix、Windows等平臺及應用環境,熟悉數據庫軟件安裝與維護工作;
2、對存儲、備份、容災等領域相關技術具有深刻的理解;
3、有Vmware、Oracle、Symantec(BE NBU)、IBM ITM,TSM,WAS,MS AD等軟件實施經驗優先;
4、良好的溝通表達能力和職業操守,能嚴格自律;自我學習能力強,善于思考和分析問題。
數據倉庫工程師的具體職責文本 篇11
職責:
1、參與公司數據倉庫基礎平臺的建設
2、參與數據建模及數據倉庫應用產品的設計和開發。
3、參與數據倉庫ETL流程的優化及解決ETL相關的技術問題。
4、通過專項分析,輸出專項分析報告,為業務模塊的決策和產品方向提供數據支持
5、通過市場細分、同期群分析或者AB測試來分析數據,根據數據變化定位產品的運行現狀;
6、其他工作,參與完成各類分析報告、報表等其他指定的工作。
崗位要求:
1.本科以上學歷,有三年以上互聯網數據倉庫設計和實現經驗。
2.熟悉數據倉庫各類模型建模理論,了解數據倉庫數據分層架構,熟悉3NF和多維數據模型設計。
3.具備Hadoop、Hive、Hbase,Spark,Kylin等大數據技術處理經驗,并具有開發經驗者更佳。
4.熱愛數據工作,具有學習精神,有超強責任心和上
數據倉庫工程師的具體職責文本 篇12
職責:
1、編寫服務器端總體設計文檔,實現關鍵框架代碼
2、負責服務器端架構設計與通訊協議擬定、模塊劃分、團隊合作和人員分工
3、服務器端核心模塊與邏輯代碼實現
4、服務器端負載優化,網絡安全方案設計
5、分析策劃案的技術可行性,根據策劃文檔,獨立設計開發相應的游戲模塊
6、對游戲設定功能進行服務器端系統設計、編碼、測試以及開發文檔編寫
7、使用c++開發維護服務器底層, 開發游戲邏輯, 開發周邊支持工具等
8、審核其他程序員的代碼,幫助程序員提高編碼能力,具有在需求明確情況下合理估算開發時間并嚴格按照文檔要求完成開發功能的能力
崗位要求
1、5年以上網絡游戲服務器開發經驗
2、精通C++/C任一種以上程序設計,能編寫高質量代碼,具備良好的開發文檔書寫習慣
3、熟悉Linux系統機制、操作和開發,如:多線程、多進程、同步、IPC、網絡編程(Socket)等
4、熟悉大容量數據庫程序開發,熟悉mysql/mongodb/oracle/redis任一種以上的數據庫
5、熱愛游戲開發
數據倉庫工程師的具體職責文本 篇13
1、熟悉水性涂料、油墨(丙烯酸、聚氨酯等)、耐高溫涂料;
2.熟悉膠黏劑,有原膠合成膠經驗
3.熟悉各類材料檢驗及標準
4、具有導熱散熱復合材料研發經驗者優先;
5、本科以上學歷,化工專業優先;
6、綜合能力扎實,能熟練運用辦公軟件;
7、誠實吃苦耐勞、有責任心、團隊協作能力強。
數據倉庫工程師的具體職責文本 篇14
1. 協助主管領導負責公司油氣勘探開發、新區塊評估等工作;
2. 協助主管領導負責審核公司項目油氣開發業務總體規劃和開發方案;
3. 協助主管領導負責審核油氣田重大生產作業措施;
4. 協助主管領導負責審核油氣田生產計劃,并督促實施。
5. 協助和促進項目的推進和銜接;
6. 完成上級主管交待的其它相關工作;
數據倉庫工程師的具體職責文本 篇15
1、提出潤滑油實驗室建設的技術方案,包括平面布局、儀器設備選型、人力資源配置等;
2、制定實驗室設備操作規程、維護、校準規范,監督設備日常維護、保養及校準工作;
研究和制定風能及其他重點使用行業的潤滑油檢測、監測方案,與專業工程師共同分析油品檢測數據,為客戶提供設備維護保養建議。
協助銷售開發潤滑油檢測市場,服務客戶,統籌檢驗項目實施,提供檢測報告、技術分析報告。
數據倉庫工程師的具體職責文本 篇16
1、負責電力營銷業務需求分析及設計工作,可以獨立完成電力營銷業務需求調研、業務模型編制、需求說明書編制及制作業務需求原型等工作。
2、能夠熟練及清晰的開展需求講解,為開發人員概要設計和詳細設計提供業務支持、及負責功能驗收工作。
3、配合測試人員參與測試計劃、測試用例、測試報告的編寫、問題缺陷的發現及跟蹤、用戶手冊編寫等。
4、對系統需求變更進行影響分析,跟進批準后的需求變更在各個階段的落實。
數據倉庫工程師的具體職責文本 篇17
1.參與施工交接樁、復測、設計圖紙復核。對設計中存在問題及時匯報。
2.做好隧道施工中特殊過程、危險源和環境因素辯識評價,參與編制項目施組及隧道工程專項施工組織設計,制定質量安全、環保相關作業指導書、管理方案、應急予案和技術交底。
3.準確掌握隧道工程的設計文件意圖、標準規范,明確施工工藝流程和創優規劃,按工期要求及時提報進度安排、材料計劃和技術交底。深入現場指導施工,及時處理施工中出現的技術問題。
4.做好隧道施工過程中內業資料的積累及竣工資料的編制、整理工作。
5.參與推廣隧道施工中新技術,新工藝、新材料、新方法的應用和QC小組活動。
6.積極主動參與論文及技術總結的編寫。按規定提供有關報表。
7.協助領導做好施工中的進度、質量、安全、環保、成本控制及管理。搞好日常檢查,發現問題及時糾正預防。
數據倉庫工程師的具體職責文本 篇18
職責:
負責數據倉庫邏輯模型和物理模型設計,對上游數據進行清洗、清理、加工、轉換、加載至目標數據庫。
負責數據ETL開發、數據平臺建設,解決各種數據庫問題。例如:調優、異常處理等。
對接相關業務團隊進行數據梳理,清洗并協助分析完成業務數據化管理的目標。
對業務團隊進行數據能力輸出,并且負責與業務平臺進行數據對接。
崗位要求:
計算機、軟件相關專業,本科及以上學歷.
3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗,具備大型數據倉庫邏輯模型和物理模型設計經驗,精通SQL,有較好的SQL性能調優經驗。
熟悉Unix/Linux常規命令與工具,至少熟練使用Shell、Python、Perl等腳本語言之一。
有分布式數據倉庫建設相關經驗者優先,具備金融行業數據倉庫建設相關經驗者優先。
數據倉庫工程師的具體職責文本 篇19
職責:
1.參與大數據分析,個性化推薦等系統的設計和開發;
2.負責數據挖掘及推薦系統相關模型、算法的設計與開發;
3.搭建高擴展高性能的數據分析模型庫,作為數據分析團隊的基礎工具;
4.提供大數據,推薦,搜索等相關技術研究成果、產品技術平臺設計;
希望具備的條件:
1.熟練Unix/Linux操作系統,熟悉掌握常用Shell/Python/Perl等腳本工具;
2.對統計學和數據挖掘算法有較為深刻的理解,熟悉決策樹、聚類、邏輯回歸、關聯分析、SVM、貝葉斯等數據挖掘算法
3.具備良好的業務挖掘和分析能力,能針對實際業務中的數據進行統計建模分析
數據倉庫工程師的具體職責文本 篇20
職責:
1.負責服務器的構建和日常維護,負責所有案子頁面制作的服務器;
2.WEB服務器構建、DB服務器構建、頁面的公開和更新;
3.負責開發源代碼的管理;
4.若具備開發等其他能力的,不限于此,發揮你的能力可以大展身手;
5.完成上級領導交代的其他任務。
崗位要求:
1.服務器工程師經驗2年以上,有阿里雲服務器上的構建經驗;
2.有了解或利用過CDN服務器的經驗;
3.能構建滿足一般安全條件服務器的經驗;
4.能組建CENTOS上的WEB服務器(apache、nginx)和DB服務器(mysql、redis);
5.有制作Ruby on Rails、PHP公開環境的經驗或通過學習一個月左右能掌握的;
6.能構建利用git的源控制環境;
數據倉庫工程師的具體職責文本 篇21
1. 以客戶需求為導向,了解客戶對于產品工藝性能的要求,技術難點,制作產品規范,提高產品意識,積極推進項目進度。
2. 積極與供應商對接,了解供應商在工藝制造商的難點,在滿足設計需求的前提下,降低供應商制造門檻,實現快速、低損、易生產。
3.積極與公司內部采購及QC溝通,了解設計、成型、加工的關聯需求,加強協同溝通能力,提高團隊協同作戰意識
數據倉庫工程師的具體職責文本 篇22
職責:
1. 針對用戶行為預測業務,負責用戶畫像、訂單特征體系建設,包括離線數據產出以及服務化;
2. 針對用戶端上行為產出的實時數據流,挖掘實時特征并服務化;
3. 針對客服場景,挖掘實時用戶行為異常以及進線異常;
4. 針對智能客服場景用戶標簽挖掘,人群挖掘等工作,支持智能運營方向的業務;
5. 負責開發并維護智能客服業務的特征服務系統。
任職資格:
1. 三年以上數據挖掘或者系統開發經驗;
2. 熟悉Hive,redis,Kafka,spark,flink,ES等大數據系統;
3. 要求熟悉Java,python,shell等語言,并有相關開發經驗;如果熟悉Golang,scala語言有加分;
4. 熟悉常用的數據挖掘、分析工具和方法,有數據挖掘工作經驗;有實時數據處理、分析、挖掘的經驗;
5. 具備快速學習能力,樂于了解業務,溝通能力強,具備團隊精神;
6. 有責任心,能快速響應線上問題與風險,安全意識強;
數據倉庫工程師的具體職責文本 篇23
1、負責金屬表面處理的工藝標準及技術要求的編制和修訂;
2、負責工藝執行的監督、異常分析及預防措施的提出;
3、協助新產品開發;
4、協助生產工藝技術項目的改善,對產品質量問題分析及解決提供技術支持;
5、負責對員工的作業技能、工藝技術等進行相關培訓;
6、完成上級領導安排的其他工作。
數據倉庫工程師的具體職責文本 篇24
職責:
1.搭建業務數據模型:深入理解業務流程,搭建大數據分析平臺,對業務進行分析、挖掘、建模,參與模型的維護、部署、評估工作,并形成相應的模型標準化報告;建立相關用戶行為模型 ,用戶分層模型;
2.分析用戶數據:通過深度挖掘用戶的個人數據,行為數據,研究公司相關業務數據,整理和發掘數據價值,實現精準投放,生成數據產品并推動落地;
3.分析客戶的基本屬性及行為數據,進行精細化客戶分群、客戶畫像,撰寫深入的客戶分析報告,建立與產品、客群、業務環節相適應的細分模型;
4.熟悉電信業務優先。
任職要求:
1. 本科及以上學歷,統計學、數學、計算機及相關專業,3年及以上工作經歷,有大數據平臺、電信行業背景優先;
2. 至少掌握一種數據分析語言(Java/R/Python/Matlab)進行數據分析工作,
3. 熟悉各種數據分析算法,具有相應的數理統計、熟悉建模和數據分析相關知識,熟悉SVM數學推導,能獨立實現SVM算法。
4. 能夠適應高強度、快節奏的工作氛圍,快速熟悉行業特性及業務知識。
5. 熟練使用包括但不限于下列技術 Hadoop、Storm、Spark、Hive、Oracle、MySQL、或者Teradata等
6. 良好的邏輯思維能力,能夠從海量數據中發現有價值的規律。
7. 具有良好的溝通能力和團隊合作精神。
數據倉庫工程師的具體職責文本 篇25
職責:
1.負責業務的數倉\數據集市的建設,能提煉通用需求,數倉標準,實現高質量的數據互通共享
2.對海量數據進行統計與分析,產品效果評估與分析,為產品策略優化迭代提供強有力的數據支持
3.和業務團隊緊密合作推動數據產品與服務的落地,具備良好的溝通協調能力
任職要求:
1.計算機 數學 統計, 金融等相關專業的本科或以上學歷;從事數倉領域至少3年以上,具備海量數據的DW模型設計與ETL開發經驗 2.熟悉數倉領域知識, 包括但不局限于:數據質量,元數據管理,主數據管理,數據開發測試工具與方法;
3.掌握Greenplum,Oracle,Teradata,Mysql 等至少一種,靈活運用SQL實現海量數據ETL加工處理;有Greenplum經驗優先
4.具有數據倉庫相關開發經驗,如ETL,建模,BI,數據產品等,熟悉數倉模型
5.掌握一門或多門開發語言,不限于java/python/scala等,熟悉Linux/Unix 平臺上的開發環境
6、主導過大型數據倉庫架構或模型設計經驗者優先;
7、較好的溝通理解能力,性格樂觀,態度踏實,積極上進;