數據采集工程師崗位職責（通用23篇）

數據采集工程師崗位職責 篇1

　　1.嵌入式bootloader，kernel開發；

　　2.工業通訊協議解析等；

　　3.windows/linux平臺網關應用層程序開發；

　　4.網關產品的軟件功能測試驗證；

　　5.工業網關產品軟件sdk及library開發。

數據采集工程師崗位職責 篇2

　　1.負責工業設備組網及數據采集方案設計；

　　2.負責設計方案所需傳感器、儀表選型，布線圖、數據存儲方式、數據表等詳細設計；

　　3.負責與設備廠商、數控系統廠商進行業務協議、通信協議及接口協調；

　　4.負責現場數據采集相關軟硬件安裝調試；

　　5.負責和用戶現場對口協調、技術指導及現場培訓。

數據采集工程師崗位職責 篇3

　　1.數據采集系統和分布式爬蟲系統的架構設計和開發

　　2.對接外部數據服務商提供的數據及資訊服務，實現數據的'有效沉淀，建立數據服務評估機制

　　3.負責大規模文本、圖像、視頻數據的抓取、抽取，去重、分類，垃圾過濾，質量識別等工作

　　4.研究各種目標網站的形態，互聯網特征挖掘，發現它們的特點和規律

數據采集工程師崗位職責 篇4

　　1.負責linux平臺下應用軟件開發，根據產品與項目要求，開展模塊設計.編碼等工作；

　　2.負責linux軟件的交叉編譯與移植；

　　3.參與需求分析.軟件設計.開發.調試以及測試維護全過程；

　　4.負責協同硬件工程師或第三方方案商完成系統功能模塊的聯調及功能對接.接口文文件輸出；

　　5.負責嵌入式系統軟件平臺搭建工作；

數據采集工程師崗位職責 篇5

　　崗位職責：

　　業務數據的收集整理和分析;

　　負責公安、交通領域的業務建模和算法設計;

　　分析項目數據需求，完成系統中數據分析模塊的設計、實現和測試;

　　設計、構建和優化基于大數據的存儲平臺架構，編寫相關技術文檔;

　　設計并實現基于開源項目(Cobar，Spark等)的海量數據集成與處理平臺;

　　為其他部門提供數據分析支撐。

　　任職資格：

　　計算機相關專業;

　　熟悉數據挖掘算法，對分類、聚類、時序、圖等算法有很深了解;

　　熟練掌握Hadoop、Spark生態系統組件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib等)，有相關大數據架構,開發成功案例;

　　熟練的使用、開發ETL工具經驗，有數據庫建模ER建模經驗優先;

　　有海量數據BI或數據挖掘項目實施和管理經驗，對數據挖掘理論方法有一定了解者優先;

　　熟悉的Bash Shell和Python等腳本編程能力;

　　強烈的責任心和工作熱情，良好的團隊合作精神。

數據采集工程師崗位職責 篇6

　　崗位職責:

　　1.從事數學建模及數據挖掘應用方法研究;

　　2.與開發部門配合實現相應的數據分析模塊的開發;

　　3.制定公司數據可管理體系,建產研究用數據平臺。

　　任職要求:

　　1.應用數學、統計學、計算機等專業碩士以上學歷;

　　2.具備常用機器學習、數據挖掘相關知識,會spark;

　　3.具備一種或多種開發語言(如scalapython java等)的.程序和算法開發能力,掌握常用數據結構和算法;

　　4.有視頻、地圖、文本、社交等大數據分析能力;

　　5.有工業數據分析工作經驗者優先。

數據采集工程師崗位職責 篇7

　　1、負責生產環境Mysql數據庫系統高可用、高性能架構方案，分庫分表策略，數據庫擴展方案;

　　2、排查數據庫故障，分析和解決疑難問題，提出預防方案;

　　3、制定數據庫監控策略、備份策略、容災策略，探查系統潛在的問題和可能的性能瓶頸并進行優化;

　　4、對開發工程師的SQL語句進行審核及SQL優化;

　　5、負責redis、memcache等非關系數據庫的管理和擴展，能夠根據業務需求完成系統設計、架構設計工作;

　　6、參與前瞻性新技術研究，解決數據庫相關疑難問題。

數據采集工程師崗位職責 篇8

　　1.高質量地完成集團內外各類數據生產集成、數據分析應用建設工作，涉及投研、市場、ERP、全球金融資訊等四個業務領域方向;

　　2.需求及源系統數據分析，完成數據倉庫/EDM等系統數據模型及應用模型設計、數據Mapping規則文檔撰寫、開發、自測及上線部署;

　　3. 數據質量稽核、問題分析及處理,優化數據處理程序;

　　4. 洞察數據、滿足業務場景需求。

數據采集工程師崗位職責 篇9

　　1、3年以上etl開發經驗，熟悉etl開發規范和流程；

　　2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

　　3、熟練編寫存儲過程，擅長sql優化；

　　4、熟悉oracle、sqlserver等常用數據庫中的`一個或多個；

　　5、熟悉perl、shell腳本，linux操作系統；

　　6、有大型數據倉庫、bi相關項目的開發經驗，精通架構、建模者優先；

　　7、熟練使用erwin或powerdesigner等進行數據建模；

　　8、以下經驗優先考慮：流式處理、日志處理、數據倉庫全日制本科以上學歷（985/211），計算機科學與技術/軟件工程/數據相關專業

　　1、3年以上etl開發經驗，熟悉etl開發規范和流程；

　　2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

　　3、熟練編寫存儲過程，擅長sql優化；

　　4、熟悉oracle、sqlserver等常用數據庫中的一個或多個；

　　5、熟悉perl、shell腳本，linux操作系統；

　　6、有大型數據倉庫、bi相關項目的開發經驗，精通架構、建模者優先；

　　7、熟練使用erwin或powerdesigner等進行數據建模；

　　8、以下經驗優先考慮：流式處理、日志處理、數據倉庫

數據采集工程師崗位職責 篇10

　　1、針對具體的業務場景需求、定義數據分析及挖掘問題;

　　2、使用統計學分析方法、挖掘算法、構建有效且通用的數據分析模型，對數據挖掘方案進行驗證、開發、改進和優化，實現數據挖掘的功能應用;

　　3、搭建高擴展高性能的數據分析模型庫，作為數據分析團隊的基礎工具;

　　4、完成領導安排的其他工作。

數據采集工程師崗位職責 篇11

　　數據處理工程師崗位職責

　　數據處理工程師1）直接面對客戶，參與項目運作中數據處理，了解客戶軟硬件要求；

　　2）參與、協助數據收集和模型建構；

　　3）安裝、調試公司軟件在客戶端上線；

　　4）開發常用數據處理功能，幫助業務團隊提高工作效率；

　　5）與香港、新加坡和紐約團隊合作，為亞太地區技術服務提供支持。·計算機或軟件相關專業，本科及以上學歷；

　　·掌握兩門以及常見數據庫設計開發技術，mysql、oracle、sqlserver、hive等；

　　·具有參加過etl開發項目，處理過（大）數據經驗優先；

　　·工作細心、認真負責且善于溝通，能快速理解業務，對數據敏感，并能主導項目的進度，保證團隊產出。1）直接面對客戶，參與項目運作中數據處理，了解客戶軟硬件要求；

　　2）參與、協助數據收集和模型建構；

　　3）安裝、調試公司軟件在客戶端上線；

　　4）開發常用數據處理功能，幫助業務團隊提高工作效率；

　　5）與香港、新加坡和紐約團隊合作，為亞太地區技術服務提供支持。

數據采集工程師崗位職責 篇12

　　職責描述：

　　1、負責文本數據處理，如格式轉換、分詞處理、實體抽取、專業詞典整理等；

　　2、自然語言處理相關工具開發；

　　3、協助訓練nlp模型。

　　任職要求：

　　1、計算機相關專業（本科2年以上）；

　　2、精通c/c++或java，熟悉python、bash？shell等腳本語言；

　　3、熟悉正則表達式，了解常用分類、聚類算法及相應工具；

　　4、熟悉使用基本分類、聚類算法及相應工具；

　　5、具備nlp相關工作（特別是數據處理與分析）經驗，了解nlp基本知識；

　　6、其他：耐心、細致；較強的邏輯思維能力；性格踏實穩定，抗壓能力強。

數據采集工程師崗位職責 篇13

　　1、利用數據倉庫建模及相關技術，參與數據倉庫模型的設計。

　　2、參與企業級大數據倉庫項目的落地開發。

　　3、參與企業級主數據管理項目的實施落地。

　　4、利用hadoop生態相關技術，負責大數據中心的'數據處理流程，包括數據清洗、融合、統計、挖掘等。

數據采集工程師崗位職責 篇14

　　1、負責數據倉庫的設計、開發、部署、維護和優化;

　　2、參與公司項目數據庫架構設計,及相關文檔的撰寫;

　　3、協助開發完成數據庫表的設計以及SQL調優,給開發人員提供SQL調優指導;

　　4、負責數據庫技術規范建設。

數據采集工程師崗位職責 篇15

　　1. 參加團隊會議與討論，并給予有意義的建議;

　　2. 協助后端團隊和架構師完成數據庫相關的設計與開發;

　　3. 協助業務部門抓取、分析數據。

數據采集工程師崗位職責 篇16

　　1、負責公司與阿里巴巴在新行業方向(新金融、新零售、國內外運營商)的產品研發;

　　2、負責分析挖掘客戶/行業對大數據產品的需求(應用場景)，利用數據分析結論提升客戶業務能力。例如：文本挖掘，潛在客戶挖掘，用戶畫像，個性化推薦，用能預測等;

　　3、進行大數據場景下的數據統計、數據挖掘、機器學習、深度學習，包括數據整理、模型建立、模型應用、評估優化等;

　　4、將客戶需求準確轉化為可執行的數學模型，針對不同的應用場景，負責編寫數據挖掘算法及對其的優化;

　　5、基于需求分析/運營支持/商業報告等成果，抽取典型用戶/客戶/行業/產品分析模型并與開發團隊溝通實施方案及構建產品原型。

　　崗位要求：

　　1、本科以上學歷，扎實的`機器學習、數據挖掘、統計學理論基礎;有統計、應用數學、金融等相關專業背景優先;

　　2、精通常見機器學習算法(如邏輯回歸、SVM、神經網絡、決策樹、貝葉斯等)，有實際建模經驗，掌握深度學習算法優先;

　　3、具有扎實的計算機操作系統、數據結構等編程基礎，精通至少一門編程語言例如JAVA/python/R等;

　　4、熟悉Map-Reduce模型，對Hadoop、Spark、Storm等大規模數據存儲與運算平臺有實踐經驗優先。

數據采集工程師崗位職責 篇17

　　1、負責應用平臺維護，保證其有效運行;

　　2、負責業務數據的挖掘、整合以及分析模型的建立、優化和評估;為業務人員日常工作提供可靠而明確的數據支撐;

　　3、負責報表相關功能的設計、開發工作，并負責報表優化、維護、數據采集;

　　4、負責系統相關文檔的制定和編寫。

　　5、有實際的MY SQL或Oracle等數據庫開發相關工作經歷，具有高級工程師技術能力;

　　6、有良好的溝通協調能力，能與客戶及項目組同事有效的溝通;

　　7、能夠獨立分析客戶需求，并能針對客戶需求編寫需求分析、設計等技術方案;

　　8、熱愛軟件事業，具有較強的責任感,有快速掌握新技術和獨立解決技術問題的能力;

數據采集工程師崗位職責 篇18

　　1.負責數據分析,數據挖掘相關的算法、應用的設計與開發;

　　2.負責公司產品各階段數據的整理、分析、挖掘及提交數據報告，重點對車輛行為數據進行分析和挖掘，利用數據分析結論推動業務產品的優化;

　　3.對海量業務數據進行整合、分析挖掘，挖掘產品以及用戶潛在信息，為營銷、運營及決策提供業務分析及數據支持。

數據采集工程師崗位職責 篇19

　　1.依據項目需求建構數據萃取與轉換流程

　　2.挖掘數據特征，進行數據和特征融合

　　3.搭建數學模型，并對模型進行檢驗評估

　　職位要求：

　　1、計算機、數學、統計、人工智能等相關專業的碩士或以上學歷;

　　2、二年以上數據挖掘、機器學習相關工作經驗，熟悉python、spark、pandas、sklearn等數據分析工具者優先;

　　3、熟練掌握貝葉斯、隨機森林、深度學習等機器學習算法;

　　4、突出的分析問題和解決問題能力，自我驅動，并且具備較強的學習能力、創新應用能力及溝通協調能力，有良好的'團隊合作意識;

　　5、有國際背景或能熟練使用英文溝通者優先

數據采集工程師崗位職責 篇20

　　1、負責數據接入、數據提取、數據清洗、底層重構、業務主題建模等工作;

　　2、參與數據集市開發，用戶畫像標簽開發;

　　3、負責接口平臺、自助分析平臺等系統的建設和維護;

　　4、針對具體大數據應用場景，提供有效解決方案，并針對具體模型落地實施;

數據采集工程師崗位職責 篇21

　　•識別，分析和解決計劃支持問題。

　　•與BU利益相關者合作，確定并優先考慮數據和統計要求，包括要收集的特定數據元素。

　　•協助開發和實施數據庫，數據收集系統/工具，數據分析以及其他優化統計效率和質量的策略(包括確定流程改進以更好地滿足業務需求)。

　　•分析大量數據集，提出有見地的業務建議。

　　•通過查看報告和績效指標來確定和糾正數據收集問題，從而確保數據的準確性和完整性。

　　•識別，分析，解釋和建模數據湖中數據的趨勢或模式。

　　•為各種受眾設計和生成準確有效的統計數據可視化產品和報告。

　　•通過促進技術和非技術利益相關者之間的溝通，確保技術團隊了解計劃和業務工作的短期和長期目標

　　•準時交付優質，易懂，明確的產品。

　　•參與構建機器學習策略平臺。

　　•對數據驅動業務，關鍵思想家，問題解決者和自我啟動者的熱情

　　•促進技術和非技術利益相關者之間交流的能力

　　•出色的書面和口頭交流能力。

數據采集工程師崗位職責 篇22

　　崗位職責：

　　1、對通信和金融業務數據進行分析和挖掘，滿足研發和運營等部門的業務需求和決策需求;

　　2、能根據業務特點選擇最合適的數據挖掘算法，并做調優;

　　3、支持數據分析、挖掘算法平臺的部署和日常運營;

　　4、撰寫分析類報告。

　　任職資格：

　　1、大學本科或本科以上統計學、數學或其他相關專業，對數據結構熟悉;

　　2、熟練使用python進行數據分析、處理、可視化。熟悉numpy/pandas/matplotlib等常用模塊。熟練使用sql,最好用過hive-sql或spark-sql;

　　3、對hadoop/spark有一定了解。能夠簡單使用hadoop系列命令;

　　4、對線性回歸，決策森林，xgboost，評分卡等數據挖掘相關算法有一定了解;

　　5、做過web接口調試，熟悉json者優先;

　　6、熟練掌握PPT和EXCEL制作;

　　7、具備良好的學習、溝通與表達能力，具有較強的團隊合作精神，對工作富有熱情，能承受工作壓力;

　　8、有運營商或金融類相關數據經驗工作優先考慮;

　　9、能適應中長期現場出差。

數據采集工程師崗位職責 篇23

　　1、參與數據倉庫建設，負責數據倉庫模型設計；

　　2、開發高質量可擴展的底層數據倉庫體系；

　　3、負責數據倉庫系統與業務系統的接口設計和確認工作；

　　4、負責數據平臺相關的管理工作，如數據研發規范、數據質量及穩定性保證等建設；

　　5、參與公司各個業務線BI、數據產品與應用的數據研發，發覺數據潛在價值。