大數(shù)據(jù)開發(fā)工程師的崗位職責（精選14篇）

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇1

　　職責：

　　1、從事Hadoop、Spark、Hbase、hive等分布式大數(shù)據(jù)產(chǎn)品的設計和開發(fā);

　　2、針對部門大數(shù)據(jù)業(yè)務進行大數(shù)據(jù)分析、挖掘等產(chǎn)品應用的開發(fā);

　　3、大數(shù)據(jù)平臺各類數(shù)據(jù)業(yè)務抽象及模型化;

　　4、參與大數(shù)據(jù)管理平臺的開發(fā)及維護;

　　5、負責大數(shù)據(jù)平臺數(shù)據(jù)及相關的應用開發(fā)，調(diào)優(yōu)及維護;

　　6、為項目相關開發(fā)人員提供大數(shù)據(jù)技術指導及解決大數(shù)據(jù)平臺應用中遇到的技術難題;

　　7、良好的團隊合作與溝通能力。

　　任職要求：

　　1、本科及以上學歷，2年以上大數(shù)據(jù)應用開發(fā)經(jīng)驗;

　　2、具備Java、Python、Scala其中兩種語言的開發(fā)經(jīng)驗;

　　3、了解泛Hadoop大數(shù)據(jù)生態(tài)圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術，并有實際的項目開發(fā)經(jīng)驗，有相關源碼研究者優(yōu)先;

　　4、具備ETL開發(fā)與運維能力，有Flume、kettle經(jīng)驗優(yōu)先;

　　5、熟悉大數(shù)據(jù)平臺的搭建過程，熟悉數(shù)據(jù)處理流程，有TB級以上數(shù)據(jù)處理經(jīng)驗優(yōu)先，有實時數(shù)據(jù)處理經(jīng)驗者優(yōu)先;

　　6、熟悉離線和實時數(shù)據(jù)處理流程，熟練使用Spark，F(xiàn)link處理TB級數(shù)據(jù)優(yōu)先;

　　7、熟悉Linux系統(tǒng)環(huán)境，有shell等腳本編寫經(jīng)驗，熟悉Mysql、PostgreSql、Oracle等常用關系數(shù)據(jù)庫，熟練編寫SQL語句;

　　8、熟悉Yarn,Kubernetes,Azkaban等資源調(diào)度框架者優(yōu)先;

　　9、熟悉Datax的二次開發(fā)，并有實際開發(fā)經(jīng)驗優(yōu)先。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇2

　　職責:

　　1、負責所分管團隊的團隊建設和日常管理工作;

　　2、負責核心技術問題攻關和性能優(yōu)化，持續(xù)維護和引進最新的大數(shù)據(jù)技術到城市大數(shù)據(jù)平臺中，支撐城市級大數(shù)據(jù)平臺業(yè)務;

　　3、承擔城市數(shù)據(jù)標準編制和數(shù)據(jù)模型的設計;

　　4、承擔項目中數(shù)據(jù)相關方案設計及數(shù)據(jù)團隊管理;

　　5、參與城市大數(shù)據(jù)項目中數(shù)據(jù)采集、加工過程、分析挖掘模型算法的實施工作。

　　任職資格:

　　1、1年以上數(shù)據(jù)開發(fā)工作經(jīng)驗，熟練使用SQL查詢引擎;

　　2、熟悉Hadoop、Mpp、Oracle等至少一種數(shù)據(jù)倉庫工具

　　3、具備良好的編程語言基礎如：java/python/scala/c++/shell等

　　4、二本以上學歷，計算機相關專業(yè)或者有相關培訓經(jīng)歷者優(yōu)先

　　5、 個人素質(zhì)要求：目光長遠、態(tài)度誠懇、崗位有穩(wěn)定性，能夠長期培養(yǎng)、具備很強的自學能力、承壓能力強、接受出差支援項目等工作。對數(shù)據(jù)工作具備濃厚的興趣并有明確職業(yè)規(guī)劃，優(yōu)秀的學習能力和團隊溝通協(xié)作能力，對新技術有濃厚興趣并有鉆研精神。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇3

　　職責

　　1、負責基于hadoop/spark生態(tài)系統(tǒng)、億級別數(shù)據(jù)的全文檢索，搜索引擎的產(chǎn)品研發(fā);

　　2、基于海量用戶行為數(shù)據(jù)和其他數(shù)據(jù)，分析和研究數(shù)據(jù)與實際業(yè)務的關聯(lián)關系，并與實際業(yè)務應用相結合開發(fā);

　　3、負責大數(shù)據(jù)分析需求設計和開發(fā)，承擔數(shù)據(jù)抽取、清洗、轉化等數(shù)據(jù)處理程序開發(fā)。

　　任職要求：

　　1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術及其生態(tài)圈，具備相關項目開發(fā)經(jīng)驗，有數(shù)據(jù)實時計算項目經(jīng)驗優(yōu)先;

　　2、有搜索引擎全文檢索開發(fā)經(jīng)驗 ，如：elasticsearch、solr;

　　3、熟悉python、R任意一門開發(fā)語言;

　　4、有SAAS，PAAS企業(yè)級應用平臺或者互聯(lián)網(wǎng)，金融等大型應用平臺開發(fā)經(jīng)驗優(yōu)先考慮;

　　5、 本科及以上學歷，計算機/軟件工程/統(tǒng)計學/數(shù)學等相關專業(yè)，互聯(lián)網(wǎng)/金融等行業(yè)3年以上工作經(jīng)驗;

　　6、擁有良好的代碼習慣，要求結構清晰、命名規(guī)范、邏輯性強、代碼冗余率低，代碼注釋清晰;

　　7、熟悉使用svn，禪道等項目管理工具，有良好的團隊協(xié)作開發(fā)經(jīng)驗.

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇4

　　職責：

　　1、負責數(shù)據(jù)分析、加工、清理，相關處理腳本和程序的開發(fā);

　　2、負責開發(fā)大數(shù)據(jù)工具，如報表平臺、多維度分析工具、ETL平臺、調(diào)度平臺的研發(fā);

　　3、負責分布式大數(shù)據(jù)平臺應用開發(fā)(Hadoop/Spark/Hive/HBase等);

　　4、負責大數(shù)據(jù)相關平臺的維護、優(yōu)化。

　　任職要求：

　　1、本科及以上學歷，計算機相關專業(yè)，具有5年及以上的大數(shù)據(jù)ETL或數(shù)據(jù)開發(fā)經(jīng)驗，熟悉大數(shù)據(jù)組件的維護以及調(diào)優(yōu);

　　2、熟練掌握Java或Python編程語言，熟悉大數(shù)據(jù)架構體系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術中的一個或者多個，熟悉Sqoop、DataX等數(shù)據(jù)導入工具;

　　3、能熟練使用Hive、HBase、Spark等加工和處理數(shù)據(jù)，有海量數(shù)據(jù)處理經(jīng)驗;

　　4、有數(shù)據(jù)倉庫開發(fā)經(jīng)驗/BI系統(tǒng)開發(fā)經(jīng)驗優(yōu)先;

　　5、有電商行業(yè)數(shù)據(jù)處理與分析平臺開發(fā)經(jīng)驗者優(yōu)先。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇5

　　職責：

　　1、依據(jù)客戶需求完成大數(shù)據(jù)項目的數(shù)據(jù)分析及建模;

　　2、進行大數(shù)據(jù)核心算法的編寫;

　　3、參與項目的需求分析、系統(tǒng)設計、編碼工作;

　　4、參與開發(fā)過程中相關新技術的研究和驗證。

　　5.協(xié)助承擔架構性的體系設計和改造工作，配合制定技術實施方案，按照總體設計組織子系統(tǒng)的設計和開發(fā)。

　　任職要求：

　　1、精通數(shù)據(jù)建模、數(shù)據(jù)體系建設，具備數(shù)據(jù)倉庫架構設計、模型設計和處理性能調(diào)優(yōu)等相關經(jīng)驗;

　　2、具有豐富的基于hadoop體系的數(shù)據(jù)平臺、數(shù)據(jù)倉庫建設經(jīng)驗，精通基于hadoop源碼的開發(fā)、優(yōu)化改造及成功應用案例;

　　3、精通hadoop生態(tài)體系各項技術，如kafka、flume、hive、impala、hbase、spark等，具有100+節(jié)點hadoop集群的開發(fā)、運維經(jīng)驗;

　　4、具有對大型hadoop集群的硬件規(guī)劃能力;

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇6

　　職責：

　　1.根據(jù)產(chǎn)品或項目開發(fā)進度和任務分配，負責相應軟件模塊的設計開發(fā);

　　2.根據(jù)開發(fā)規(guī)范和流程獨立完成模塊的設計、編碼及相關文檔;

　　3.服務器環(huán)境的搭建和系統(tǒng)的部署等。

　　4.協(xié)助編寫需求文檔，編寫概要設計文檔、詳細設計文檔、數(shù)據(jù)文檔等相關文檔。

　　5.能夠參與系統(tǒng)架構設計、性能優(yōu)化、重構的討論及給出解決方案的建議。

　　任職要求：

　　1、計算機或相關專業(yè)背景，大專以上學歷,2年以上工作經(jīng)驗。

　　2、精通一種或多種主流的關系型數(shù)據(jù)庫如Mysql、Oracle。

　　3、熟練使用java編程語言，有良好的編程風格。

　　4、熟悉java的基礎知識，如數(shù)據(jù)類型、集合、異常處理、多線程、緩存、事務等。

　　5、熟悉一種或多種nosql數(shù)據(jù)庫，如Mongodb、Redis。

　　6、熟練使用Spring、SpringMVC、Hibernate等常用后端框架。

　　7、熟悉linux等操作系統(tǒng)。

　　8、熟悉SpringBoot框架。

　　9、熟悉微服務架構。

　　10、熟悉數(shù)據(jù)結構、設計模式、UML等知識。

　　11、熟悉一種或多種消息隊列如RocketMQ、Kafka。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇7

　　職責：

　　1、根據(jù)業(yè)務需求，提供業(yè)務、技術、系統(tǒng)開發(fā)解決方案;

　　2、和團隊成員一起參與并完善項目數(shù)據(jù)分析工作的流程、規(guī)范和方法建設;

　　3、參與項目數(shù)據(jù)采集、清洗、存儲、計算等全方位設計與開發(fā);

　　4、配合完成數(shù)據(jù)模型設計;

　　5、負責數(shù)據(jù)交工及報表開發(fā)。

　　任職要求：

　　1、計算機相關專業(yè)全日制本科及以上學歷;2年及以上項目經(jīng)驗;

　　2、熟悉ORACLE數(shù)據(jù)庫架構。熟練編寫PLSQL存儲過程，能夠進行簡單的sql調(diào)優(yōu)，熟練掌握oracle常用語句;

　　3、熟悉Microstrategy(MSTR)報表工具,基本了解MSTR文檔、儀表盤等功能開發(fā)流程;

　　4、熟悉數(shù)據(jù)倉庫理論，有較好的大數(shù)據(jù)應用開發(fā)能力;

　　5、具有良好的溝通、表達能力，有較強的獨立工作能力和解決問題的能力;

　　6、邏輯思維能力強，謙虛好學，工作踏實，有責任感。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇8

　　職責：

　　1、參與前端應用開發(fā)，包括Web及Mobile等產(chǎn)品，負責前端交互的實現(xiàn);

　　2、與設計師、產(chǎn)品工程師緊密工作在一起，負責產(chǎn)出高質(zhì)量的產(chǎn)品前端層;

　　3、能充分理解項目需求和設計需求，具有一定研發(fā)精神，能解決各種未知問題;

　　4、與團隊成員分享經(jīng)驗和新技術，幫助團隊成長。

　　任職要求：

　　1、 計算機、軟件類專業(yè)，本科及以上學歷;

　　2、 具有3年以上前端開發(fā)經(jīng)驗，精通HTML5、CSS3，熟練應用jQuery等框架;

　　3、對 MVC/MVMM 有一定的理解，熟練掌握 React/Redux 或者 Vue/Vuex 或者 AngularJS，有中大型H5項目開發(fā)經(jīng)驗者優(yōu)先;

　　4、熟悉移動端web開發(fā)，能解決各種手機平臺兼容性問題，有webapp、微信公眾號、小程序開發(fā)經(jīng)驗者優(yōu)先;

　　5、關注技術前沿，善于利用各種工具提升自己與團隊的開發(fā)效率;

　　6、良好的溝通表達能力，具備很好的團隊協(xié)作精神;

　　7、善于學習新的知識，熱愛技術，動手能力強，有進取心。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇9

　　職責：

　　1、根據(jù)公司的業(yè)務需要，負責業(yè)務系統(tǒng)的核心模塊的設計和開發(fā)工作;

　　2、web項目執(zhí)行;按照項目管理流程，參與研發(fā)部門的總體設計評審;

　　3、承擔部分新技術試驗和研究，并應用到公司產(chǎn)品中，獨立解決開發(fā)中遇到的問題;

　　4、進行詳細設計、代碼開發(fā)，配合測試，高質(zhì)量完成項目;

　　5、負責公司門戶網(wǎng)站、商城、微信小程序小游戲等相關項目的開發(fā)維護工作。

　　任職要求：

　　1、大專以上學歷，1-3年左右開發(fā)經(jīng)驗，計算機相關專業(yè)，有PHP項目開發(fā)經(jīng)驗;

　　2、熟悉WEB開發(fā)流程，熟練應用PHP+MySQL,PHP+MSSQL進行獨立開發(fā)，熟悉數(shù)據(jù)庫設計;

　　3、熟悉MVC設計模式，精通 MYSQL維護管理，MySQL索引優(yōu)化、查詢優(yōu)化;

　　4、熟練掌握緩存、靜態(tài)化，代碼安全開發(fā)等相關技術;熟悉大數(shù)據(jù)網(wǎng)站性能優(yōu)化，具備規(guī)范的代碼編寫習慣以及良好的用戶體驗開發(fā)意識;

　　5、熟練使用HTML/CSS/JavaScript/Ajax/JQuery/XML等技術進行WEB應用開發(fā)，有團隊協(xié)作精神;

　　6、精通數(shù)據(jù)接口對接與開發(fā)，有商城開發(fā)經(jīng)驗、微信小程序開發(fā)應用者優(yōu)先。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇10

　　職責：

　　1. 負責產(chǎn)品研發(fā)Java后臺設計與開發(fā)工作、客戶現(xiàn)場相關項目的Java后臺設計與開發(fā)工作;

　　2. 對自行編制的功能代碼進行功能與性能優(yōu)化，可協(xié)助H5、APP端、第三方進行接口聯(lián)調(diào)，及時修改測試、提出BUG，確保代碼質(zhì)量;

　　3. 撰寫相關的技術文檔，主要包括設計文檔、接口文檔、部署文檔、使用手冊等;

　　4. 參與項目整個過程的實施工作，并具備獨立安裝部署和后期實施運維能力;

　　5. 參與到項目售前技術支持工作，能出差實施項目。

　　任職資格:

　　1. 計算機相關專業(yè)畢業(yè)，有3年以上Java工作經(jīng)驗，有政府信息化或智慧城市相關項目經(jīng)驗優(yōu)先;

　　2. 熟練使用SQL語句與SQL優(yōu)化，熟悉主流數(shù)據(jù)庫MySql、Oracle等;

　　3. 熟練J2EE主流技術框架，如Spring、SpringMVC、Mybatis、shiro等;

　　4. 精通HTTP通信協(xié)議、RESTfull API、HttpClient等接口規(guī)范與應用;

　　5. 熟練Java相關邊沿技術與工具：Eclipse、IDEA、Maven、SVN、Git、JavaScript、Poi、Log4j、freemarker、redis、Quartz、MQ等

　　6. 熟練使用Linux常用命令，可以完成Java服務運行環(huán)境的安裝、部署、監(jiān)控等工作;

　　7. 具有良好的理解能力與溝通能力，能正確理解產(chǎn)品或項目目標與需求，有問題可以積極溝通確認，能做到及時準確的上報下達;

　　8. 具有良好的職業(yè)素質(zhì)與團隊合作精神，可以嚴格遵守公司與項目組相關規(guī)定，有強烈的集體團隊意識;

　　9. 對工作態(tài)度主動積極、認真負責、且具有一定的抗壓能力;

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇11

　　職責

　　1、負責提供藍鯨自動化運維開發(fā)平臺在企業(yè)落地實施過程中的技術支持;

　　2、協(xié)助項目經(jīng)理完成客戶現(xiàn)場的需求溝通，并能與客戶就相關問題進行直接溝通，參與項目技術方案設計、編寫等工作。

　　3、負責公司產(chǎn)品實施工作(部署安裝調(diào)試、工具開發(fā)、對接平臺實際落地)，以及平臺應用工具開發(fā)工作，參與平臺工具腳本的編寫;

　　4、就公司產(chǎn)品能在技術層面向客戶進行講解和培訓;

　　5、撰寫技術支持文檔或功能使用文檔，配合公司產(chǎn)品測試，提供測試反饋;

　　任職資格

　　1、計算機相關專業(yè)，2年以上運維開發(fā)或運維經(jīng)歷;

　　2、有運維開發(fā)經(jīng)驗為佳，精通一門以上腳本語言(Shell/PowerShell/Perl/Python等)，熟悉Django Web開發(fā)框架，熟悉設計模式、開發(fā)規(guī)范，掌握常用Linux操作命令;

　　3、熱愛軟件研發(fā)工作，有強烈的創(chuàng)新精神并能付諸實施，能積極學習業(yè)界新技術;

　　4、有良好的邏輯思維能力和想象力，善于抽象簡化復雜問題，善于系統(tǒng)性思考并使用創(chuàng)新性思維解決問題，學習能力強;

　　5、有責任心，優(yōu)秀的團隊合作精神，良好的溝通表達，積極主動，自我驅(qū)動，樂觀，誠實，勤奮，嚴謹;

　　6、有不錯的工作抗壓能力，富有激情;

　　7、熟悉HTML、CSS、JavaScript等前端開發(fā)技術者優(yōu)先;

　　8、熟悉藍鯨產(chǎn)品軟件設計體系，掌握藍鯨SaaS開發(fā)人員優(yōu)先。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇12

　　職責：

　　1、根據(jù)公司信息化發(fā)展需要和業(yè)務流程要求，對ERP系統(tǒng)和OA平臺進行定制化二次開發(fā)和功能擴展，制定二次開發(fā)方案、計劃并實施，分析并解決開發(fā)過程中的問題;

　　2、或能自主開發(fā)滿足公司管理需要的軟件系統(tǒng)，負責軟件產(chǎn)品的架構設計、功能模塊設計、數(shù)據(jù)庫結構設計及核心代碼開發(fā);

　　3、對ERP系統(tǒng)、OA平臺或自主開發(fā)軟件系統(tǒng)進行維護，保障軟件系統(tǒng)的穩(wěn)定運行;

　　4、負責其他系統(tǒng)與ERP接口的技術支持;

　　5、完成上級臨時交辦的其他工作。

　　任職資格：

　　1、計算機、電子信息工程相關專業(yè)，大專以上學歷;

　　2、對ERP系統(tǒng)和OA平臺的功能和使用比較熟悉;

　　3、熟悉軟件系統(tǒng)開發(fā)過程，有編寫代碼、編寫腳本的經(jīng)驗，熟悉至少兩種開發(fā)語言;

　　4、有二次開發(fā)經(jīng)驗，熟悉ERP二次開發(fā)和實施經(jīng)驗者優(yōu)先;

　　5、具有數(shù)據(jù)庫及高級應用程序開發(fā)經(jīng)驗;

　　6、具有通信協(xié)議接口開發(fā)經(jīng)驗;

　　7、熟悉SQL Server、Oracle等數(shù)據(jù)庫開發(fā)。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇13

　　職責：

　　1. 負責運營平臺以及移動應用服務器API開發(fā)與維護，編寫開發(fā)文檔;

　　2 .根據(jù)業(yè)務需求提出技術方案，負責系統(tǒng)框架的規(guī)劃、開發(fā);

　　3. 熟悉支付業(yè)務流程，對已有模塊的調(diào)優(yōu)和bug修復。

　　任職資格：

　　1. 計算機及相關專業(yè)，熟悉掌握PHP、熟悉面向?qū)ο缶幊?

　　2 .有成熟的項目經(jīng)驗，能獨立處理開發(fā)中遇到的問題;

　　3 .熟悉Linux服務器相關知識，熟悉Nginx/Apache等服務搭建，對服務器搭建和系統(tǒng)性能調(diào)優(yōu)有了解;

　　4 .熟悉掌握MySQL數(shù)據(jù)庫的使用，對高并發(fā)數(shù)據(jù)處理和數(shù)據(jù)優(yōu)化有相應的處理方案;

　　5 .對緩存技術有了解，使用過Redis/Memcache/Mongodb等常見nosql數(shù)據(jù)庫之一。

大數(shù)據(jù)開發(fā)工程師的崗位職責 篇14

　　職責：

　　1、負責大數(shù)據(jù)ETL開發(fā)與維護;

　　2、負責大數(shù)據(jù)平臺數(shù)據(jù)庫的設計以及開發(fā);

　　3、負責大數(shù)據(jù)計算框架的選型與計算流程的設計與開發(fā);

　　4、負責數(shù)據(jù)服務的設計與開發(fā)。

　　任職資格：

　　1、本科及以上學歷;

　　2、熟悉Flink、flume、jstorm、sparkstream、hive、spark等分布式開源軟件，具備系統(tǒng)優(yōu)化與性能調(diào)優(yōu)能力者優(yōu)先;

　　3、精通JAVA等面向?qū)ο缶幊蹋�有分布式并行計算的開發(fā)經(jīng)驗優(yōu)先;

　　4、熟練掌握至少一種MySQL、SQL Server、Oracle等關系型數(shù)據(jù)庫或MongoDB、Redis等NoSQL數(shù)據(jù)庫 ,有hive等數(shù)據(jù)倉庫研發(fā)經(jīng)驗優(yōu)先;

　　5、熟悉大數(shù)據(jù)、云計算概念，了解Hadoop、Hive、Hbase等大數(shù)據(jù)主流技術及開源框架者優(yōu)先;

　　6、自學能力強，溝通能力較好，有一定獨立分析，技術研究能力，具有良好的團隊合作精神;

　　7、數(shù)據(jù)意識強，有較好的文檔編寫能力，以及踏實的工作作風。