大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選

　　大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)該領(lǐng)域所屬模塊的代碼開發(fā)、調(diào)試與維護(hù)工作，并進(jìn)行技術(shù)沉淀和文檔輸出。下面是第一范文網(wǎng)小編整理的大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選1

　　職責(zé)：

　　1、負(fù)責(zé)公司項目應(yīng)用監(jiān)測數(shù)據(jù)，分析軟件大數(shù)據(jù)平臺的代碼開發(fā);

　　2、負(fù)責(zé)大數(shù)據(jù)體系架構(gòu)設(shè)計和應(yīng)用產(chǎn)品的研究;

　　3、負(fù)責(zé)大數(shù)據(jù)平臺及應(yīng)用場景的構(gòu)建、部署、測試;

　　4、編寫軟件研發(fā)相關(guān)技術(shù)文檔;

　　5、編寫產(chǎn)品研發(fā)相關(guān)任務(wù)單計劃，階段性代碼、技術(shù)方案和軟件產(chǎn)品及時提交至配置管理理庫;

　　6、Spark程序的研發(fā)，sqoop腳本開發(fā)和商家用戶行為等離線分析數(shù)據(jù);

　　7、kudu，kylin等技術(shù)調(diào)研，編寫軟件研發(fā)相關(guān)技術(shù)文檔;

　　8、SUNMI數(shù)倉設(shè)計架構(gòu)以及ETL流程開發(fā);

　　9、建立多維度，多體系的用戶標(biāo)簽體系以及用戶行為數(shù)據(jù)庫。

　　崗位要求 ：

　　1、本科以上學(xué)歷，4年以上?工作經(jīng)驗，2年以上Hadoop平臺的相關(guān)研發(fā)經(jīng)驗，具有良好的需求分析，方案設(shè)計，架構(gòu)設(shè)計，程序編寫、測試能力;

　　2、熟悉J2EE或Python平臺開發(fā)，有良好的Java或Python語言功底;

　　3、了解Linux/Unix操作系統(tǒng)，了解腳本編程(Shell/Python其中一種);

　　4、具備數(shù)據(jù)中心資源管理(YARN)、監(jiān)控(ClouderaManage)、調(diào)度(Azkaban)等系統(tǒng)研發(fā)經(jīng)驗者優(yōu)先，具備分布式系統(tǒng)研發(fā)經(jīng)驗者優(yōu)先;

　　5、熟悉hadoop以及其?生態(tài)圈系統(tǒng)上的hive、hbase、sqoop、spark、spark-streaming等技

　　術(shù)，懂hadoop源碼者優(yōu)先;

　　6、熟悉Kylin有OLAP平臺設(shè)計和開發(fā)經(jīng)驗優(yōu)先;

　　7、具有應(yīng)用大數(shù)據(jù)技術(shù)處理TB級以上數(shù)據(jù)的項目開發(fā)經(jīng)驗者優(yōu)先;

　　8、有較清晰的代碼編寫規(guī)范，邏輯性強(qiáng)，工作態(tài)度認(rèn)真，良好溝通能力和團(tuán)隊合作精神。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選2

　　職責(zé)：

　　1、 負(fù)責(zé)基于Hadoop/Spark平臺架構(gòu)的開發(fā)、設(shè)計和布局 ;

　　2、 完成系統(tǒng)框架的設(shè)計和核心代碼的編寫;

　　3、 針對海量的用戶行為數(shù)據(jù)進(jìn)行統(tǒng)計、分析與挖掘，不斷提高系統(tǒng)運行效率;

　　4、 負(fù)責(zé)對數(shù)據(jù)進(jìn)行分析，為項目組提供大數(shù)據(jù)技術(shù)指導(dǎo)及分析手段支撐;

　　5、 負(fù)責(zé)大數(shù)據(jù)平臺的性能監(jiān)控和持續(xù)優(yōu)化;針對需求提供大數(shù)據(jù)分析技術(shù)解決方案 ;

　　6、 大數(shù)據(jù)平臺的運維工作，持續(xù)完善大數(shù)據(jù)平臺，保證穩(wěn)定性、安全性;

　　7、 熟練使用大數(shù)據(jù)ETL數(shù)據(jù)抽取工具;

　　8、領(lǐng)導(dǎo)安排的其他工作。

　　任職資格：

　　1、 3年互聯(lián)網(wǎng)行業(yè)開發(fā)經(jīng)驗，計算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷;

　　2、 精通Hadoop大數(shù)據(jù)平臺架構(gòu)，具有扎實的Java/Python等開發(fā)語言;并可以開發(fā)高效可靠的代碼;

　　3、 具有較強(qiáng)的數(shù)據(jù)分析、數(shù)據(jù)挖掘的能力;

　　4、 熟悉spark、Hive、storm等計算框架者優(yōu)先，對分布式存儲和計算原理有較深的理解;

　　5、 嚴(yán)密的數(shù)學(xué)思維、突出的分析和歸納能力、優(yōu)秀的溝通表達(dá)能;

　　6、 個性開朗，對技術(shù)鉆研好學(xué)、邏輯思維能力強(qiáng)，溝通能力優(yōu)秀，有團(tuán)隊合作精神。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選3

　　職責(zé):

　　1. 負(fù)責(zé)機(jī)票酒店大數(shù)據(jù)項目的評估、設(shè)計及關(guān)鍵模塊研發(fā);

　　2. 參與公司大數(shù)據(jù)平臺及聯(lián)機(jī)分析系統(tǒng)的建設(shè);

　　3. 機(jī)器學(xué)習(xí)算法討論、評估及算法的最終編碼實現(xiàn);

　　4. 數(shù)據(jù)平臺開發(fā)規(guī)范制定，數(shù)據(jù)建模及核心框架研發(fā);

　　任職要求:

　　1. 本科及以上學(xué)歷，計算機(jī)或數(shù)學(xué)相關(guān)專業(yè)，三年以上相關(guān)工作經(jīng)驗;

　　2. 掌握J(rèn)ava、Python、Scala等 中的一到兩種語言;

　　3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL數(shù)據(jù)庫開發(fā)和調(diào)優(yōu);

　　4. 熟悉數(shù)據(jù)相關(guān)開源框架和工具，如ZooKeeper、Spark、Flink、Impala、Kylin 等;

　　5. 對數(shù)據(jù)結(jié)構(gòu)和機(jī)器學(xué)習(xí)算法有一定的了解;

　　6. 具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)項目的工作經(jīng)驗者優(yōu)先;

　　7. 有機(jī)票酒店等旅游行業(yè)數(shù)據(jù)開發(fā)經(jīng)驗者優(yōu)先。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選4

　　職責(zé)：

　　1.負(fù)責(zé)公司環(huán)保大數(shù)據(jù)平臺的架構(gòu)與搭建;

　　2.負(fù)責(zé)需求分析，根據(jù)客戶應(yīng)用需求規(guī)劃大數(shù)據(jù)平臺架構(gòu);

　　3.負(fù)責(zé)將大數(shù)據(jù)平臺部署至私有服務(wù)器群、私有云或公有云;

　　4.負(fù)責(zé)在企業(yè)內(nèi)部進(jìn)行數(shù)據(jù)平臺原型開發(fā)與數(shù)據(jù)實時交互、存儲性能測試;

　　5.負(fù)責(zé)與數(shù)據(jù)挖掘算法交互的架構(gòu)設(shè)計與開發(fā)。

　　任職要求：

　　1.計算機(jī)相關(guān)專業(yè)，全日制本科以上學(xué)歷;

　　2.具有3年以上大數(shù)據(jù)相關(guān)應(yīng)用開發(fā)經(jīng)驗，有Java開發(fā)經(jīng)驗更佳;

　　3.至少熟悉一種流行的大數(shù)據(jù)編程框架，如Spark，Storm，F(xiàn)link等;

　　4.熟悉大數(shù)據(jù)生態(tài)圈常用技術(shù)如RocketMQ，Kafka，F(xiàn)lume，Zookeeper等;

　　5.熟悉Hadoop安裝、調(diào)試、發(fā)布配置應(yīng)用，熟悉Linux操作系統(tǒng)更佳;

　　6.至少熟悉TIDB，MySQL，SQLServer其中一種數(shù)據(jù)庫;

　　7.學(xué)習(xí)能力強(qiáng)，對技術(shù)有熱情，關(guān)注技術(shù)發(fā)展方向;

　　8.具有工業(yè)物聯(lián)網(wǎng)、智慧型環(huán)保項目背景者優(yōu)先。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選5

　　職責(zé)：

　　1、負(fù)責(zé)公司大數(shù)據(jù)平臺建設(shè);

　　2、根據(jù)業(yè)務(wù)需求，制定數(shù)據(jù)倉庫和數(shù)據(jù)分析平臺的實施和持續(xù)更新;

　　3、攻克技術(shù)難關(guān)，保證大數(shù)據(jù)系統(tǒng)的穩(wěn)定運行;

　　4、完成大數(shù)據(jù)產(chǎn)品的開發(fā)。

　　職位要求：

　　1、計算機(jī)相關(guān)專業(yè)全日制專科及以上學(xué)歷，大數(shù)據(jù)相關(guān)經(jīng)驗;

　　2、熟悉Java或Scala語言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大數(shù)據(jù)相關(guān)技術(shù);

　　3、精通SQL語句并對Redis，Mongodb等NoSQL數(shù)據(jù)庫有一定經(jīng)驗;

　　4、對于高并發(fā)、高穩(wěn)定可用性、性能、大數(shù)據(jù)處理有過實際項目產(chǎn)品經(jīng)驗者優(yōu)先;

　　5、責(zé)任心強(qiáng)，工作踏實，有團(tuán)隊協(xié)作精神，溝通能力強(qiáng)者優(yōu)先。