大數據開發工程師的主要職責(精選15篇)
大數據開發工程師的主要職責 篇1
職責:
1. 負責機票酒店大數據項目的評估、設計及關鍵模塊研發;
2. 參與公司大數據平臺及聯機分析系統的建設;
3. 機器學習算法討論、評估及算法的最終編碼實現;
4. 數據平臺開發規范制定,數據建模及核心框架研發;
任職要求:
1. 本科及以上學歷,計算機或數學相關專業,三年以上相關工作經驗;
2. 掌握Java、Python、Scala等 中的一到兩種語言;
3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL數據庫開發和調優;
4. 熟悉數據相關開源框架和工具,如ZooKeeper、Spark、Flink、Impala、Kylin 等;
5. 對數據結構和機器學習算法有一定的了解;
6. 具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先;
7. 有機票酒店等旅游行業數據開發經驗者優先。
大數據開發工程師的主要職責 篇2
職責:
1、負責公司項目應用監測數據,分析軟件大數據平臺的代碼開發;
2、負責大數據體系架構設計和應用產品的研究;
3、負責大數據平臺及應用場景的構建、部署、測試;
4、編寫軟件研發相關技術文檔;
5、編寫產品研發相關任務單計劃,階段性代碼、技術方案和軟件產品及時提交至配置管理理庫;
6、Spark程序的研發,sqoop腳本開發和商家用戶行為等離線分析數據;
7、kudu,kylin等技術調研,編寫軟件研發相關技術文檔;
8、SUNMI數倉設計架構以及ETL流程開發;
9、建立多維度,多體系的用戶標簽體系以及用戶行為數據庫。
崗位要求 :
1、本科以上學歷,4年以上?工作經驗,2年以上Hadoop平臺的相關研發經驗,具有良好的需求分析,方案設計,架構設計,程序編寫、測試能力;
2、熟悉J2EE或Python平臺開發,有良好的Java或Python語言功底;
3、了解Linux/Unix操作系統,了解腳本編程(Shell/Python其中一種);
4、具備數據中心資源管理(YARN)、監控(ClouderaManage)、調度(Azkaban)等系統研發經驗者優先,具備分布式系統研發經驗者優先;
5、熟悉hadoop以及其?生態圈系統上的hive、hbase、sqoop、spark、spark-streaming等技
術,懂hadoop源碼者優先;
6、熟悉Kylin有OLAP平臺設計和開發經驗優先;
7、具有應用大數據技術處理TB級以上數據的項目開發經驗者優先;
8、有較清晰的代碼編寫規范,邏輯性強,工作態度認真,良好溝通能力和團隊合作精神。
大數據開發工程師的主要職責 篇3
職責:
1.負責公司環保大數據平臺的架構與搭建;
2.負責需求分析,根據客戶應用需求規劃大數據平臺架構;
3.負責將大數據平臺部署至私有服務器群、私有云或公有云;
4.負責在企業內部進行數據平臺原型開發與數據實時交互、存儲性能測試;
5.負責與數據挖掘算法交互的架構設計與開發。
任職要求:
1.計算機相關專業,全日制本科以上學歷;
2.具有3年以上大數據相關應用開發經驗,有Java開發經驗更佳;
3.至少熟悉一種流行的大數據編程框架,如Spark,Storm,Flink等;
4.熟悉大數據生態圈常用技術如RocketMQ,Kafka,Flume,Zookeeper等;
5.熟悉Hadoop安裝、調試、發布配置應用,熟悉Linux操作系統更佳;
6.至少熟悉TIDB,MySQL,SQLServer其中一種數據庫;
7.學習能力強,對技術有熱情,關注技術發展方向;
8.具有工業物聯網、智慧型環保項目背景者優先。
大數據開發工程師的主要職責 篇4
職責:
1、 負責基于Hadoop/Spark平臺架構的開發、設計和布局 ;
2、 完成系統框架的設計和核心代碼的編寫;
3、 針對海量的用戶行為數據進行統計、分析與挖掘,不斷提高系統運行效率;
4、 負責對數據進行分析,為項目組提供大數據技術指導及分析手段支撐;
5、 負責大數據平臺的性能監控和持續優化;針對需求提供大數據分析技術解決方案 ;
6、 大數據平臺的運維工作,持續完善大數據平臺,保證穩定性、安全性;
7、 熟練使用大數據ETL數據抽取工具;
8、領導安排的其他工作。
任職資格:
1、 3年互聯網行業開發經驗,計算機或相關專業本科以上學歷;
2、 精通Hadoop大數據平臺架構,具有扎實的Java/Python等開發語言;并可以開發高效可靠的代碼;
3、 具有較強的數據分析、數據挖掘的能力;
4、 熟悉spark、Hive、storm等計算框架者優先,對分布式存儲和計算原理有較深的理解;
5、 嚴密的數學思維、突出的分析和歸納能力、優秀的溝通表達能;
6、 個性開朗,對技術鉆研好學、邏輯思維能力強,溝通能力優秀,有團隊合作精神。
大數據開發工程師的主要職責 篇5
職責:
1、負責公司大數據平臺建設;
2、根據業務需求,制定數據倉庫和數據分析平臺的實施和持續更新;
3、攻克技術難關,保證大數據系統的穩定運行;
4、完成大數據產品的開發。
職位要求:
1、計算機相關專業全日制專科及以上學歷,大數據相關經驗;
2、熟悉Java或Scala語言,熟悉Spark,Hadoop,Kafka,Hive,HBase,ZooKeeper等大數據相關技術;
3、精通SQL語句并對Redis,Mongodb等NoSQL數據庫有一定經驗;
4、對于高并發、高穩定可用性、性能、大數據處理有過實際項目產品經驗者優先;
5、責任心強,工作踏實,有團隊協作精神,溝通能力強者優先。
大數據開發工程師的主要職責 篇6
1. 負責游戲社交產品的后端研發
2. 對后端系統不斷改進和優化,提高性能、可用性、安全性和可擴展性
3. 承擔項目中重點、難點的技術攻堅
大數據開發工程師的主要職責 篇7
職責:
1.電商平臺技術架構設計和系統框架搭建;
2.電商平臺核心代碼編寫,注重編碼規范和系統性能;
3.搭建小程序訂單系統+即使通訊系統,有關商城及即時通訊經驗優先考慮。
4.參與開發過程的代碼設計、審核和檢查。
職位要求:
熟練掌握PHP開發語言;熟悉PHP/Ajax/JavaScript/XML/Webservice;
對B2B,B2C等電商平臺系統有深入的了解,有過1個以上電商平臺系統的開發經驗,并帶領過項目組完成過至少一個電商平臺系統的開發工作;
掌握架構設計理論,實踐,掌握多種可重用架構機制和模式,掌握流行技術框架和工具;
有大型分布式項目開發經驗、微服務架構經驗優先、有高并發的系統核心研發經驗優先。熟悉門戶網站的基本系統架構,對內容發布系統、視頻直播點播技術、網站統計分析系統、網站電子商務系統有深入了解;
有良好的溝通能力,具有跨部門協作的經驗、推進能力強,責任心強;
熟練掌握緩存技術,網站優化,服務器優化,分布式集群技術,負載均衡,消息中間件等;
掌握PHP及MVC架構技術,具備在Linux平臺下使用PHP開發網站的經驗,可在服務器系統配置php+mysql運行環境;
具有PHP緩存技術、靜態化設計方面的經驗;
學習能力強, 能快速上手新接觸的技術. 積極挑戰技術難題, 積極向上, 有團隊合作精神.
大數據開發工程師的主要職責 篇8
1.、負責系統APP(IOS)開發和維護;
2、對兼容性以及用戶體驗進行優化;
3、能夠根據公司要求,進行IOS獨立模塊架構設計,功能開發及調試工作;
4、能夠根據項目計劃獨立完成高質量代碼;
5、驗證和修正開發、測試過程中的問題,保證用戶體驗和質量。
大數據開發工程師的主要職責 篇9
職責:
1、 參與軟件系統的需求調研、分析及設計工作;
2、 參與系統核心模塊的程序編碼工作;
3、 負責按照公司的開發規范編寫相關項目及平臺技術文檔;
4、 配合項目經理執行開發過程的技術工作。
崗位要求:
1、3年左右工作經驗,有2-3個項目開發經驗;熟悉Java編程,包括:JSP、Struts、Servlet、EJB、Hibernate、Spring;
2、熟練使用eclipse等Java開發工具,熟悉DevOps平臺;
3、精通系統的設計,能夠獨立完成模塊或系統的設計工作;
4、具有J2EE架構經驗,或者熟悉SSH架構;
5、精通MySQL或Oracle數據庫的開發;具有Struts、Hibernate、EJB或Spring的開發經驗;熟悉Socket通訊、HTTP協議、多線程編程者優先;
6、具有中、大型公司工作經驗、具有項目管理或團隊管理經驗者優先;掌握其他主流開發語言的優先;工作積極,主動,認真;
大數據開發工程師的主要職責 篇10
職責:
1、根據產品需求和設計完成兼容性良好的前端頁面制作,與后臺工程師協作;
2、完成數據交互、動態信息展現,實現數據可視化;
3、擁有良好的設計審美;
4、基于Html5的webapp界面開發;
5、保持代碼的高可靠性和可維護性。
任職資格:
1、熟練使用Html5、Html、CSS,CSS3等頁面結構和布局;
2、熟練使用響應式頁面開發,屏幕自適應;
3、熟練使用Jquery、javaScript,能獨立開發;
4、精通WEB標準頁面開發,能實現兼容主流界面(IE8及以上、FF、Chrome等主流瀏覽器);
5、熟悉前端頁面代碼結構、前端交互性能,頁面結構和頁面布局,對語義化、結構與內容分離、用戶體驗有一定的理解;
6、至少有Angular、Vue之一開發經驗。
大數據開發工程師的主要職責 篇11
職責:
1、認真分析軟件的架構,整理設計者(項目經理)的設計思路之上進行功能設計;
2、獨立完成項目經理分配的開發任務,負責程序開發、代碼編寫;
3、參與項目中遇到問題的討論會并有效提出解決方案;
4、詳細記錄測試過程,發現并修復BUG;
5、對現場實施日志中出現的問題及時進行修正;
6、自主學習、追求創新,掌握崗位需要的技能;
崗位要求:
1、本科及以上學歷,3年以上的java web應用開發經驗;
2、有扎實的Java編程基礎,熟悉java開發工具及代碼編程,精通SSH,Jsp、Javascript、CSS、Ajax、jQuery等web應用開發技術;
3、熟悉微服務相關設計理念,熟悉高并發、高負載等相關技術,并具有實際開發經驗;
4、熟悉各種主流開源框架,精通SpringBoot,Mybatis,JPA,Springmvc,Shiro等開源框架并熟悉其實現原理;
5、熟練操作Linux服務器,熟練搭建運行環境集群;
6、熟悉主流關系型數據庫(ORACLE、MYSQL等 )的開發應用;
7、了解前端開發技術,例如react,vue,bootstrap等,或國內主流的開發框架;
8、具備較強的團隊協作能力和溝通理解能力,責任心強;
9、熟悉系統搭建過程(例如WEB項目搭建),并編寫過公用代碼(例如:公用DAO、SERVICE層代碼);
10、有基于H5的APP、微信開發人員優先考慮。
11、接受過社會培訓機構全方面技術培訓者優先考慮。
大數據開發工程師的主要職責 篇12
職責:
1、承擔項目組重要開發或設計工作,并能夠按要求、高質量地完成開發或設計任務;
2、掌握分析設計工具,按照規范的要求,編寫設計文檔;
3、按照設計的功能,實現模塊的代碼編寫和維護;
4、按公司規范進行編碼,并對開發的代碼進行單元測試。
任職資格:
1、3年以上工作經驗,1年以上企業應用或互聯網項目開發經驗, 熟練掌握面向對象編程思想和設計模式
2、精通JAVA語言及JDK規范,熟悉一種其他服務端開發語言(如 Python/PHP/GO/Node.js等)者尤佳;
3、熟悉分布式服務、集群式服務開發相關技術
4、熟悉SQL數據庫或NoSql數據庫
熟悉常見中間件(ActiveMQ,Redis,Dubbo等)的編程接口
5、了解基本的計算機網絡原理;
6、邏輯思維能力強,有良好的編程習慣,具備較強的學習能力和鉆研精神,熟悉敏捷開發流程;
7、有責任心,有良好的溝通協調能力和團隊協作意識;積極上進, 執行力強, 富有創業激情,愿意接受挑戰。
大數據開發工程師的主要職責 篇13
職責
1.負責web前端頁面開發、維護和優化工作。
2.掌握HTML5/JavaScript/CSS3等Web開發技術。
3.熟練使用React或vue及其全家桶。
4.熟練使用echarts 制作滿足ui需求的圖表。
5.通過各種前端技術?手段,提?高?用戶體驗并滿?足性能要求。
6.掌握常用的性能優化手段,提升頁面性能。
任職資格:
1.至少三年以上前端開發經驗;
2.熟練掌握HTML5、CSS3、JavaScript、ES6等
3.熟練使用至少一種JS框架,熟悉Vue或者Reactjs,掌握其原理,能獨立開發常用組件;
4.熟練使用前端自動化構建工具,熟悉Webpack,對前端工程化與模塊化開發有一定了解,并有實踐經驗;
大數據開發工程師的主要職責 篇14
1.負責游戲體系的搭建和相應業務需求;
2.加強系統穩定性,健壯性,優化系統性能,提升用戶體驗;
3.對線上突發問題進行及時響應并解決;
4.相關開發文檔的整理與編寫。
大數據開發工程師的主要職責 篇15
職責:
1、參與項目的核心功能編碼與完成項目技術攻關;
2、協助完成數據庫設計、功能設計、架構設計任務;
3、協助完成任務分解、任務檢查;
4、協助核心產品技術攻關,新技術的研究。
任職要求:
1、精通PHP+MYSQL編程以及PHP框架(TP、yii2、Zend);
2、熟悉常用Linux操作命令,對數據庫優化、PHP緩存技術、靜態化設計、數據庫安全等方面有自己的見解;
3、熟練掌握XHTML、CSS、DIV、Javascript、jquery等頁面技術;
4、熟悉設計模式,具有較強的面向對象分析設計能力,能熟練應用設計模式;
5、有良好的代碼習慣,要求結構清晰,命名規范,邏輯性強,代碼冗余率低;
6、有良好的溝通表達能力,良好的團隊合作精神和高度的責任感,能獨立承擔任務和有系統進度把控能力。
7. 全日制大專及以上,本科優先考慮。