大數據開發工程師的基本職責（通用24篇）
大數據開發工程師的基本職責 篇1
職責：
1、負責數據分析、加工、清理、處理程序的開發;
2、負責數據相關平臺的搭建、維護和優化;
3、負責基于Hadoop/Spark/Hive/kafka等分布式計算平臺實現離線分析、實時分析的計算框架的開發;
崗位要求：
1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟件及相關專業
2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識;
3、熟練使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底層框架和實現原理;
4、使用Spark Streaming和Spark SQL進行數據處理, 并具有SPARK SQL優化經驗;
5、需要有至少2年開發經驗,有flink開發經驗優先;
6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。
大數據開發工程師的基本職責 篇2
職責:
1、負責大數據平臺的基礎環境搭建與性能優化，完成平臺的構建與維護、實時流計算平臺、分布式調度、可視化報表等平臺的架構與研發;
2、對各種開源框架進行深入的代碼剖析和優化;
3、參與大數據技術方案評審;
4、指導初中級大數據工程師工作;
崗位要求:
1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分布式計算平臺研發工作經驗;
2. 對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定制和研發能力，尤其需要精通Flink框架;
3. 具備構建穩定的大數據基礎平臺的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗;
4. 對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的了解優先;
5. 工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。
大數據開發工程師的基本職責 篇3
職責：
1、大數據日志分析系統的設計，選型和開發;
2、配合各業務給予數據支持，對產品和運營數據總結和優化;
3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果;
4、發現并指出數據異常情況，分析數據合理性;
5、公司大數據基礎架構平臺的運維，保障數據平臺服務的穩定性和可用性;
6、大數據基礎架構平臺的監控、資源管理、數據流管理;
7、基于數據分析的可預測的云平臺彈性擴展解決方案。
任職要求：
1、日志分析數據系統實際經驗;
2、3年以上互聯網行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力;
3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安裝與調試;
4、熟悉大數據周邊相關的數據庫系統，關系型數據庫和 NoSQL。
5、掌握 Linux 操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題;
6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。
大數據開發工程師的基本職責 篇4
職責：
1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作
2、與交易員對接，制定切實可行的的策略測試計劃，開展新策略模型的開發和驗證
3、協助交易員進行交易、風險管理，并對實際交易結果進行量化的績效分析，推動交易自動化
4、上級交辦的其他工作
任職要求：
1、數學/計算機/金融專業畢業，有扎實的算法和機器學習的理論基礎
2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先
3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗;
4、對數字貨幣領域感興趣，結果導向;
5、有網頁抓取和爬蟲程序編寫經驗者優先。
大數據開發工程師的基本職責 篇5
職責：
1.參與大數據平臺搭建以及項目技術架構。
2.數據分析，挖掘，模型具體的產品化;
3.根據產品需求，分析編寫和制定大數據相關解決方案
崗位要求：
1、計算機相關專業本科以上學歷，編程基礎扎實，有2年以上大數據開發經驗
2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具
3、熟悉Flume，kakfa，scribe等日志收集體系
4、熟悉主流數據庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL性能調優經驗
5、有數據倉庫ETL經驗者優先
6、有用戶行為日志采集、海量數據處理、數據建模方面經驗者優先
7、有持續學習的能力;喜歡開源軟件，樂于知識分享;對工作認真負責;可以獨立承擔較大工作壓力
大數據開發工程師的基本職責 篇6
1.根據產品需求開發IOS客戶端產品;
2.驗證和修正測試中發現的問題 ;
3.學習和研究新技術以滿足產品的需求;
4.根據開發過程中的體驗對產品提出改進建議。
大數據開發工程師的基本職責 篇7
職責:
1、根據產品需求和設計完成兼容性良好的前端頁面制作，與后臺工程師協作;
2、完成數據交互、動態信息展現，實現數據可視化;
3、擁有良好的設計審美;
4、基于Html5的webapp界面開發;
5、保持代碼的高可靠性和可維護性。
任職資格:
1、熟練使用Html5、Html、CSS,CSS3等頁面結構和布局;
2、熟練使用響應式頁面開發，屏幕自適應;
3、熟練使用Jquery、javaScript，能獨立開發;
4、精通WEB標準頁面開發，能實現兼容主流界面(IE8及以上、FF、Chrome等主流瀏覽器);
5、熟悉前端頁面代碼結構、前端交互性能，頁面結構和頁面布局，對語義化、結構與內容分離、用戶體驗有一定的理解;
6、至少有Angular、Vue之一開發經驗。
大數據開發工程師的基本職責 篇8
職責：
1、負責產品的設計和開發工作;
2、參與項目的系統、功能分析和評審;
3、根據需求文檔完成相應的模塊設計、開發、優化、單元測試、集成和發布;
4、根據項目要求及上級分配的任務，承擔系統功能開發，并按計劃完成任務目標;
5、編寫所負責的模塊的接口文檔，制作負責模塊的系統架構圖，梳理業務流程，并編寫相關文檔，編制與項目相關的技術文檔;
6、獨立完成軟件系統及模塊的編碼;
7、協助測試人員完成軟件系統及模塊的測試;
任職要求：
1、JAVA基礎扎實，了解JVM原理，熟悉網絡、多線程編程
2、熟悉Java Web等后端開發技術，比如Spring MVC、 MyBatis等，掌握Spring及周邊,MyBatis,Maven等開發技術,熟悉或參與過SpringCloud微服務項目優先;
3、了解分布式系統相關技術，如分布式緩存、消息隊列等中間件
4、有高并發、高可用、微服務等開發經驗者優先
5、熟悉數據庫基本原理，熟練使用MySQL、NoSQL(如MongoDB,Redis)等常用的數據庫系統，有較強的數據庫設計能力;
6、可以承擔較高強度的開發工作;
7、有傳統中小學教育行業工作經驗優先考慮。
大數據開發工程師的基本職責 篇9
負責數據庫系統架構的設計和實施，參與項目中的數據庫邏輯結構設計，參與大數據平臺的架構設計;
基于產品需求說明書，設計審核并創建數據庫存儲結構、數據庫對象;
根據業務需求批量更新數據;開發和維護數據庫定時任務;使用spark SQl等技術，開發數據分析功能;
監控并及時發現TOP SQL，通過優化索引結構提高性能或給研發人員提出優化建議;
為企業信息化和其他內部相關業務提供相關技術支持。
大數據開發工程師的基本職責 篇10
職責：
1)參與項目需求分析和設計;
2)完成軟件系統代碼的實現，編寫代碼注釋和開發文檔;
3)完成功能模塊代碼的實現及單元測試，確保系統性能、質量和安全;
4)向初級組員提供引導、支持并管理日常活動。
5)負責撰寫所負責模塊的相關文檔等。
崗位要求：
1)計算機相關專業，熟悉JAVA常用框架，有3-5年JAVA開發經驗;
2)參加過3-5個JAVA項目，獨立承擔過JAVA項目開發或JAVA項目核心模塊開發.
3)熟悉主流數據庫ORACLE、SQLSERVER、MYSQL，熟悉數據庫結構及設計;
4)有一定的編寫需求分析說明書、概要設計、詳細設計的能力，能夠進行原型設計。有工業信息化項目背景優先，比如MES、ERP、WMS、LIMS，設備數據采集、物料等
5)具有很強的學習和獨立分析能力、工作責任心、良好的溝通能力和團體合作精神。
大數據開發工程師的基本職責 篇11
職責：
1、有較強的需求理解能力，根據需求編寫代碼和單元測試;
2、遵循編碼規范，及時完成項目管理組分配的開發任務，保證項目開發進度;
3、配合測試對所開發項目進行集成測試、缺陷修復等項目品質保證的相關工作;
4、對所負責項目進行代碼優化、功能維護、性能維護、需求變更和協助系統部進行系統維護、系統優化以及相關的項目維護工作。
任職資格：
1、大學本科及以上學歷，3—5年工作經驗;
2、扎實的java基礎，熟悉J2EE、servlet、JSP、Spring MVC、Spring、mybatis、js、CSS等技術;
3、熟悉ORACLE、Mysql數據庫管理、開發;
4、熟悉應用服務器和開發工具，如Tomcat等，能對目標系統進行優化配置;
5、有互聯網、供應鏈開發經驗者優先;
6、良好的文字表達能力;
7、有強烈的求知欲、優秀的自我學習能力、熟悉流行的開源項目;
8、工作積極主動，具有強烈的責任心、事業心，具有良好的溝通能力、團隊配合精神。
大數據開發工程師的基本職責 篇12
職責：
1、負責公司服務器的日常維護，包括IDC機房服務器和云服務器;
2、系統日常調整和故障處理，保證網站的高并發和高可用性，遇到故障及時定位并找出解決辦法;
3、負責日常監控系統的搭建和完善;
4、對運營系統的運行狀況進行性能分析，提出可行性的優化和改進方案;
5、編寫相關技術文檔及操作說明;
6、負責運維平臺的開發，推進自動化運維體系建設。
任職要求 ：
1、本科及以上學歷，1-3年Linux運維相關經驗;
2、熟悉python開發，能夠進行自動化運維工具及頁面的開發;
3、熟練使用shell，perl等腳本語言并具備較強的開發能力。
4、熟悉數據庫常用的sql命令，有一定的sql優化能力;
5、熟悉Nginx/Apache/Tomcat等Web應用服務器部署、優化;
6、熟練使用SaltStack，Zabbix或openfalcon;
7、熟練使用相關工具進行網絡故障診斷，熟悉iptables，vpn等網絡工具。
8、具有kvm虛擬化環境、公有云平臺使用經驗，有docker應用經驗優先;
9、有較好的學習能力和溝通能力，有強烈的責任感，對新技術充滿好奇，樂于分享。
大數據開發工程師的基本職責 篇13
職責：
1、負責公司項目的二次開發和維護工作;
2、參與軟件需求分析，進行模塊設計、代碼編寫、單元測試等工作，對軟件質量負責;
3、參與APP、網站架構、性能、安全、擴展等優化的設計和實現。
崗位要求：
1、三年以上php后端開發經驗，原生或框架開發都可適應;
2、熟悉js前端開發，有豐富客戶端開發經驗;
3、熟悉Mysql數據庫，及各種sql語句操作，能獨立設計合理高效的表結構，;
4、熟悉微信開發接口，有微信公眾號、開放平臺、小程序等項目開發經驗;
5、熟悉微信支付支付寶支付等在線支付接口，具有商城或團購開發經驗;
6、具有優良的編程風格和習慣，技術輸出結構清晰、命名規范、邏輯性強、代碼冗余率低;
7、了解linux相關操作命令。
大數據開發工程師的基本職責 篇14
1、參與軟件產品項目規劃工作;制定具體實施方案;
2、整合并優化項目開發所需各種資源;
3、參與軟件系統的設計和分析;
4、對現有的系統進行優化、維護和升級
5、負責軟件開發技術和規范及標準流程的改進;
6、根據開發進度和任務分配，完成相應模塊軟件的設計、開發、編程任務;
7、參與方案討論和技術調研，負責方案升級，更新及后期技術支持
8、熟悉SSH等開源技術框架下的web開發，熟悉springMvc技術的基本使用。
9、熟練使用javascript、extjs等前端技術。
10、精通Oracle、Mysql數據庫，精通SQL語句應用，熟練掌握數據庫基本性能優化。
大數據開發工程師的基本職責 篇15
職責：
1.參與基于LNMP的網站架構設計與開發;
2.參與網站服務器性能優化工作，如數據庫優化，緩存優化，分布式集群等;
3.參與日常網站業務開發工作，包括后臺與前端。
任職要求：
1.統招計算機相關專業本科學歷以上;
2.扎實的編程基礎(c/c++,數據結構，算法)，3年以上網站開發經驗;
3.精通PHP+MYSQL編程以及主流的PHP框架(Yii2，Zend)，熟悉面向對象編程及MVC模式;
4.熟練掌握XHTML、CSS、DIV、Javascript、jquery等前端頁面技術;
5.學習能力強，熱愛技術，寬廣的技術視野;
6.強烈的責任感和良好的團隊合作精神;
7.有數據庫優化、高并發互聯網應用開發經驗優先;
8.掌握多門語言,雙端開發者優先。
大數據開發工程師的基本職責 篇16
職責：
1、開發和移植游戲到網頁平臺
2、和游戲設計師緊密合作，實現游戲設計師的設計。
3、優化游戲代碼，保證游戲質量。
4、預估工作時間，安排工作計劃，配合團隊的計劃和管理
崗位要求：
1、2年或以上H5游戲開發經驗;
2、熟悉至少一款H5引擎(Egret、Cocos2dX-JS、layabox等),了解各引擎特點，相關工具和環境，至少使用某款H5引擎開發過一款游戲;
3、熟悉面對對象編程的概念，有JavaScript、ActionScript或TypeScript開發經驗;
4、熟悉 WebSocket 和 HTTP 等網絡協議，熟悉 JSON丶ProtoBuf 等數據協議;
5、有優化包體大小、游戲運行效率、游戲體驗的經驗;
6、熟悉休閑競技游戲的開發模式和優化原理，確保游戲在表現效果上和性能上有突出表現;
7、與策劃、美術等合作團隊進行溝通協調，滿足開發需求
8、熟悉WebGL和計算機圖形的相關知識。
大數據開發工程師的基本職責 篇17
職責：
1. 根據公司業務需求，進行數據開發及報表制作;
2. 參與BI、大數據平臺體系建設;
3. 文檔整理，包括ER圖、原型設計、數據字典整理等;
崗位要求：
1. 本科或以上學歷，計算機相關專業，2年及以上工作經驗;
2. 熟練使用主流數據庫(如ORACLE/PostgreSQL/MYSQL等)，掌握SQL查詢優化方法;
3. 熟悉HADOOP生態，能夠熟練使用HIVE/HBASE/SPARK進行數據開發;
4. 掌握JAVA或PYTHON，會TABLEAU/KYLIN/帆軟等BI工具者優先;
大數據開發工程師的基本職責 篇18
職責：
1. 從事數據中心、游戲運營后臺等相關功能與系統的研發;
2. 根據公司產品發展方向，研發新系統;
3. 參與后端基礎服務的開發、實現;
職位要求：
1. 兩年以上相關工作經驗，有游戲從業經驗經驗者則優先考慮
2. 熟悉php的面向對象編程，了解Linux操作系統;
3. 熟悉關系型數據庫mysql，擁有優秀的數據庫設計與優化能力
4. 熟悉memcache、redis等緩存系統，對服務器端程序的部署、架構、調優有一定的了解;
5. 熟悉常用開發框架thinkphp、laravel;
6. 熟悉HTML/CSS/JS，了解HTML5/CSS3/Bootstrap;
7. 了解python，具備web自動化設計思維(加分項)
8. 擁有良好的代碼習慣，結構清晰、命名規范、邏輯性強、代碼冗余率低，有撰寫詳細的編碼注釋的習慣;
大數據開發工程師的基本職責 篇19
1、負責開發、文檔以及維護；
2、能獨立完成公司產品研發工作；
3、善于學習新的技術，并將技術運用到工作中去；
4、與產品、測試配合共同完成目標。
大數據開發工程師的基本職責 篇20
職責：
1、負責建行公有云定制化產品的管理平臺和自動化集成平臺開發
2、負責云基礎產品建行定制特性功能開發
3、能夠了解客戶業務需求，提供解決方案及技術建議方案;
4、就公司產品能在技術層面向客戶進行講解和培訓;
5、撰寫技術支持文檔或功能使用文檔，配合新產品測試，提供測試反饋;
6、開發工具，對接平臺接口，參與平臺工具腳本的編寫。
崗位要求:
1. 本科以上學歷，計算機相關專業，3年以上后臺開發經驗
2. 熟悉Linux系統管理維護，熟悉HTTP協議、TCP/IP網絡協議;
3. 熟練使用shell腳本語言，以及Python開發語言及mysql
4. 具備良好的合作精神和快速學習能力;
5. 熟悉uwsgi + flask 服務框架，熟悉Nginx，mysql等中間件
6. 有云平臺運維經驗者優先(阿里云、AWS 等)、有持續集成及持續部署經驗者優先、有日志管理經驗者優先、熟悉 openstack技術者優先、有ansible開發經驗者優先
7. 有互聯網運維開發經驗者優先
大數據開發工程師的基本職責 篇21
職責：
1、 負責公司云計算業務相關系統的開發、升級、優化工作。
2、 參與相關業務邏輯后臺架構設計、系統建模、數據庫設計、核心代碼的編寫及后臺服務程序的研發和編寫。
3、 獨立完成完整功能測試和發布，準備相關的技術文檔，協助解決各種技術問題。
4、 進行詳細設計、代碼開發，配合測試，高質量完成項目。
5、 按照項目計劃，按時提交高質量代碼，完成開發任務。
任職資格：
1、 2年以上PHP開發經驗;精通PHP + MySQL，熟悉OOP編程思想和MVC框架，有整體項目開發經驗。
2、 熟練使用JavaScript，jQuery熟悉AJAX、JSON數據交互，對Mysql數據庫有豐富的經驗及熟悉優化。
3、 熟悉PHP緩存技術、了解高并發、負載均衡處理技術。
4、 有移動開發經驗，能完成主流應用工具接口的二次開發，能為業務提供接口支持者優先。
5、 有良好的編碼習慣，具有高度的責任心、良好的溝通能力和團隊協作精神。
大數據開發工程師的基本職責 篇22
職責：
1、負責Linux下高性能、高可用方案的集群化部署，如LVS+Keepalived、緩存Varnish、Nginx，Memcached，雙機熱備等;
2、負責公司大規模服務器部署的策略制定和系統優化工作等;
3、負責線上系統層面穩定性保障，系統監控，內核升級，安全事件處理等;
4、負責各類應用軟件(Nginx、Apache、Tomcat、Squid等)的安裝和維護;
任職要求：
1、2年以上運維或開發經驗;
2、有LVS集群、Nginx、Redis等中間件安裝和部署經驗優先;
3、熟悉tcp/ip/http等通信協議，熟悉常用抓包工具且會分析報文的優先;
4、熟悉GoLang/Python/Java等任意一門編程語言;
5、熟悉自動化工具Puppet、Ansible、Saltstack等的部署和使用優先考慮;
大數據開發工程師的基本職責 篇23
1、負責行業技術攻關，完成行業資料收集、系統評估、系統設計、系統開發與調試等工作
2、負責客戶拜訪，完成客戶需求整理與需求評估，并根據客戶需求提供最優解決方案
3、負責完成項目開發、調試、維護等工作
4、負責項目資料收集與整理，完成相關報告和說明書編寫與匯報工作
大數據開發工程師的基本職責 篇24
職責：
1、負責平臺系統的開發工作;
2、參與系統設計以及核心代碼的編寫;
3、處理日常發現的問題，配合各部門需求完成系統流程優化工作;
4、 參與重大項目的技術方案設計及技術評審，把握復雜系統的設計，確保系統的架構質量;
5、 為團隊引入創新的技術、創新的解決方案，用創新的思路解決問題。
任職要求：
1、大專及以上學歷，計算機相關專業，具有5年以上Web/PHP開發經驗;
2、熟練掌握 HTML/CSS 和 JavaScript 等 WEB 開發技術，熟練掌握 PHP語言，熟悉數據庫Mysql，擁有優秀的數據庫設計能力， 熟悉php安全開發規范;
3、有在線教育類項目開發經驗優先，能處理高并發;
4、熟悉設計模式和算法，深入了解PHP的性能最優化和安全最大化;
5、為人誠實正直，工作主動，有強烈的責任感和事業心。