大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述(精選16篇)
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇1
職責(zé):
1、 規(guī)劃及建設(shè)大數(shù)據(jù)平臺;
2、 負(fù)責(zé)大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、挖掘算法等設(shè)計、研發(fā)以及維護(hù)、優(yōu)化工作;
3、負(fù)責(zé)分析、挖掘、對抗各種產(chǎn)品安全層面的惡意行為;
4、 參與項(xiàng)目的系統(tǒng)設(shè)計和核心代碼開發(fā),指導(dǎo)和培訓(xùn)其他工程師;
5、 整理和提交技術(shù)文檔,負(fù)責(zé)核心功能模塊的代碼編寫和測試工作。
崗位要求:
1、 計算機(jī)、統(tǒng)計學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷,具有深厚的數(shù)學(xué)、統(tǒng)計學(xué)和計算機(jī)相關(guān)知識,精通數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的相關(guān)技術(shù),3年以上大數(shù)據(jù)開發(fā)相關(guān)經(jīng)驗(yàn);
2、具有非常扎實(shí)的Java基礎(chǔ),熟悉Shell、Python、R、Scala等一種以上語言;
3、算法基礎(chǔ)扎實(shí),熟悉常見的數(shù)據(jù)結(jié)構(gòu),了解分布式算法和分布式系統(tǒng)的技術(shù)原理;
4、精通MapReduce設(shè)計方法或Spark計算框架、對NoSQL,Hadoop、Hbase、Spark、Hive等主流云計算,大數(shù)據(jù)相關(guān)軟件有充分的了解,并且有實(shí)踐經(jīng)驗(yàn),能解決應(yīng)用中的復(fù)雜問題;
5、熟悉大數(shù)據(jù)處理相關(guān)技術(shù),包括但不限于Hadoop、Hive、Hbase、Impala、Spark,Kafaka、Flume、Sqoop、Storm、Redis等;
6、研讀過Hadoop、Hbase、Hive源代碼者,能夠在特定業(yè)務(wù)中進(jìn)行定制改造者優(yōu)先;
7、具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)項(xiàng)目的工作經(jīng)驗(yàn)者優(yōu)先。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇2
職責(zé):
1. 對數(shù)據(jù)進(jìn)行結(jié)構(gòu)化、標(biāo)準(zhǔn)化處理,對處理流程進(jìn)行自動化搭建
2. 通過ETL/Cube數(shù)據(jù)建模,構(gòu)建基于數(shù)據(jù)倉庫的分析工具;
3. 參與數(shù)據(jù)與公司軟件產(chǎn)品及第三軟件的API對接;
4. 搭建與優(yōu)化,數(shù)據(jù)采集、處理、可視化流程中所需的框架與模塊開發(fā);
5. 協(xié)同內(nèi)外部力量完成需求的表達(dá)與技術(shù)攻關(guān)。
任職要求:
1. 熟悉數(shù)據(jù)庫的設(shè)計和開發(fā)如:Oracle/Mysql/MSSQL/Redis等,有處理大量數(shù)據(jù)經(jīng)驗(yàn)的優(yōu)先;
3. 熟練使用ETL工具進(jìn)行數(shù)據(jù)抽取,清洗,轉(zhuǎn)換,關(guān)聯(lián)等操作;
4. 熟練使用Linux操作系統(tǒng),具備編寫shell的能力;
5. 熟練使用主流的開發(fā)框架,掌握以下語言:Java、Python;了解過源碼的優(yōu)先;
6. 具有2年以上數(shù)據(jù)倉庫(DW)、商務(wù)智能(BI)、大數(shù)據(jù)等方面的軟件或項(xiàng)目開發(fā)經(jīng)驗(yàn);
7. 了解可視化及BI工具者優(yōu)先;
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇3
職責(zé):
1、 負(fù)責(zé)大數(shù)據(jù)平臺架構(gòu)的整體設(shè)計,承擔(dān)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā);
2、 為業(yè)務(wù)運(yùn)營提供技術(shù)支持,完成應(yīng)用系統(tǒng)的搭建、優(yōu)化、升級工作,保證平臺穩(wěn)定運(yùn)行;
3、 編寫系統(tǒng)的需求分析、設(shè)計、開發(fā)和部署文檔等。
崗位要求:
1、碩士及以上學(xué)歷,計算機(jī)、自動化、通信等相關(guān)專業(yè);
2、熟練掌握J(rèn)ava語言,并熟悉Python語言,熟悉分布式系統(tǒng)架構(gòu),有hadoop,spark系統(tǒng)架構(gòu)經(jīng)驗(yàn);
3、熟悉實(shí)時計算框架storm,flink,spark streaming其中之一;
4、熟練使用SQL,熟悉數(shù)據(jù)庫原理,熟練使用至少一種主流關(guān)系型數(shù)據(jù)庫;
5、熟悉軟件開發(fā)流程,能夠根據(jù)需求編寫需求、設(shè)計、開發(fā)手冊等項(xiàng)目過程文檔;
6、具有良好的溝通能力和主動性,抗壓能力強(qiáng)。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇4
職責(zé):
1、參與大規(guī)模數(shù)據(jù)快速查詢系統(tǒng)的架構(gòu)設(shè)計和開發(fā);
2、大規(guī)模數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn);
3、在線和離線海量數(shù)據(jù)分析平臺的開發(fā);
4、研究大數(shù)據(jù)前沿技術(shù),提升系統(tǒng)的運(yùn)維效率;
5、實(shí)現(xiàn)大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺的自動化運(yùn)維。
【任職要求】:
1、計算機(jī)相關(guān)專業(yè),具有3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),熟悉Java,Linux;
2、熟悉Hadoop大數(shù)據(jù)處理系統(tǒng)的開發(fā),搭建及部署者優(yōu)先
3、熟練地處理數(shù)據(jù)模型、數(shù)據(jù)ETL以及存儲管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase,能獨(dú)自進(jìn)行Mapreduce程序開發(fā)者優(yōu)先;
5、熟悉分布式系統(tǒng)概念、架構(gòu),有大規(guī)模分布式系統(tǒng)設(shè)計、實(shí)現(xiàn)、部署等經(jīng)驗(yàn);
6、有較強(qiáng)的書面與口頭溝通表達(dá)能力,獨(dú)立分析、解決問題的能力。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇5
職責(zé):
1、參與大數(shù)據(jù)架構(gòu)的規(guī)劃設(shè)計,參與業(yè)務(wù)建模及數(shù)據(jù)化運(yùn)營平臺的搭建、運(yùn)維,對業(yè)務(wù)流程與大數(shù)據(jù)的結(jié)合提出建議和解決方案;
2、完成基于大數(shù)據(jù)平臺的業(yè)務(wù)項(xiàng)目的開發(fā)、實(shí)施和維護(hù)工作;
3、負(fù)責(zé)解決大數(shù)據(jù)平臺建設(shè)過程中的技術(shù)難點(diǎn)和性能調(diào)優(yōu)工作;
4、參與數(shù)據(jù)倉庫設(shè)計,根據(jù)業(yè)務(wù)需求實(shí)現(xiàn)高效率高靈活性的查詢,數(shù)據(jù)分析,數(shù)據(jù)挖掘;
5、負(fù)責(zé)高吞吐高可用數(shù)據(jù)實(shí)時和離線采集,高并發(fā)的大數(shù)據(jù)業(yè)務(wù)架構(gòu)設(shè)計
6、負(fù)責(zé)研發(fā)技術(shù)發(fā)展方向,新技術(shù)領(lǐng)域的探索,引入并驗(yàn)證數(shù)據(jù)平臺領(lǐng)域新技術(shù),提供系統(tǒng)效能
7、對大數(shù)據(jù)技術(shù)及開源框架充滿熱情,具有鉆研精神,能自我學(xué)習(xí)。
任職資格:
1、具有5年Java開發(fā)經(jīng)驗(yàn),熟悉Spring生態(tài),掌握Hibernate、Mybatis任意一種ORM框架,掌握Oracle、Mysql數(shù)據(jù)庫。
2、具有2年以上的大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),熟悉大數(shù)據(jù)、數(shù)據(jù)倉庫,分布式架構(gòu)技術(shù)理論,具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計和實(shí)戰(zhàn)經(jīng)驗(yàn),熟悉CDH、HDP、TDH至少一款大數(shù)據(jù)產(chǎn)品,有從無到有建設(shè)大數(shù)據(jù)平臺經(jīng)驗(yàn)者優(yōu)先;
3、熟悉大數(shù)據(jù)組件的開發(fā)、搭建、維護(hù)以及性能優(yōu)化;
4、較強(qiáng)的開發(fā)能力,必須熟練使用相關(guān)開發(fā)語言(Java/Python/Scala/Shell等),熟悉大數(shù)據(jù)生態(tài)、關(guān)系數(shù)據(jù)庫和NOSQL數(shù)據(jù)庫、Linux等相關(guān)知識,能夠獨(dú)立完成并指導(dǎo)初級開發(fā)人員完成大數(shù)據(jù)相關(guān)的技術(shù)實(shí)現(xiàn)和調(diào)優(yōu);
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術(shù),能閱讀源碼跟蹤問題。
6、熟練掌握Spark、flink任意一種計算框架,掌握MapReduce計算框架原理,并有實(shí)際項(xiàng)目開發(fā)經(jīng)驗(yàn)。
7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術(shù)和組件,熟練應(yīng)用開發(fā),必須熟悉復(fù)雜數(shù)據(jù)查詢性能調(diào)優(yōu),包括實(shí)時查詢和離線批處理查詢,服務(wù)器和生態(tài)組件的參數(shù)優(yōu)化。
8、精通高級算法并有與業(yè)務(wù)結(jié)合落地優(yōu)先;
9、扎實(shí)的獨(dú)立分析問題、解決問題的能力,具備良好的需求理解能力、溝通協(xié)調(diào)能力和團(tuán)隊(duì)合作精神;有很強(qiáng)的數(shù)據(jù)設(shè)計抽象能力,善于從復(fù)雜的數(shù)據(jù)問題中找到關(guān)鍵路徑,并且擅于跟業(yè)務(wù)團(tuán)隊(duì)就業(yè)務(wù)問題進(jìn)行良好的溝通,能推動業(yè)務(wù)的指標(biāo)化、量化;
10、有較好的學(xué)習(xí)能力、團(tuán)隊(duì)協(xié)作精神,認(rèn)真細(xì)心,有強(qiáng)烈的責(zé)任心,愛崗敬業(yè),有較高抗壓能力,有較好的工作穩(wěn)定性。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇6
1、按照項(xiàng)目計劃,在保證質(zhì)量的前提下,按時完成開發(fā)任務(wù);
2、參與軟件系統(tǒng)需求分析和設(shè)計,編寫有關(guān)技術(shù)文檔;
3、對初級開發(fā)人員進(jìn)行技術(shù)指導(dǎo)和技能培訓(xùn)。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇7
職責(zé):
1、公司產(chǎn)品無線線端web端的制作、開發(fā)和優(yōu)化
2、根據(jù)設(shè)計稿,編寫靜態(tài)頁面和交互、特效等功能的腳本程序
3、優(yōu)化前端組件的靈活性和可擴(kuò)展性
4、跟蹤研究前沿的前端技術(shù),并應(yīng)用到公司的產(chǎn)品開發(fā)當(dāng)中
任職要求:
1、3-5年工作經(jīng)驗(yàn),了解react框架前端技術(shù),熟悉流行的前端ui庫,能夠設(shè)計開發(fā)工具型網(wǎng)站,如:碼工助手;
2、熟練掌握DIV+CSS網(wǎng)頁布局,并且對模板化、模塊化有一定理解,精通HTML/HTML5、CSS/CSS3等前端開發(fā)技術(shù);
3、熟練掌握J(rèn)avaScript語言核心技術(shù)DOM、Ajax、JSON等,對javascript框架(如react/jQuery/jq ui 等)有一定的經(jīng)驗(yàn);
4、對css/JavaScript性能優(yōu)化、解決多瀏覽器兼容性問題有一定的經(jīng)驗(yàn);
5、對無線端開發(fā)有一定經(jīng)驗(yàn),能夠較好解決ios,Android端兼容問題;
6、具備良好的責(zé)任心、邏輯思維強(qiáng)、善于交流和表達(dá)、較強(qiáng)的學(xué)習(xí)能力、優(yōu)秀的團(tuán)隊(duì)溝通與協(xié)作能力。
7、愛思考,溝通能力強(qiáng)。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇8
職責(zé):
1、負(fù)責(zé)進(jìn)行用戶需求收集和分析;
2、運(yùn)用SQL數(shù)據(jù)庫語法,進(jìn)行系統(tǒng)的二次開發(fā)和運(yùn)維;
3、軟件安裝,調(diào)試,數(shù)據(jù)導(dǎo)入,用戶權(quán)限設(shè)定;
4、培訓(xùn)甲方公司系統(tǒng)操作人員,使其掌握系統(tǒng)操作方法。
【任職要求】
1、具有良好的SQL Server或Oracle數(shù)據(jù)庫編程基礎(chǔ);
2、具有較強(qiáng)的學(xué)習(xí)能力和良好的溝通能力;
3、工作積極主動、具有團(tuán)隊(duì)合作精神;
4、具有數(shù)據(jù)庫開發(fā)相關(guān)經(jīng)驗(yàn),或軟件實(shí)施、運(yùn)維經(jīng)驗(yàn)優(yōu)先。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇9
職責(zé):
1.負(fù)責(zé)網(wǎng)宿云各個產(chǎn)品線日常運(yùn)維運(yùn)營工作和自動化運(yùn)維工具開發(fā);
2.負(fù)責(zé)網(wǎng)宿云各個產(chǎn)品線自動化運(yùn)維方案,疑難問題分析,告警優(yōu)化;
3.具備良好的溝通能力,能全鏈路推動產(chǎn)品質(zhì)量,為產(chǎn)品線質(zhì)量負(fù)責(zé);
4.其他和以上工作相關(guān)的專項(xiàng)事務(wù)。
任職要求:
1.熟悉Linux操作系統(tǒng),熟練應(yīng)用常用命令(awk,sed,grep等),能分析并定位出系統(tǒng)常見的性能問題;
2.精通shell/python編程,或熟悉java編程,有項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先;
3.熟悉TCP/IP協(xié)議,能抓包做基本協(xié)議分析;
4.具備良好的分析和研究能力,熱愛技術(shù),有研發(fā)經(jīng)驗(yàn)優(yōu)先;
5.本科及以上學(xué)歷,計算機(jī)相關(guān)專業(yè),1年以上工作經(jīng)驗(yàn)。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇10
職責(zé):
1、維護(hù)現(xiàn)有學(xué)歷平臺的穩(wěn)定;
2、針對需求進(jìn)行定制開發(fā);
3、針對現(xiàn)有數(shù)據(jù)庫和平臺進(jìn)行相關(guān)優(yōu)化;
4、按時完成自己的開發(fā)工作,并做好單元測試;
5、及時修改測試人員反饋的bug;
6、撰寫相關(guān)的開發(fā)文檔。
任職資格:
1、3年以上c# ,Asp.net,webform,mvc編程經(jīng)驗(yàn)。熟悉.net運(yùn)行機(jī)制;
2、熟悉面向?qū)ο缶幊蹋╟# 對象 、接口、委托等基礎(chǔ)概念及應(yīng)用;
3、3年以上sqlserver數(shù)據(jù)庫使用經(jīng)驗(yàn),熟悉編寫存儲過程,能對sql語句進(jìn)行性能優(yōu)化;
4、掌握html、js、css客戶端技術(shù),熟練使用ajax、jquery;
5、熟練掌握Sql Server 20xx/20xx數(shù)據(jù)庫開發(fā),能夠使用索引、視圖、查詢優(yōu)化、存儲過程、數(shù)據(jù)庫作業(yè)等技術(shù);
6、具有SQL語句調(diào)優(yōu)和數(shù)據(jù)庫調(diào)優(yōu)工作經(jīng)驗(yàn)。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇11
1.負(fù)責(zé)顯示圖像處理相關(guān)的FPGA RTL架構(gòu)及子模塊設(shè)計,工程綜合及時序分析,解決開發(fā)過程中出現(xiàn)的技術(shù)問題;
2.負(fù)責(zé)芯片化IP開發(fā)工作,對應(yīng)芯片化代碼綜合及驗(yàn)證;
職位要求:
熟悉FPGA原理,熟悉HDMI、DP和網(wǎng)口等接口調(diào)試,熟練掌握FPGA開發(fā)軟件、硬件描述語言,熟悉DDR控制設(shè)計
有豐富的圖像處理或圖像識別相關(guān)FPGA項(xiàng)目開發(fā)經(jīng)驗(yàn)、有較多的復(fù)雜工程整合和時序分析經(jīng)驗(yàn),有RTL代碼測試經(jīng)驗(yàn)
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇12
職責(zé):
1、編寫代碼,單元測試,保質(zhì)保量完成分配任務(wù);
2、參與功能詳細(xì)設(shè)計,接口聯(lián)調(diào);
3、參與評估項(xiàng)目技術(shù)難點(diǎn)、技術(shù)分析和指導(dǎo)、攻關(guān)技術(shù)瓶頸、系統(tǒng)重構(gòu)和優(yōu)化;
4、負(fù)責(zé)解決開發(fā)過程中的技術(shù)問題。
任職資格:
1、本科及以上學(xué)歷,計算機(jī)相關(guān)專業(yè),3年及以上開發(fā)經(jīng)驗(yàn);
2、Html5、CSS、JavaScript基礎(chǔ)扎實(shí),精通vue或者Angularjs,React.js,node.js等;
3,精通基于Web的應(yīng)用程序開發(fā),精通javascript、HTML、XML、JSON、CSS、AJAX等技術(shù);
4, 對數(shù)據(jù)敏感、有創(chuàng)新精神、主動思考和獲取新知識。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇13
1、協(xié)助項(xiàng)目經(jīng)理開展空調(diào)產(chǎn)品結(jié)構(gòu)設(shè)計工作;
2、協(xié)助跟進(jìn)項(xiàng)目進(jìn)度,參與產(chǎn)品開發(fā)過程中試模、試產(chǎn)及量產(chǎn)的組織、協(xié)調(diào)等工作
3、協(xié)助空調(diào)新產(chǎn)品開發(fā)過程中各種相關(guān)文件的編制,確保過程控制文件符合研發(fā)控制流程和相關(guān)質(zhì)量管理標(biāo)準(zhǔn);
4、協(xié)助生產(chǎn)制造部門技術(shù)支持等相關(guān)工作。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇14
職責(zé):
1、獨(dú)立負(fù)責(zé)工作小組,指導(dǎo)和監(jiān)督下級人員日常工作;
2、參與軟件系統(tǒng)的設(shè)計和分析,制定小組實(shí)施方案;
3、根據(jù)開發(fā)進(jìn)度和任務(wù)分配,完成相應(yīng)模塊軟件的設(shè)計、開發(fā)、編程任務(wù)。
任職要求:
1.計算機(jī)相關(guān)專業(yè),有2年以上JAVA開發(fā)經(jīng)驗(yàn);
2.精通JAVA,熟練掌握SPRING、SPRING MVC、MyBatis,熟練SPRING CLOUD、NETFLIX優(yōu)先;
3.精通jQuery、JavaScript;熟悉Bootstrap等UI組件;
4.熟悉Oracle、MySQL等常規(guī)數(shù)據(jù)庫,熟悉Redis;
5.掌握redis、MongoDB、Mysql等數(shù)據(jù)庫開發(fā)及優(yōu)化;
6.熱衷于軟件開發(fā)工作、致力于微服務(wù)架構(gòu)技術(shù);
7.具有強(qiáng)烈的責(zé)任意識和開放的心態(tài),事業(yè)心強(qiáng),勤奮好學(xué),有團(tuán)隊(duì)精神。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇15
職責(zé):
1、利用HTML5、CSS3等相關(guān)技術(shù)開發(fā)手機(jī)、平板、PC等多平臺上的WEB前端應(yīng)用;
2、解決不同設(shè)備/瀏覽器的兼容性問題。
3、配合(C#.NET)后臺工程師一起研討技術(shù)實(shí)現(xiàn)方案和后端數(shù)據(jù)的對接,進(jìn)行應(yīng)用及系統(tǒng)整合;
4、負(fù)責(zé)產(chǎn)品的持續(xù)迭代和維護(hù)工作。
職位要求:
1.計算機(jī)相關(guān)專業(yè)專科及以上學(xué)歷,一年以上WEB前端開發(fā)經(jīng)驗(yàn);
2. 精通HTML5、CSS、JavaScript、Jquery、bootstrap等技術(shù)。
3.有微信公眾號/微信小程序的開發(fā)經(jīng)驗(yàn) 作為加分項(xiàng);
4.有C#.NET MVC開發(fā)經(jīng)驗(yàn) 作為加分項(xiàng);
5.熟悉MySql數(shù)據(jù)庫 作為加分項(xiàng);
6.具有良好的編碼習(xí)慣,良好的溝通與表達(dá)能力,思路清晰,業(yè)務(wù)邏輯理解與分析能力強(qiáng);
大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述 篇16
職責(zé):
1、根據(jù)產(chǎn)品設(shè)計文檔和UI原型,利用HTML5相關(guān)技術(shù)開發(fā)移動端的web前端頁面;
2、基于HTML5.0標(biāo)準(zhǔn)進(jìn)行頁面制作,編寫可復(fù)用的用戶界面組件;
3、持續(xù)的優(yōu)化前端體驗(yàn)和頁面響應(yīng)速度,并保證兼容性和執(zhí)行效率。
崗位要求:
1、計算機(jī)或相關(guān)專業(yè)專科及以上學(xué)歷,1年以上的HTML5開發(fā)經(jīng)驗(yàn);
2、具有獨(dú)立完成前端開發(fā)工作的能力;
3、熟悉移動端的前端開發(fā)、多瀏覽器兼容及移動端機(jī)型適配方式;
4、熟練掌握web系統(tǒng)開發(fā)技術(shù),熟悉javascript、jquery、CSS3、HTML5、Ajax,能快速定位解決瀏覽器兼容性問題;
5、熟悉常見頁面布局方式,移動端響應(yīng)式頁面布局方式,熟悉css性能優(yōu)化方式。