大數據開發工程師的職責文本(精選16篇)
大數據開發工程師的職責文本 篇1
職責:
1、負責數據中心和大數據處理平臺的搭建
2、在線和離線海量數據分析平臺的開發;
3、研究大數據前沿技術,提升系統的運維效率;
4、參與大數據的采集、存儲、處理,分析等開發
5、參與數據挖掘算法的設計、對海量數據進行挖掘分析和發掘數據價值及算法學習及實現
【任職要求】:
1、計算機或相關專業本科學歷及以上,2年工作經驗以上
2、熟悉Java/Scala等至少一門語言,能對分布式常用技術進行合理應用,解決實際架構問題
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark,Storm,Flume等大數據開發組件
4、熟悉整個大數據的完整處理流程,包括數據的采集、清洗、存儲、分析和可視化及報表開發;
5、熟悉分布式系統概念、架構,有大規模分布式系統設計、實現、部署等經驗;
6. 具有優秀的學習能力、獨立分析和解決問題能力,良好的團隊合作精神。
7. 有BI開發經驗的優化考慮。
大數據開發工程師的職責文本 篇2
職責:
1、負責完成業務和產品的對接,支持業務需求研發;
2、負責完成產品的迭代升級以及底層架構的升級研發;
3、完成團隊安排的其他相關日常工作任職要求;
4、負責產品的實時業務和離線業務的研發;
5、支持開源大數據技術在數據系統中的使用,修復、優化增強大數據技術;
崗位要求:
1、具有分布式系統架構開發能力,熟練使用storm、spark hbase者優先。
2、能夠使用實時計算平臺,進行實時業務數據的研發。
3、能夠基于已有平臺進行離線業務的開發。
4、有大數據應用產品研發經驗,具有數據決策產品研發經驗者優先。
大數據開發工程師的職責文本 篇3
職責:
1、負責數據采集、數據存儲、數據查詢、數據計算等基礎平臺的設計和開發工作;
2、利用Hadoop、Spark、Flink等技術進行離線和實時數據開發 ;
3、負責大數據平臺的規劃升級、平臺維護和優化 ;
4、和其他部門或團隊溝通、資源協調并落實工作。
任職要求
1、本科及以上學歷;
2、3年以上大型大數據平臺建設實施經驗 ;
3、掌握常用大數據組件hadoop、Hive、spark、Flink、hbase、elasticsearch等原理、使用和調優 ;
4、具備較強技術功底,精通Java、Scala、Python等至少一種開發語言,能根據需求給出技術架構 ;
5、有數據倉庫、元數據管理和治理的開發經驗優先 ;
6、善于溝通,思維活躍、責任感強、工作積極主動,有良好的團隊協作意識。
大數據開發工程師的職責文本 篇4
職責:
1.結合項目或產品涉及的具體業務場景,對數據進行清洗、計算與加工;
2.思路清晰,可快速響應數據處理的需求,評估并給出合理的解決方案,并采用合理的方式處理需求;
3.積極主動,能夠與團隊成員進行有效溝通,并完成數據處理結果的核對與對接;
4.完成上級交辦的工作或任務。
崗位要求
1.計算機相關專業大專以上學歷;
2.2年以上大數據產品或項目開發經驗,精通Hadoop生態圈,熟練使用Spark,HBase、Hive、Kafka、Redis等;
3.精通SQL,熟練使用HSQL實現復雜數據處理邏輯,并具備數據處理調優的能力;
4.熟悉Linux開發環境,熟悉Linux的shell命令。
5.具有良好的邏輯思維能力和嚴謹的程序開發思想,具備獨立問題排查與處理的能力;
6.良好的團隊精神和合作意識,強烈的責任心,對工作有激情,良好的溝通能力,能吃苦耐勞;
7.有大數據項目或產品背景者優先;
8.有使用Spark SQL進行數據處理,并具有Spark SQL優化經驗者優先。
9.有Python或者Shell腳本開發經驗優先
大數據開發工程師的職責文本 篇5
職責:
1、負責該領域的業務需求討論,完成技術方案及數據開發;
2、負責數據倉庫的體系建設及落地實現;
3、負責大數據平臺各類環境的部署及運維、并參與架構優化、性能優化等工作;
4、負責該領域所屬模塊的代碼開發、調試與維護工作,并進行技術沉淀和文檔輸出。
招聘要求:
1、計算機、電子通信、自動化等專業,本科及以上學歷;
2、五年以上研發經驗,其中二年以上大數據開發的相關工作經驗;
3、熟練JAVA開發語言;熟悉微服務及Spring框架;
4、熟練熟練Hive、Impala、ES性能調優,關注細節,學習能力強;
5、能配合團隊完成該領域的工作,自我管理能力強,能承受工作中的各種壓力,具備很好的團隊意識
6、熟練主流大數據平臺產品部署及運維,如CDH、HDP平臺。
7、對機器學習和深度學習等方面有一定的了解;
8、有汽車制造業及相關行業的大數據開發經驗優先。
大數據開發工程師的職責文本 篇6
職責:
1、根據產品規劃、產品的解決方案進行需求分析,根據需求分析進行產品的開發及設計。
2、根據客戶發現的問題進行修復處理。
3、根據客戶提出的建議給與優化支持。
任職資格:
1、軟件基礎理論知識扎實,具有良好的數據結構、算法功底。
2、計算機相關專業專科以上學歷,如經過專業培訓并具備金融汽車行內經驗者也可擇優錄取。
3、1年以上Java后端開發經驗,了解git和svn,熟練使用maven,springmvc,mybatis等開源框架進行開發。
4、熟悉web及前端技術(包括Javascript、ajax、json、jquery、easyui等開發框架),熟悉SQL。
5、了解Linux系統常用命令及自動化部署。
6、良好的團隊合作精神,踏實認真,細心,能動性較強。
大數據開發工程師的職責文本 篇7
1. 負責APP的架構設計和編碼;
2. 負責APP重要模塊的方案設計開發,以及升級維護;
3. 負責APP智能設備的對接,功能開發;
4. 負責APP相關問題的分析和優化;
5. 主動思考業務需求,從技術層面驅動業務發展;
6. 架構改進及性能優化。
大數據開發工程師的職責文本 篇8
1、負責數據倉庫和大數據處理模塊的架構設計和開發;
2、負責實現基于Spark框架的分布式計算框架的設計和開發工作;
3、負責Spark技術研究和通用數據平臺的性能調優;
4、負責大數據項目中,基于kafka、flume、spark streaming、Spark SQL等相關技術的海量數據的處理、分析、統計、挖掘工作。
5、熟悉Scala/Java語言,對Scala/Java原理、底層技術有深入研究者優先;
6、有過海量數據系統開發經驗者優先;
7、熟悉Hadoop/Spark生態系統組件的使用,至少有2年以上的Spark開發經驗;
8、寫過推薦系統的優先考慮
大數據開發工程師的職責文本 篇9
1.負責MES、WMS、QMS、TMS、SPC等制造相關系統的開發、維護工作,保證系統快速、穩定地運行;
2.分析各制造相關部門的需求,對合理需求給出解決方案,并在系統中實現;
3.負責相應系統中權限等設置,保證公司的信息安全;
4.結合系統運行中出現的情況和實際業務狀況,對業務部門提出合理的改善建議。
任職資格:
1.本科及以上學歷,計算機相關專業,英語水平四級及以上,口語流利者更佳;
2.在制造行業MES領域5年以上開發工作經驗。深入研究過一套以上成熟的MES解決方案,能夠根據業務需求,提出改善建議。對制造行業信息化的發展趨勢,有自己的獨到見解;
3.熟練掌握C#、C/C++等開發語言,能夠熟練編寫WCF、WebService,熟悉jquery等前端腳本框架。在Oracle和sqlserver數據庫下,精通SQL編寫和調優,特別是對大批量數據處理需要有相關經驗;
4.溝通和表達能力良好,富有團隊協作精神。有作為項目負責人帶領外包、顧問、組員按時完成目標和做項目管理的能力;
5、在大型電子制造行業信息或開發部門有過多年開發經驗的人員優先考慮。
大數據開發工程師的職責文本 篇10
職責:
1、深刻理解產品/項目需求參與公司產品的設計和核心編碼開發;
2、整理基礎構件和業務構件,進行優化改造、核心代碼編寫、沉淀技術積累;
3、負責技術攻關和創新技術引用,解決產品開發過程中的高性能,高并發和高可靠性問題。
4、帶領技術團隊構架、研發、設計,完成技術平臺及產品開發,以及日常維護、升級管理,監督指導團隊的整體工作情況;
5、帶領團隊人員不斷提高技術技能和開發效率,從技術層面持續提高用戶體驗;
6、負責項目管理、開發質量管理、開發進度控制等。
任職要求:
1、本科以上學歷,計算機、軟件工程相關專業,6年以上JAVA開發經驗;
2、有很強的后端開發經驗,精通J2EE核心技術,熟悉Spring、SpringMVC、Hibernate、Activiti、Mybatis等開源框架;
3、有較強的前端開發經驗,掌握主流前端框架(如JQuery、QUI等)和主流前端技術;
4、熟練掌握tomcat、apache、weblogic、websphere等應用中間件,具有較強的性能優化能力;
5、熟悉Oracle、SQL Server、MySQL等數據庫,具有良好的數據庫設計能力、SQL編寫能力、性能調優能力;
6、熟悉分布式、緩存、消息等機制;
7、有一定的文檔編寫能力;
8、具有一定的項目規劃和把控能力,善于捕捉業務需求、架構設計中存在的問題,并給出有效的解決措施和方法;
9、具有豐富的項目組織管理經驗和優秀的統籌、組織協調能力,良好的溝通能力,思維活躍,有較強的創造力。
大數據開發工程師的職責文本 篇11
職責:
1.負責網站代碼的開發、維護及相關接口對接工作;
2.完成網站程序模塊代碼實現,編寫代碼注釋和開發文檔;
3.輔助進行網站系統的功能定義、程序設計,分析并解決軟件開發過程中的問題;
4.協助制定測試計劃,定位發現問題,定期維護網站程序,處理反快回來的系統bug;
5.完成上級交代的其他事情。
要求:
1、精通PHP+MYSQL,具備扎實的代碼功底以及良好的編程習慣
2、有電商平臺、微信公眾號、小程序開發經驗優先
3、熟練使用laravel框架,熟練操作Linux
4、需要有電商系統開發經驗,熟悉ECShop開發
大數據開發工程師的職責文本 篇12
1. 建立和維護公司IT項目建設管理的規章制度;
2. 項目進度跟蹤和控制,風險識別,里程碑監控、項目成本管理;
3. 根據公司IT系統需求和系統設計要求,進行詳細分析、設計,編寫設計文檔,進行功能模塊的代碼編寫工作;
4. 協助進行公司IT系統架構設計,技術規劃及技術可行性分析,對公司IT系統架構方案提出優化改進建議,提高系統架構質量;
5. 根據開發規范編寫各種開發文檔及項目文檔;
6. 評估項目交付件,對系統質量負責。
7. 對于開發外包項目,作為開發接口人與供應商進行系統開發對接,對開發進度進行管理控制,修正開發偏差。
8. 上級領導安排的其他工作。
大數據開發工程師的職責文本 篇13
職責
1、負責公司企業SaaS產品線與相關平臺的后端核心技術和業務開發;
2、接收產品部設計,帶領前端開發,配合產品與測試團隊,實現產品設計等相關工作,逐步完善軟件產品架構;
3、配合技術總監,負責和參與相關技術的技術選型和核心代碼編寫,擬定技術標準;
4、負責技術團隊建設及技術培訓工作,帶領團隊鉆研新的技術;
5、跟蹤和研究IT新技術、新產品的發展方向,推動新技術應用。
任職條件
1、計算機、軟件工程專業本科或以上學歷,5年以上Java的開發經驗,企業產品與業務理解能力優秀;
2、深刻了解常用java框架(spring, mybatis,Hibernate等),能夠整合和開發自有框架、開發工具;
3、具有設計并實現高并發、高可用Java應用的能力。熟悉分布式緩存、分布式存儲技術方案;
4、熟悉Linux環境與TCP網絡,熟悉容器(Tomcat等)的配置和使用,了解shell腳本工具;
5、思路清晰,善于思考,能獨立分析和解決問題;責任心強,具備良好的團隊合作精神;
6、能夠平衡業務需求與技術架構,具備較強的邏輯思維能力和表達溝通能力,有很強的自學能力,喜歡鉆研技術。
大數據開發工程師的職責文本 篇14
1、 負責產品硬件、固件和嵌入式軟件的開發;
2、 負責FPGA、ARM平臺開發和調試工作
3、 配合其他部門完成產品的調試和測試,完成上級交待的其他任務;
大數據開發工程師的職責文本 篇15
職責
1負責研發公司應用軟件、基礎平臺組件的模塊設計、開發、單元測試和交付
2編寫技術文檔,為使用平臺組件的應用開發團隊提供技術支援
3關注新技術,對新技術進行調研和引入
應聘要求:
1. 本科或以上學歷, 計算機或相關專業背景。5年以上Java開發經驗
2. 有較強的Java語言功底,熟悉I/O、多線程、集合等基礎知識,熟悉分布式、緩存、微服務、消息等機制
3. 熟悉J2EE架構和相關的Java開發技術,熟悉Maven的使用,精通Spring / Spring Boot、Spring MVC、Spring Data JPA、 RESTFul定義與開發等,能快速適應現有UI框架
4. 熟悉MySQL數據庫,熟悉關系數據庫邏輯和物理建模,熟練使用SQL語言,熟悉Linux環境及常用命令
5. 熱愛技術,喜歡鉆研,能對已有框架進行擴展的能力
6. 能夠獨立擔當功能模塊的設計開發,具備較強的問題排查及分析能力,快速定位并解決,具有良好的開發文檔編寫能力
大數據開發工程師的職責文本 篇16
1、與產品人員溝通,掌握相關功能需求的相關背景、業務流程和要實現的目標
2、與技術經理溝通,對開發計劃達成一致,理解項目的概要設計、相關系統流程和數據庫設計
3、按照開發經理安排,完成功能模塊詳細設計、代碼實現,自測。
4、完成項目相關bug修復
5、嚴格遵守開發規范
6、當天安排的工作當天完成,及時向項目經理匯報工作進度。
7、根據需要,編寫和完善項目相關文檔。