大數據架構師的具體職責(精選28篇)
大數據架構師的具體職責 篇1
職責:
1. 負責大數據基礎平臺、海量數據存儲/處理分布式平臺、數據分析系統架構設計和研發;
2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;
3. 制定項目/數據倉庫設計及實現規范,指導設計研發和部署;
4. 協助策略和算法團隊工作,保障數據挖掘建模和工程化;
5. 深入研究大數據相關技術和產品,跟進業界先進技術;
任職要求:
1. 全日制本科及以上學歷,5年以上軟件和分布式系統研發經驗,3年以上大數據系統架構經驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;
3. 具備良好的系統分析能力、故障診斷能力;
4 有大數據策略、算法、可視化經驗優先。
大數據架構師的具體職責 篇2
職責:
1、負責大數據基礎平臺的整體規劃和架構設計,參與需求分析、技術決策以及詳細設計;
2、為現有大數據集群Hadoop、hive平臺提供性能調優、架構優化重組,解決系統中的關鍵問題和技術難題;
3、把握基礎業務復雜系統的設計,確保系統的架構質量,編寫核心部分代碼;
4、持續挑戰新的技術方向,攻克大數據量,高并發,穩定性等各種技術難點。
任職資格:
1、計算機或相關專業本科及以上學歷;
2、5年以上hadoop的應用開發經驗,5年以上數據倉庫開發實踐經驗,至少一個企業級數據倉庫項目開發經驗或者大數據處理項目經驗;
3、良好的編程開發能力,精通PHP及其他開發語言;
4、熟悉mysql等數據庫經驗,具備優秀的SQL編寫、調優能力;
5、熟練掌握Linux常規命令與工具,精通shell, perl, python等腳本語言至少一種;
6、軟件基礎理論知識扎實,具有良好的數據結構、算法功底;
7、對新技術敏感,學習能力強,樂于接受挑戰,具有良好的團隊合作精神;
大數據架構師的具體職責 篇3
職責:
負責大數據平臺架構的規劃和設計,主導系統的架構設計和核心模塊開發,確保項目質量和關鍵性能指標達成;
負責大數據平臺技術框架的選型與技術難點攻關,指導開發大數據平臺的開發,保證大數據產品的上線運行;
負責深入理解業務需求,對業務建模,設計系統架構,滿足業務需求;
負責協助策略和算法工作,保障數據挖掘建模和工程化;
負責根據業務需求整合優化數據架構,保證產品的可靠性、穩定性;
負責指導開發人員完成數據模型規劃建設、分析模型構建及分析呈現;
負責研發技術發展方向,新技術領域的探索,將新技術應用到公司大數據平臺,提升公司效能
任職要求:
本科及以上學歷,擁有5年以上大數據平臺產品或分布式系統設計經驗,6年以上的開發經驗;
精通Hadoop,熟悉大數據生態技術,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大規模集群架構、開發及運維經驗;
熟練掌握java/Scala語言,實現面向對象開發思想OOA,OOD,OOP;
熟悉linux操作系統,熟練掌握腳本言語Shell/Perl/Python等編碼語言;
熟練掌握數據倉庫設計,開發工作。能夠根據業務設計并開發數據倉。
具備源碼級問題解決和集群優化改造能力者優先;
能快速的學習新的開源框架和知識體系,并應用到現有架構體系中;
邏輯清晰,快速的學習能力,良好的溝通能力、團隊協調能力。
具備良好的團隊合作精神,較強的溝通交流能力,具備良好的技術領導能力;
具備良好的文檔撰寫能力和技術團隊管理能力
大數據架構師的具體職責 篇4
職責:
1、負責企業大數據平臺的基礎建設、管理及制定拓展規劃;
2、負責大數據平臺相關自動化服務工具的設計、開發;
3、參與Hadoop、Hbase、Spark等核心平臺組件的開發、優化;
4、對平臺特殊場景化的數據應用制定相關實踐方案;
5、大數據團隊的搭建。
任職資格:
1、統招本科以上學歷,計算機等相關專業,5年以上工作經驗;
2、具有Hadoop等大規模集群管理經驗、海量(PB)數據處理經驗;
3、精通Hadoop、Hive、Hbase等離線平臺相關組件的原理機制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系統;
5、熟悉高并發、分布式開發等相關知識,具有后端服務優化相關經驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心,工作積極,對新領域新技術有熱情。
大數據架構師的具體職責 篇5
職責:
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統的架構設計工作,包括系統總體規劃、架構設計、系統分析、軟件實現、性能優化;
3、指導開發人員開發,并解決系統出現的問題,理解物業需求;
4、制定開發計劃和控制開發進度,負責指導研發團隊開展設計工作;
任職要求:
1、碩士以上,計算機或先關專業;
2、5年左右軟件開發經驗,含3年以上系統分析、設計經驗,有大型軟件項目大型軟件項目;有中大型互聯網企業數據庫架構設計及管理經驗,
3、 具備良好的組件級建模能力,熟悉HTTP、TCP等協議
4、熟練使用UML進行軟件架構設計,至少精通EA,RATIONAL, VISIO等一種設計工具.
5、精通至少一種編程語言,熟悉 Linux 相關技術,能獨立在上面進行開發、測試和部署
6、深入理解數據庫、數據倉庫、大數據、分布式體系架構和關鍵技術
大數據架構師的具體職責 篇6
職責:
1、正確理解業務需求,對需求進行工作量評估;
2、參與項目相關的需求、設計、投產手冊等文檔的編寫;
3、根據進度計劃,完成所承擔功能模塊的設計、開發、單元測試、聯調測試;
4、配合測試組修復代碼缺陷,確保功能實現與代碼質量;
5、負責所承擔功能模塊投產、部署,及上線后的日常維護;
6、完成項目經理或者架構師安排的其他工作;
任職資格:
1、本科以上學歷,計算機相關專業,兩年以上大數據開發經驗;
2、熟悉Linux 環境,掌握shell或python;
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大數據開發組件;
4、精通 ETL,數據倉庫的設計和開發;
5、有大數據處理實戰經驗,熟悉整個大數據的完整處理流程,包括數據的采集、清洗、存儲;
6、較強的動手能力和學習能力,良好的溝通能力、團隊協調能力;
7、具有銀行、金融行業從業背景者優先。
大數據架構師的具體職責 篇7
職責:
1、大數據平臺架構規劃與設計;
2、負責大數據平臺技術框架的選型與技術難點攻關;
3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作,根據系統的業務需求,能夠指導開發團隊完成實施工作;
4、負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,為相關的業務提供大數據底層平臺的支持和保證;
5、培養和建立大數據團隊,對團隊進行技術指導。
任職要求:
1、計算機相關專業的背景專業一類院校畢業本科、碩士學位,8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);
2、精通Java,J2EE 相關技術,精通常見開源框架的架構,精通關系數據庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;
3、精通SQL和Mapreduce、Spark處理方法;
4、精通大數據系統架構,熟悉業界數據倉庫建模方法及新的建模方法的發展,有DW,BI架構體系的專項建設經驗;
5、對大數據體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術,并能設計相關數據模型;
6、很強的學習、分析和解決問題能力,可以迅速掌握業務邏輯并轉化為技術方案,能獨立撰寫項目解決方案、項目技術文檔;
7、具有較強的內外溝通能力,良好的團隊意識和協作精神;
8、機器學習技術、數據挖掘、人工智能經驗豐富者優先考慮;
9、 具有能源電力行業工作經驗者優先。
大數據架構師的具體職責 篇8
職責:
1.參與公司數據平臺系統規劃和架構工作,主導系統的架構設計和項目實施,確保項目質量和關鍵性能指標達成;
2.統籌和推進制造工廠內部數據系統的構建,搭建不同來源數據之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數據支持;
3.負責數據系統需求對接、各信息化系統數據對接、軟件供應商管理工作
5.根據現狀制定總體的數據治理方案及數據體系建立,包括數據采集、接入、分類、開發標準和規范,制定全鏈路數據治理方案;深入挖掘公司數據業務,超強的數據業務感知力,挖掘數據價值,推動數據變現場景的落地,為決策及業務賦能;
6.定義不同的數據應用場景,推動公司的數據可視化工作,提升公司數據分析效率和數據價值轉化。
任職要求:
1.本科以上學歷,8年以上軟件行業從業經驗,5年以上大數據架構設計經驗,熟悉BI平臺、大數據系統相關技術架構及技術標準;
2.熟悉數據倉庫、熟悉數據集市,了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;
3.熟悉大數據相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企業信息化系統及相關數據庫技術;
5.具備大數據平臺、計算存儲平臺、可視化開發平臺經驗,具有制造企業大數據系統項目開發或實施經驗優先;
6.對數據敏感,具備優秀的業務需求分析和報告展示能力,具備制造企業數據分析和數據洞察、大數據系統的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協調能力,具備結果導向思維,有相關項目管理經驗優先。
大數據架構師的具體職責 篇9
職責:
1、負責規劃科技大數據平臺及科技數據入庫自動化的方案設計;
2、負責大數據平臺的開發和維護,以及對外服務接口的開發;
3、負責大數據平臺的優化和改進工作。
任職要求
1、計算機相關專業本科及以上學歷,5年以上開發經驗,其中3年以上為互聯網、大數據相關的開發經驗;
2、熟知Hadoop生態圈體系,精通Hadoop/Spark/Storm/Kafka中的一項或幾項,深刻理解MapReduce的運行原理和機制,有MPI經驗者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相關數據庫的構建和操作,尤其是數據庫集群的構建和操作,熟悉Neo4j者尚佳;
4、具有機器學習相關項目經驗者優先。
大數據架構師的具體職責 篇10
職責:
1、負責大數據基礎平臺、海量數據存儲處理分布式平臺、數據分析系統架構設計和研發;
2、負責實時計算平臺基礎架構設計、部署、監控、優化升級;
3、制定項目數據倉庫設計及實現規范,指導設計研發和部署;
4、協助策略和算法團隊工作,保障數據挖掘建模和工程化;
5、深入研究大數據相關技術和產品,跟進業界先進技術。
任職要求:
1、3年以上大數據系統架構經驗;
2、精通Hadoop HBase Hive Spark Flink Kafka Redis技術及其生態圈;
3、具備Java Scala Python等開發經驗,熟悉數據挖掘和分析的策略與算法;
4、精通數據抽取,海量數據傳輸,數據清洗的常用方法和工具。
5、具備良好的系統分析能力、故障診斷能力;
6、有大數據策略、算法、可視化經驗優先;
7、有在華為云存儲產品和大數據產品的開發使用經驗優先。
大數據架構師的具體職責 篇11
1、負責公司大數據處理框架研發工作,設計與開發分布式存儲、數據處理與分析架構。
2、負責大數據平臺與產品和相關技術的追蹤及研究。
3、負責大數據的處理工作,以及業務數據提取、加載、轉換處理流程的開發和優化。
4、利用大數據平臺工具對數據維護。
5、負責相關項目的技術支持和服務。
6、持續對系統的技術架構進行改進和優化。
大數據架構師的具體職責 篇12
職責:
1. 負責設計企業級大數據平臺的整體架構,從技術層面制定清晰的大數據產品與系統技術架構,并負責實現關鍵技術和產品。
2. 負責設計具有創新價值的大數據底層平臺、大數據上層應用系統等,帶領團隊完成有質變的技術解決方案。
3. 負責組織同事研究行內最前沿的技術發展方向,突破現有的技術難題。
4. 負責研究院對外項目合作協調與支持,編寫項目建設方案及后期項目建設支持。
任職要求:
1. 碩士及以上學歷,計算機相關專業。
2. JAVA基礎扎實,不少于8年的一線開發經驗,精通Spring boot/MyBatis/Restful API的開發與管理. 熟悉ReactJS/Angular/Vue之一前端開發技術,熟悉Maven或Ant.,熟悉Python語言開發加分。
3. 不少于4年大數據的直接研發經驗,精通Hadoop/Spark系統,有hands-on的架構設計、性能調優、開發經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統的開發經驗。
4. 掌握分布式系統原理,對分布式存儲、流式計算、消息隊列中的一項或多項有深入的理解和認識。
5. 熟悉分布式系統的監控、運維、故障恢復,高可用原理和設計理念。
6. 算法基礎扎實,熟悉常見的數據結構,掌握大規模高并發訪問、大數據開發等處理經驗;熟練的Linux系統, 網絡, 內存和存儲等方面知識。
7. 必須要有千萬級別的項目管理經驗,包括但不限于前期需求溝通,建設方案編寫,中期項目實施,進度匯報,后期項目維護。
大數據架構師的具體職責 篇13
1. 負責大數據項目整體架構規劃,包括應用架構、技術架構、物理架構和數據架構等;
2. 負責指導工程師進行技術驗證與實現,核心技術問題的攻關,解決項目開發過程中的技術難題;
3. 負責項目對外技術溝通,具有較強的溝通,表達和文檔撰寫能力;
4. 根據公司項目和業務發展特點,負責研究相關大數據前沿技術;
5. 推動技術能力的沉淀。
大數據架構師的具體職責 篇14
職責:
1. 深刻理解政府行業業務模式,構建政府行業的數據模型,制定公司大數據技術發展路線;
2. 對接業務研究和技術部門,主動搜集和轉化需求,組織數據中心業務開發,進行數據相關產品需求分析和設計;
3. 搭建數據倉庫,研發數據庫管理系統,搜集、提取、處理業務積累的海量數據,開展數據分析和挖掘;
4. 根據公司戰略和發展需要,規劃數據中心重點工作和任務;落實部門人員、事務管理,開展跨部門、跨地區協作,協助對外交流與合作。
職位要求:
1. 5年以上相關工作經驗,有團隊管理和項目管理經驗者優先;
2.了解政府運作機制,掌握財政行業知識,有電子政務行業經驗者優先;
3. 熟練掌握使用Java或Python,精通數據庫查詢語言如SQL,Oracle等,在機器學習模型和算法方向有應用經驗者優先;
4. 具備數據中心產品策劃整體思維,有大數據處理、分析、挖掘經驗者優先;
5. 邏輯思維嚴密,具備業務抽象、分解和標準化的能力,口頭和書面表達優秀;
6. 有較強的大局意識和良好的團隊合作意識,富有領導力,具備優秀的人際交往和溝通能力。
大數據架構師的具體職責 篇15
職責:
1、負責公司的大數據處理框架的研發設計工作,梳理可實現方案和技術規范;
2、開發、完善公司大數據平臺;參與公司離線、實時大數據處理系統的設計、開發、測試及多個業務模塊的自動化集成;
3、負責業務平臺數據統計分析模塊的設計與規劃;
4、負責公司產品研發過程中的數據及存儲設計;
5、帶領和培養團隊完成組織分解的目標;
任職要求:
1、統招本科及以上學歷,計算機、軟件工程相關專業,至少8年以上工作經驗,5年以上大數據開發經驗;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構
3、熟悉數據倉庫,數據算法,分布式計算技術理論,具有大數據整體系統架構設計經驗;
4、熟悉Linux系統,熟練使用shell/perl/python腳本處理問題;
5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優先;
6、能夠組織項目開發組協同工作,包括團隊溝通、計劃、開發環境管理等
大數據架構師的具體職責 篇16
職責
1、參與打造數據中內容的規劃、設計、開發和優化工作,實現高質量數據的互通與共享;
2、參與數據模型體系構建及數據主題設計和開發,搭建離線、實時數據公共層;
3、參與數據產品與應用的數據研發,發掘數據商業價值,打造極致體驗的數據產品;
4、深入理解數據產品的使用場景,為業務方在可用性、成本上做更好的設計做參考;
5、團隊成員的搭建與培養,任務劃分,進度監控,代碼規范,質量保證。
任職要求
1、熟悉數據倉庫建模理論,3年以上相關領域實踐經驗;
2、Hadoop、Hive、Hbase、Storm、Spark等技術框架;
3、精通Java、Python、Scala、go等開發語言中的1到2種;
4、熟練使用Python/Java/scala或其他語言進行復雜業務邏輯的數據處理工作,具備海量數據處理以及性能優化的能力;
5、對MySQL、Redis、HBase等數據庫有一定的了解和使用經驗;
6、對olap,多維分析及kylin熟悉的更好;
7、思路清晰,具備良好的溝通能力和理解能力,較強的學習能力以及快速解決問題的能力;
8、對新技術,新事物有很好的探索和求知欲;
9、熟悉常規的機器學習算法:降維(PCA、SVD)、SVM、邏輯回歸(LogisticsRegression)、決策樹(GBDT、RandomForest)、關聯規則(Apriori、FP-Growth)、聚類(K-Means)等優先。
大數據架構師的具體職責 篇17
職責:
1、大數據平臺的規劃、設計、實施,并優化數據庫;
2、對數據庫進行管理,負責數據庫應用系統的運營及監控;
3、對數據庫性能分析與調優,排錯,保證數據正確率;
4、配合其他部門進行的數據處理、查詢,統計和分析工作;
5、完成公司下達的項目開發任務。
任職要求:
1、計算機及相關專業本科以上學歷,5年以上軟件開發從業經驗,其中包括至少2年以上的大數據開發工作經驗;
2、熟悉hive,hadoop/spark,hbase等大數據相關技術架構,有管理或優化大型分布式集群經驗;
3、熟悉linux基本命令,精通SQL腳本的編寫,有豐富的數據庫管理、運維調優經驗;
4、熟悉C++、Java、C#等開發語言;
5、有互聯網電商行業大數據分析處理和大型數據倉庫的設計和實施經驗;
6、有分布式系統分析及架構設計經驗和大型計算集群的基礎設施開發維護經驗;
7、快速處理系統突發事件的能力,較強的學習和創新能力;
8、良好的溝通能力和團隊合作精神。
大數據架構師的具體職責 篇18
職責
1、負責企業級大數據平臺、數據云服務的設計與開發;
2、基于大數據生態圈,支持智慧交通等大數據場景應用實現;
3、負責公司大數據產品的設計、封裝與落地;
4、負責學習大數據相關算法研究、實現與應用
任職要求
1、統招本科及以上學歷;2年以上智慧城市建設或交通行業信息化相關工作經驗,3年以上大數據架構設計、開發經驗;
2、精通大數據生態圈的技術,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備源碼級問題解決和集群優化改造能力;
3、熟悉常用編程語言,包括Java、Python、Scala等;
4、具有很強的技術研發和創新能力,能有效把握技術發展方向,有較強的執行能力、學習能力、溝通能力、適應能力,責任心強;
大數據架構師的具體職責 篇19
職責:
1、負責面向政府信領域的企業(不限于)大數據平臺、大數據應用等系統的架構設計、技術規劃、技術選型
2、跟進業界大數據技術發展動態,匹配行業應用訴求,制定大數據策略,提前識別關鍵技術并完成技術驗證;
3、支撐售前完成項目解決方案技術架構的設計及重要客戶的交流;
4、負責指導研發完成大數據產品的開發
5、帶領團隊進行產品核心技術的創新和積累
崗位要求:
1、熟悉BI和大數據領域的解決方案,具備該領域全面的技術積累,包括報表平臺,OLAP引擎和DB,ETL,數據倉庫建模和設計,海量分布式數據處理分析架構;
2、在大數據處理和分析領域具有3年或者以上的技術規劃、架構設計經驗,并有成功的項目實踐;
3、4年以上Hadoop實戰經驗,熟悉Hadoop底層文件系統及分布式計算框架,具備傳統數據倉庫、MPP、Hadoop等混搭平臺架構的設計能力和數據建模能力,對大規模數據并行計算、傳輸、處理等有豐富的經驗;
4、有實際應用storm、spark、flume、kafka等項目經驗優先;
5、卓越的技術領導力,善于溝通、發現和解決產品需求階段、開發階段和測試階段的問題,并能提供合理解決方案,有大中型互聯網企業工作背景優先。
大數據架構師的具體職責 篇20
職責:
1、負責大數據開發團隊建設;
2、負責行業大數據產品架構設計與研發;
3、負責帶領團隊進行行業大數據產品關鍵技術攻關。
任職要求:
1、有三年以上大數據應用、開發經驗;具備海量數據加工處理(ETL)相關經驗,對數據挖掘及機器學習有較為深刻的理解;
2、熟悉Hadoop相關技術,對HDFS、MapReduce、Hive、HBase有一定的使用和開發經驗;
3、熟悉Linux,熟練使用Shell或Python,進行腳本編寫;
4、對數據結構和數據統計分析算法有較為深刻理解;
5、掌握至少一種主流關系數據庫開發技術:Oracle、SQL Server、MySQL等;
6、掌握實時流計算技術,有Spark、Storm開發經驗者優先;
7、需要具備2年以上研發團隊管理經驗。
大數據架構師的具體職責 篇21
職責:
1、負責大數據項目技術架構評估與設計;
2、負責關鍵功能的開發,技術難題的解決,以及輸出代碼的關鍵把控;
3、負責對使用關鍵技術的預研和選型,完成PoC;
4、指導工程師完成開發工作,并能分享技術經驗。
任職要求:
1、3年以上相關工作經驗,其中具有1年以上架構設計經驗
2、熟悉商業智能系統相關技術,如 ETL、數據倉庫、OLAP開發;
3、精通設計模式,熟悉面向服務架構(SOA)以及其它常用軟件架構思想,有SOA方案設計、開發實施的實際經驗,要具備實際的服務規劃、服務粒度劃分經驗;并且要善于設計可重用組件和可定制化產品。
4、相關技術棧:Java /Scala/Flume/Hive/Kafka/HBase/ Spark/Storm/Redis;
5、有扎實的計算機基礎,熟悉Java等編程語言;
大數據架構師的具體職責 篇22
職責:
1、負責公司大數據平臺架構的技術選型和技術難點攻關工作;
2、依據行業數據現狀和客戶需求,完成行業大數據的特定技術方案設計與撰寫;
3、負責研究跟進大數據架構領域新興技術并在公司內部進行分享;
4、參與公司大數據項目的技術交流、解決方案定制以及項目的招投標工作;
5、參與公司大數據項目前期的架構設計工作;
任職要求:
1、計算機及相關專業本科以上,5年以上數據類項目(數據倉庫、商務智能)實施經驗,至少2年以上大數據架構設計和開發經驗,至少主導過一個大數據平臺項目架構設計;
2、精通大數據生態圈的技術,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先;
3、優秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據業務需求設計合理的解決方案;
4、精通ORACLE、DB2、mySql等主流關系型數據庫,熟悉數據倉庫建設思路和數據分層架構思想;
5. 熟練掌握java、R、python等1-2門數據挖掘開發語言;
6. 熟悉云服務平臺及微服務相關架構思想和技術路線,熟悉阿里云或騰訊云產品者優先;
7、有煙草或制造行業大數據解決方案售前經驗者優先;
8、能適應售前支持和項目實施需要的短期出差;
大數據架構師的具體職責 篇23
職責:
1.負責公司新業務方向平臺大數據基礎架構的搭建及后期數據處理體系的升級和優化,不斷提升系統的穩定性和效率。為公司未來方向性產品提供大數據底層平臺的支持和保證。
2.負責制定大數據平臺調用約束和規范;
3.負責大數據方向技術難題的解決,以及代碼質量的把控;
4.作為大數據開發團隊的leader,負責大數據系統平臺開發團隊建設與人才梯隊培養,分享技術經驗,撰寫相關技術文檔指導和培訓工程師。
任職要求:
1.熱衷于大數據技術,并能平衡大數據性能、穩定性、擴展性多重要素進行設計和優化;
2.熟悉服務器基本知識,能夠評估系統硬件性能瓶頸;
3.掌握Linux操作系統的配置,管理及優化,能夠獨立排查及解決操作系統層的各類問題,并能提供解決問題的理論依據;
4.精通Java服務器編程,熟悉JVM原理,對數據結構和算法設計有較為深刻的理解;
5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構,熟悉原理、源碼、集群部署,包括參數優化、Bug修復,貢獻過代碼或提交過bug者優先
6.具備數據中心資源管理、監控、調度等系統研發經驗者優先,具備分布式系統研發經驗者優先;
7.具有應用大數據技術處理的項目開發、維護超過兩年的經驗者優先;
8.具有良好的文檔編寫能力,可進行方案設計、架構設計。
大數據架構師的具體職責 篇24
職責:
1、負責自然語音交互、IOT家電物聯控制、知識圖譜等相關模塊和系統的開發;
2、負責掌握第三方接口的調用和功能實現,持續優化服務性能和容量,并保證產品的兼容性和執行效率;
3、根據設計文檔和需求說明完成代碼編寫、調試、單元測試與維護,確保項目進度和質量;
4、協助制定測試計劃,及時發現并修復BUG,實現服務端的性能優化。
任職資格:
1、大學本科3年以上工作經驗,計算機相關專業;
2、熟悉軟件項目開發流程,具有良好編碼風格及文檔編寫能力;
3、熟悉Linux服務器相關技術,能夠獨立完成服務器部署,具有相關經驗;
4、熟悉Hadoop/Spark框架,JAVA基礎扎實;
5、熟練使用Mysql數據庫,了解MongoDB或neo4j等分布式數據庫;
6、熟悉SpringCloud,SSM,Docker,redis開發者優先;
7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)開發技術優先;
8、了解Socket網絡編程、MQTT等,有相應實踐經驗者優先;
9、有智能語音語義、知識圖譜服務端開發經驗者優先。
大數據架構師的具體職責 篇25
職責:
1、負責公司大數據產品的架構設計,包含數據收集、數據存儲、數據應用,并完成相關架構設計文檔的撰寫;
2、參與規劃從數據源到數據應用的整體流程,并參與相關產品的決策;
3、負責解決核心技術問題,對技術方案進行決策;
4、負責大數據研發團隊建設、人才梯隊培養和技術團隊管理;
5、積極了解業界發展,研究與跟蹤大數據新技術發展方向。
任職要求:
1、精通GoldenGate For BigData相關理論,具備大型數據利用的生產實戰經驗;
2、精通數據驅動的理論,設計并生產上線相關數據驅動的產品;
3、精通常用消息中間件的使用,例如kafka/RocketMQ/Apache Pulsar,有解讀相關源碼者優先;
4、掌握hadoop、spark生態體系相關產品的使用,掌握MapReduce編程或Spark編程;
5、了解傳統數據倉庫理論及相關ETL工具,例如kettle/datastage;
6、熟悉Oracle、Mongodb、Mysql數據庫的使用;
7、扎實的Java語言基礎,熟悉Java開發工具和調試工具的使用;
8、良好的團隊協作精神,有能力對團隊在軟件設計、實現和測試方面進行指導;
9、良好的邏輯分析能力和溝通能力,執行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神,有一定的推動能力;
10、計算機科學、信息技術或相關領域本科以上學歷,具有5年以上數據平臺項目開發經驗,3年以上的架構設計經驗,具有大數據平臺應用大型項目架構設計經驗優先;
大數據架構師的具體職責 篇26
職責:
1)負責公司軟件產品整體架構的設計和關鍵功能實現
2)負責公司架構長期看護以及優化;
3)負責軟件部門各模組間的協調配合;
4)提高鞏固軟件代碼質量;
5)負責大數據流式框架的設計、優化及部署;
6)規劃研發部門員工的技術發展路線并提供必要的幫助和指導
任職資格:
1)本科及以上學歷,計算機相關專業,5年以上工作經驗;
2)頻繁換工作,比如一年一個公司,請繞路;
3)3年以上產品架構經驗,主導過產品的成功上線;
4)對底層設備通訊協議,B/S系統,手機APP開發等都有一定的了解;
5)對各種主流語言C#\Java\Pathon有一定的了解
5)精通各種大數據架構,并深入研究過其中一種,有storm\kafka等流式實時處理經驗為佳
6)能夠承擔較強的工作壓力,有良好的自我驅動能力和責任感;
7)具備優秀的邏輯思維能力、表達能力、溝通協調能力。
大數據架構師的具體職責 篇27
職責:
1. 負責大數據基礎平臺、海量數據存儲/處理分布式平臺、數據分析系統架構設計和研發;
2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;
3. 制定項目/數據倉庫設計及實現規范,指導設計研發和部署;
4. 協助策略和算法團隊工作,保障數據挖掘建模和工程化;
5. 深入研究大數據相關技術和產品,跟進業界先進技術。
任職要求:
1. 全日制本科及以上學歷,5年以上軟件和分布式系統研發經驗,3年以上大數據系統架構經驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;
3. 具備Java/C++/Scala等開發經驗,熟悉數據挖掘和分析的策略與算法;
4. 具備良好的系統分析能力、故障診斷能力;
5. 有大數據策略、算法、可視化經驗優先;
6、211/985 重點學校畢業優先。
大數據架構師的具體職責 篇28
職責:
1、負責大數據項目平臺架構的評估、規劃和設計
2、開發大數據平臺的核心模塊代碼,負責大數據平臺的搭建,完成系統調試、集成與實施,保證大數據產品的上線運行
3、根據業務需求整合優化數據架構,保證產品的可靠性、穩定性
4、指導開發人員完成數據模型規劃建設,分析模型構建及分析呈現
5、深入研究大數據相關技術和產品,跟進業界先進技術;
6、根據項目要求編寫相關技術文檔;
7、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
8、負責核心模塊研發,負責大數據平臺的搭建,完成系統調試、集成與實施;
9. 負責關鍵功能的開發,技術難題的解決,以及輸出代碼的關鍵把控;
10. 負責對使用關鍵技術的預研和選型,完成 PoC ;
11. 指導工程師完成開發工作,并能分享技術經驗。
任職資格:
1、精通Linux操作系統,熟練使用Java;
2、3年以上大數據項目實戰經驗,兩個項目的架構設計經驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,并熟悉其工作原理;
3、有Hadoop、Spark、Hbase平臺性能調優經驗;
4、熟悉其它分布式存儲相關技術,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java開發常用框架.如Spring、MyBatis等;
6、熟悉關系型數據庫如oracle及數據庫編程。
7、能夠根據項目情況安排人力、分配任務,具有較強的團隊管理能力。
8、碩士以上學歷,20xx年以上的工作經驗。