大數據架構師崗位的工作職責(精選30篇)
大數據架構師崗位的工作職責 篇1
職責
1、負責企業級大數據平臺、數據云服務的設計與開發;
2、基于大數據生態圈,支持智慧交通等大數據場景應用實現;
3、負責公司大數據產品的設計、封裝與落地;
4、負責學習大數據相關算法研究、實現與應用
任職要求
1、統招本科及以上學歷;2年以上智慧城市建設或交通行業信息化相關工作經驗,3年以上大數據架構設計、開發經驗;
2、精通大數據生態圈的技術,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備源碼級問題解決和集群優化改造能力;
3、熟悉常用編程語言,包括Java、Python、Scala等;
4、具有很強的技術研發和創新能力,能有效把握技術發展方向,有較強的執行能力、學習能力、溝通能力、適應能力,責任心強;
大數據架構師崗位的工作職責 篇2
職責:
1、負責大數據平臺架構的規劃與設計;
2、負責大數據平臺技術框架的選型與技術難點攻關;
3、參與企業級大數據產品和應用規劃;
4、研究跟進大數據架構領域新技術并分享;
5、大數據處理和分析應用平臺的設計指導。
任職資格:
1、 具備深厚的分布式系統或數據庫系統的理論基礎,熟悉分布式計算系統的工作機制,具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經驗;
2、熟悉BI平臺架構及相關項目標準,大數據解決方案包括Hadoop、Spark、Storm、機器學習等大數據平臺解決方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流數據數據庫;
4、 精通Linux/Unix環境,精通J java、scala、python、R中的一種或多種語言;
5、 具備優秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰;
6、大專及以上學歷,3年及以上工作經驗。
大數據架構師崗位的工作職責 篇3
職責:
1.負責數據倉庫建設,基于數據驅動構建企業級數據模型,根據架構設計進行各層數據模型開發。
2.面向PB級別超大規模數據處理和查詢需求,設計適合業務變化的合理的多維數據分析系統架構,滿足多樣性需求。
3.構建設計良好的數據流、調度系統、查詢引擎、監控系統,保證系統穩定高效運行,以實現數據的最大價值。
4.指導團隊成員開展數據倉庫建設。
5.參與重點項目的評審,參與企業數據管理體系建設。
任職要求:
1.統招本科及以上學歷。
2.從事數據倉庫領域至少5年以上,熟悉數據倉庫模型設計與ETL開發經驗 ,掌握Kimball的維度建模設計方法,具備海量數據加工處理(ETL)相關經驗 。
3.具有一定數據模型和數據架構基礎,熟悉hadoop\hive和常用數據庫。
4. 精通SQL,有一定的SQL性能調優經驗,熟悉hive sql的開發。
5.具有管理團隊開發經驗,具備良好的組織能力、協調能力及項目管理能力。
6.具有較好的文字功底及語言表達能力,能夠快速、準確地理解需求。
7.具有專研、快速學習和創新精神,具備獨立分析問題和解決問題的能力。
8.具有責任心,時間觀念強,工作獨立性強,有良好的團隊合作精神。
9.全日制普通本科畢業。
大數據架構師崗位的工作職責 篇4
職責:
1. 規劃設計大數據平臺整體架構,規劃各種組件,并且指導技術團隊完成相關系統驗證、安裝、部署、配置;
2. 負責制定大數據平臺技術規范和接口規范,指導研發團隊按照規范進行系統開發;
3. 配合商務人員完成售前技術支持工作;
4. 完成其他與數據應用有關的技術工作;
任職要求:
1. 計算機相關專業本科學歷,5年以上工作經驗;
2. 對大數據技術棧有非常深刻的了解;具備架構設計的實際經驗;
3. 對信息安全架構設計及實施有一定的經驗;
4. 熟悉Linux、Windows等操作系統的安裝配置;
5. 熟悉互聯網應用的安裝配置;熟悉常見大數據技術棧組件的安裝配置;熟悉Visio等繪圖工具的使用;
6. 有衛生信息化建設經驗者優先;有容器安裝部署經驗者優先。
大數據架構師崗位的工作職責 篇5
職責:
1.能夠帶領技術人員基于hadoop平臺進行海量數據應用系統開發;
2.負責結構化和非結構化數據的解析和清洗,海量數據查詢和報表展現;
3.負責超大規模數據平臺的搭建、維護和優化;
4.負責大數據采集、存儲框架研究,參與在線或離線數據存儲模型設計;
5.負責大數據平臺新技術的開發使用和性能優化,測試。
任職資格:
1.計算機相關專業本科及以上學歷;
2. 熟悉hadoop相關各種開源項目,比如HDFS/Hive/Hbase等有實際應用。(5年以上開發經驗者優先);
3.兩年以上熟練編寫mapreduce代碼經驗,有三年以上網絡日志分析、ETL經驗。熟悉日志分析框架chukwa,flume,scribe者優先;
4.兩年以上海量數據存儲的安裝部署、優化、二次開發經驗,對大規模數據存儲、傳輸、處理等有豐富的經驗;
5.在數據挖掘、數據密集型處理、分布式計算、網格計算領域有深入理論基礎;
6.具有較強的文檔撰寫能力,較強的團隊精神和合作精神,對工作有熱情,能承受壓力。
大數據架構師崗位的工作職責 篇6
職責:
1. 深刻理解政府行業業務模式,構建政府行業的數據模型,制定公司大數據技術發展路線;
2. 對接業務研究和技術部門,主動搜集和轉化需求,組織數據中心業務開發,進行數據相關產品需求分析和設計;
3. 搭建數據倉庫,研發數據庫管理系統,搜集、提取、處理業務積累的海量數據,開展數據分析和挖掘;
4. 根據公司戰略和發展需要,規劃數據中心重點工作和任務;落實部門人員、事務管理,開展跨部門、跨地區協作,協助對外交流與合作。
職位要求:
1. 5年以上相關工作經驗,有團隊管理和項目管理經驗者優先;
2.了解政府運作機制,掌握財政行業知識,有電子政務行業經驗者優先;
3. 熟練掌握使用Java或Python,精通數據庫查詢語言如SQL,Oracle等,在機器學習模型和算法方向有應用經驗者優先;
4. 具備數據中心產品策劃整體思維,有大數據處理、分析、挖掘經驗者優先;
5. 邏輯思維嚴密,具備業務抽象、分解和標準化的能力,口頭和書面表達優秀;
6. 有較強的大局意識和良好的團隊合作意識,富有領導力,具備優秀的人際交往和溝通能力。
大數據架構師崗位的工作職責 篇7
職責:
1、負責大數據平臺的技術選型,基于Spark、Hadoop大數據平臺建設和開發;
2、完成包括數據模型設計、數據采集、數據存儲等方面的大數據系統架構的設計和數據層架構設計;
3、構建數據中臺,為多種行業應用提供主數據(畫像標簽/關系圖譜)、數據模型、人工智能業務算法及數據服務。
4、對海量數據處理的業務需求進行評估和方案設計、拆分任務并指導工程師完成開發;
5、帶領大數據技術團隊提供并實現大數據平臺上各項數據分析和數據可視化的架構設計,支撐解決方案實施。
任職要求:
1、本科及以上學歷,具有5年及以上大數據架構設計和開發經驗;2年及以上帶領團隊經驗;溝通能力強。在大型互聯網企業從事大數據架構設計者優先考慮;有分布式大型商業軟件系統設計經驗、主導過大型商業軟件的架構設計并取得過市場商業成功者優先考慮;
2、熟悉整個大數據的完整處理流程,包括數據的采集、清洗、預處理、存儲、分析挖據、機器學習和數據可視化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數據庫的使用,并能進行性能調優;
4、具備優秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰。
大數據架構師崗位的工作職責 篇8
職責:
1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化;
2、負責解決項目上線后生產環境的各種實際問題,保障大數據平臺在生產上的安全、平穩運行;
3、推動優化跨部門的業務流程, 參與業務部門的技術方案設計、評審、指導;
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公,月底項目結束后在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術擔當,解決核心技術問題;
2、3年以上大數據平臺項目架構或開發經驗,對大數據生態技術體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐, 注重文檔管理、注重工程規范優先;
4、熟悉Java后臺開發體系,具備微服務架構的項目實施經驗,有Dubbo/Spring cloud微服務架構設計經驗優先;
5、性格開朗、善于溝通,有極強的技術敏感性和自我驅動學習能力,注重團隊意識。
大數據架構師崗位的工作職責 篇9
職責:
1. 負責公司大數據平臺的設計和開發,負責spark, hadoop, flink等云計算平臺的開發和優化;制定數據架構規范,進行核心代碼編寫,指導團隊落地;
2. 負責數據基礎架構和數據處理體系的升級和優化,技術難題攻關,持續提升核心系統性能,保證系統的安全、穩定、高效運行
3. 設計并實現對BI分析、數據產品開發、算法開發的系統性支持
4. 研究未來數據模型和計算框架的創新與落地,包括但不限于以下領域:大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面參與制定并實踐團隊的技術發展路線
5. 建立良好的公司內外的業界技術影響力;參與培養未來數據人才;有效輔導團隊,提升數據研發能力
任職要求:
1. 有很強的數據設計抽象能力,善于從復雜的數據問題中找到關鍵路徑,能夠開發創新而實際的分析方法以解決復雜的商業問題
2. 有作為技術負責人系統化解決問題的成功案例;有海量數據建模實踐經驗優先
3. 熟練掌握Hadoop、Spark、Flink、HBase的原理特性以及適用場景,精通流式計算開發,有開源二次開發經驗者優先,有NLP數據處理經驗者優先
4. 性格積極樂觀,誠信,能自我驅動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力
5. 本科以上學歷,扎實的計算機專業基礎,有5年以上大數據平臺開發經驗;
大數據架構師崗位的工作職責 篇10
職責:
1、負責公司大數據底層框架的整體架構設計,結合公司實際業務情況進行技術選型及大數據戰略規劃;
2、負責公司項目的整體評估、設計、架構及關鍵模塊的開發;
3、負責架構優化,協助團隊解決開發過程中遇到的技術難題;
4、負責新技術的調研和大數據相關開源組件的研究,并能在團隊進行推廣應用;
5、參與數據分析、數據建模、項目核心模塊及核心框架的開發;
6、負責大數據平臺的性能條有和問題診斷。
任職要求:
1、計算機相關專業,本科及以上學歷,3-5年以上工作經驗,2-3年大數據相關經驗;
2、具有扎實的大數據和數據倉庫理論功底,負責過大數據平臺或數據倉庫設計;
3、對基于Hadoop的大數據體系有深入的認識,具備相關產品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)項目應用研發經驗,有Hadoop集群搭建和管理經驗,度過Hadoop和Spark源碼;
4、熟悉Linux和Python語言,了解Scala原理和底層技術;
5、熟悉分布式系統的架構及對其進行設計和優化,對海量數據的清晰、分析處理及存儲有相關的實戰經驗;
6、算法基礎扎實,熟悉常見的數據結構,深入理解分布式算法和以上提到的分布式系統,
7、必須有一線coding的能力;
8、有統計學、數學知識,海量數據處理、分析和挖掘,大型互聯網公司從業經歷著優先。
大數據架構師崗位的工作職責 篇11
職責:
1)負責大數據平臺系統架構設計、核心開發工作(Hadoop&Spark技術方向),基于業務場景設計最優的系統解決方案。
2)構架支持大數量級的數據的大數據平臺系統,及相關監控,拓展系統設計及實現。
3)利用Hadoop、Spark等大數據技術對海量數據進行處理,支持BI和數據科學(建模)的應用實現。
4)對現有系統的進行架構深入分析及系統優化,進一步提升系統的性能及數據處理能力。
任職資格
1)統招本科或以上學歷,計算機相關專業, 5年以上軟件開發經驗、3年以上大數據項目經驗。
2)具備較豐富的大數據平臺相關構建,維護及調優經驗,有大數據量級下的大數據集市相關經驗。
3)具備較豐富的基于Hadoop或Hive或Spark等大數據處理項目經驗,具備一定的數據挖掘經驗。
4) 具有阿里云的EMR(emapreduce)的經驗者優先考慮。
5)具有良好的業務理解、溝通和協作能力,具有較強的學習和總結能力。
6)優秀的團隊合作精神、誠實、勤奮、嚴謹,敢于接受挑戰。
7)機器學習技術、數據挖掘經驗豐富者優先考慮。
大數據架構師崗位的工作職責 篇12
職責:
根據大數據業務需求,設計大數據方案及架構,實現相關功能;
搭建和維護大數據集群,保證集群規模持續、穩定、高效平穩運行;
負責大數據業務的設計和指導具體開發工作;
負責公司產品研發過程中的數據及存儲設計;
針對數據分析工作,能夠完成和指導負責業務數據建模。
職位要求:
計算機、自動化或相關專業(如統計學、數學)本科以上學歷,3年以上大數據處理相關工作經驗;
精通大數據主流框架(如 Hadoop、hive、Spark等);
熟悉 MySQL、NoSQL(MongoDB、Redis)等主流數據庫,以及rabbit MQ等隊列技術;
熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;
熟悉常用的數據挖掘算法優先.
大數據架構師崗位的工作職責 篇13
職責:
1、負責大數據項目平臺架構的評估、規劃和設計
2、開發大數據平臺的核心模塊代碼,負責大數據平臺的搭建,完成系統調試、集成與實施,保證大數據產品的上線運行
3、根據業務需求整合優化數據架構,保證產品的可靠性、穩定性
4、指導開發人員完成數據模型規劃建設,分析模型構建及分析呈現
5、深入研究大數據相關技術和產品,跟進業界先進技術;
6、根據項目要求編寫相關技術文檔;
7、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
8、負責核心模塊研發,負責大數據平臺的搭建,完成系統調試、集成與實施;
9. 負責關鍵功能的開發,技術難題的解決,以及輸出代碼的關鍵把控;
10. 負責對使用關鍵技術的預研和選型,完成 PoC ;
11. 指導工程師完成開發工作,并能分享技術經驗。
任職資格:
1、精通Linux操作系統,熟練使用Java;
2、3年以上大數據項目實戰經驗,兩個項目的架構設計經驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,并熟悉其工作原理;
3、有Hadoop、Spark、Hbase平臺性能調優經驗;
4、熟悉其它分布式存儲相關技術,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java開發常用框架.如Spring、MyBatis等;
6、熟悉關系型數據庫如oracle及數據庫編程。
7、能夠根據項目情況安排人力、分配任務,具有較強的團隊管理能力。
8、碩士以上學歷,20xx年以上的工作經驗。
大數據架構師崗位的工作職責 篇14
職責:
1. 負責大數據平臺的基礎技術規劃,編制相關規范文檔。
2. 負責大數據平臺的數據采集,處理,存儲以及挖掘分析的架構實現。
3. 負責大數據平臺的實際規劃建設,包括環境和框架的規劃搭建以及部分核心編碼工作。
4. 負責大數據相關技術發展方向的預研。
5. 參與業務需求調研,根據需求及行業特點設計大數據解決方案并跟進具體實施項目。
6. 制定大數據平臺中數據質量,業務質量監控及管理辦法。
崗位要求:
1. 全日制本科及以上學歷,5年以上工作經驗,4年及以上大數據架構設計經驗,熟悉大數據解決方案,包括Hadoop平臺、Spark、storm、機器學習、深度學習等大數據解決方案。
2. 深刻理解大數據處理(流計算、分布式計算、分布式文件系統、分布式存儲等相關技術)實現方法。有架構和設計實踐經驗。
3. 精通大型數據庫Oracle、SqlServer等的開發。
4. 精通java,Python中的一種或多種語言。
5. 熟悉容器、虛擬化、微服務框架等相關技術。
6. 對數據敏感,有嚴謹的工作思路,良好的溝通能力和團隊合作精神。
7. 熟悉R,Python,SAS、SPSS等數據挖掘經驗者優先。
8. 高寬展性,高性能,和分布式系統的實踐及運維經驗者優先。
9. 有大型數據倉庫實施、大數據平臺數據開發經驗,熟悉運營商業務者優先。
大數據架構師崗位的工作職責 篇15
職責:
1、負責面向政府信領域的企業(不限于)大數據平臺、大數據應用等系統的架構設計、技術規劃、技術選型
2、跟進業界大數據技術發展動態,匹配行業應用訴求,制定大數據策略,提前識別關鍵技術并完成技術驗證;
3、支撐售前完成項目解決方案技術架構的設計及重要客戶的交流;
4、負責指導研發完成大數據產品的開發
5、帶領團隊進行產品核心技術的創新和積累
崗位要求:
1、熟悉BI和大數據領域的解決方案,具備該領域全面的技術積累,包括報表平臺,OLAP引擎和DB,ETL,數據倉庫建模和設計,海量分布式數據處理分析架構;
2、在大數據處理和分析領域具有3年或者以上的技術規劃、架構設計經驗,并有成功的項目實踐;
3、4年以上Hadoop實戰經驗,熟悉Hadoop底層文件系統及分布式計算框架,具備傳統數據倉庫、MPP、Hadoop等混搭平臺架構的設計能力和數據建模能力,對大規模數據并行計算、傳輸、處理等有豐富的經驗;
4、有實際應用storm、spark、flume、kafka等項目經驗優先;
5、卓越的技術領導力,善于溝通、發現和解決產品需求階段、開發階段和測試階段的問題,并能提供合理解決方案,有大中型互聯網企業工作背景優先。
大數據架構師崗位的工作職責 篇16
職責:
(1) 負責公司大數據平臺搭建,相關的設計和技術開發工作,負責大數據存儲系統、分布式計算系統、數據集成、挖掘算法等的設計、研發以及維護、優化工作;
(2) 通過數據分析技術,挖掘有利于營銷中各業務場景的變量或規則類標簽,以提升模型效果,為文旅、教育業務提供數學模型理論及編程支撐;
(3) 對接溝通業務系統研發團隊和產品部門,提供數據驅動方面的專業咨詢方案,并對業務的大數據應用場景提出建設性意見;
(4) 配合部門領導進行項目需求分析、設計開發工作。
任職要求:
(1) 計算機、統計學,數學等相關專業本科以上學歷,5年以上大數據或文旅、教育數據產品設計開發經驗,高效高質量產出需求和技術文檔;
(2) 精通Hadoop,熟悉大數據生態技術,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大規模集群架構、開發及運維經驗;熟悉HDFS/MapReduce等;
(3) 熟悉Java,能夠獨立應用python、R、SAS或類似分析工具進行數據分析;
(4) 熟悉大數據挖掘、可視化分析,各種BI算法和產品等,在計算廣告、搜索引擎、推薦系統、用戶畫像等有一個或多個算法領域的研發經驗,能夠運用數據作為產品解決業務方運營及決策問題;
(5) 有互聯網行業工作經驗者優先,有海量數據的機器學習算法實踐經驗優先;
(6) 工作認真、負責,有良好的團隊合作精神,良好的分析能力、溝通技巧。
大數據架構師崗位的工作職責 篇17
職責:
1、 基于公司大數據基礎和數據資產積累,負責大數據應用整體技術架構的設計、優化,建設大數據能力開放平臺;負責大數據應用產品的架構設計、技術把控工作。
2、 負責制定大數據應用系統的數據安全管控體系和數據使用規范。
3、 作為大數據技術方案到產品實現的技術負責人,負責關鍵技術點攻堅工作,負責內部技術推廣、培訓及知識轉移工作。
4、 負責大數據系統研發項目任務規劃、整體進度、風險把控,有效協同團隊成員并組織跨團隊技術協作,保證項目質量與進度。
5、 負責提升產品技術團隊的技術影響力,針對新人、普通開發人員進行有效輔導,幫助其快速成長。
任職資格:
1、 計算機、數學或相關專業本科以上學歷,5-20xx年工作經驗,具有大型系統的技術架構\應用架構\數據架構相關的實踐工作經驗。
2、 有分布式系統分析及架構設計經驗,熟悉基于計算集群的軟件系統架構和實施經驗。
3、 掌握Hadoop/Spark/Storm生態圈的主流技術及產品,深入了解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。
4、 掌握Mysql/Oracle等常用關系型數據庫,能夠對SQL進行優化。
5、 熟悉分布式系統基礎設施中常用的技術,如緩存(Varnish、Memcache、Redis)、消息中間件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經驗者優先。
6、 熟悉Linux,Java基礎扎實,至少3-5年以上Java應用開發經驗,熟悉常用的設計模式和開源框架。
大數據架構師崗位的工作職責 篇18
職責:
1、對業務需求深入分析,從而進行大數據平臺核心應用的架構設計、開發和技術支持;
2、規劃業務應用系統和基礎平臺的技術架構,參與需求分析、建模、架構設計、技術決策以及詳細設計;
3、把握復雜系統的設計,確保系統的架構質量,編寫核心部分代碼;
4、帶領團隊攻克例如大數據量、高并發、高穩定性等帶來的各種挑戰及技術難關;
5、在大數據平臺建設路線圖指導下,進行架構實施和交付物投遞,同時確保研發質量和方向的準確性;
6、進行團隊技術的培訓和梯隊建設崗位要求;
任職條件:
1、本科或以上學歷,計算機相關專業,8年以上研發經驗,3年以上大數據平臺相關工作經驗;
2、精通Java開發技術,熟悉Shell、Scala語言和PYTHON優先;
3、編程基礎扎實,熟悉I/O、多線程、集群等基礎框架和原理,熟悉分布式、緩存、消息等機制;
4、熟悉常用設計模式,代碼評審規則,單元測試,持續集成;
5、熟悉AWS云服務或阿里云服務;
6、熟悉容器技術原理、生態系統,熟悉Docker、Mesos、Kubernetes等容器系統、大規模容器資源調度系統、分布式應用生命周期。
大數據架構師崗位的工作職責 篇19
職責:
1、負責大數據開發團隊建設;
2、負責行業大數據產品架構設計與研發;
3、負責帶領團隊進行行業大數據產品關鍵技術攻關。
任職要求:
1、有三年以上大數據應用、開發經驗;具備海量數據加工處理(ETL)相關經驗,對數據挖掘及機器學習有較為深刻的理解;
2、熟悉Hadoop相關技術,對HDFS、MapReduce、Hive、HBase有一定的使用和開發經驗;
3、熟悉Linux,熟練使用Shell或Python,進行腳本編寫;
4、對數據結構和數據統計分析算法有較為深刻理解;
5、掌握至少一種主流關系數據庫開發技術:Oracle、SQL Server、MySQL等;
6、掌握實時流計算技術,有Spark、Storm開發經驗者優先;
7、需要具備2年以上研發團隊管理經驗。
大數據架構師崗位的工作職責 篇20
職責:
1、從事電信行業大數據項目相關業務調研、產品標準建設、核心模型設計和優化、系統測試等相關工作
2、與數據專業委員會一起研究數據建模方案和建模工具,負責產品線產品的數據架構、數據模型設計
3、參與研究數據庫之間的數據轉換方式,參與項目中的數據移植工作,收集在項目中的數據移植經驗,優化產品的數據模型
4、負責培訓本部門隊伍的數據模型基礎理論工作,建立數據模型團隊
崗位要求:
1、統招本科學歷,3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗,具備大型數據倉庫邏輯模型和物理模型設計經驗,精通SQL,有較好的SQL性能調優經驗;
2、擁有Python,R等數學建模工具的使用經驗,并具備一定的數據處理和建模經驗,可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法并對其進行完整的解釋和說明;
3、熟悉統計學基本原理,做過實戰的數據建模項目;
4、有分布式數據倉庫建設相關經驗者優先,具備電信行業數據倉庫建設相關經驗者優先;
大數據架構師崗位的工作職責 篇21
1. 負責數瀾大數據平臺的架構設計和研發,建立數據生態服務,解決海量數據面臨的挑戰;
2. 管理和優化Hadoop、Spark等集群,計算作業的調優,保證集群和平臺的高效和穩定;
3. 負責Hadoop、Spark、Flink的功能、性能和擴展,解決并實現業務需求;
4. 負責大數據產品的自動化、離線與實時計算、即席計算、數據質量、數據安全、機器學習等平臺的設計和開發;
5. 調研和把握當前的最新技術,將其中的先進技術引入到自己的平臺中,改善產品,提升競爭力;
大數據架構師崗位的工作職責 篇22
1、負責大數據平臺資源規劃、權限控制、運維架構設計,為各產品業務提供穩定、高效、安全的運行環境;
2、負責實時,離線數據分析處理及實時平臺的建設和搭建
3、熟悉 Flink 流式計算引擎的使用以及源碼原理,并且有相關的流式處理平臺的經驗。
4、Java基礎扎實,熟練掌握垃圾回收,網絡,多線程編程,了解 python 或 scala
5、負責大數據平臺技術架構、數據架構的分析與設計;
大數據架構師崗位的工作職責 篇23
職責:
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統的架構設計工作,包括系統總體規劃、架構設計、系統分析、軟件實現、性能優化;
3、指導開發人員開發,并解決系統出現的問題,理解物業需求;
4、制定開發計劃和控制開發進度,負責指導研發團隊開展設計工作;
任職要求:
1、碩士以上,計算機或先關專業;
2、5年左右軟件開發經驗,含3年以上系統分析、設計經驗,有大型軟件項目大型軟件項目;有中大型互聯網企業數據庫架構設計及管理經驗,
3、 具備良好的組件級建模能力,熟悉HTTP、TCP等協議
4、熟練使用UML進行軟件架構設計,至少精通EA,RATIONAL, VISIO等一種設計工具.
5、精通至少一種編程語言,熟悉 Linux 相關技術,能獨立在上面進行開發、測試和部署
6、深入理解數據庫、數據倉庫、大數據、分布式體系架構和關鍵技術
大數據架構師崗位的工作職責 篇24
1、建設大數據平臺,主要技術為k8s, docker;
2、跟進開源社區的更新,閱讀文檔,驗證feature;
3、閱讀容器生態圈各組件的開源項目代碼,開發新功能;
4、持續提升平臺的性能和穩定性。
大數據架構師崗位的工作職責 篇25
職責:
1、搭建基于Hadoop/Spark的數據挖掘體系和大數據分析系統架構;
2、研究大數據領域前沿數據挖掘技術,并引入相應技術在數據中心的使用;
3、進行大數據系統框架設計、模型算法開發;
4、負責大型數據挖掘項目方案制定、項目實施落地及優化等 ;
5、開展數據爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領域數據挖掘工作;
任職資格:
1、本科以上學歷(持有學士學位)(985,211優先),計算機相關專業,五年工作經驗;
2、二年以上數據挖掘項目經驗,完整參與過數據挖掘大數據平臺的架構開發過程,具備互聯網行業背景優先;
3、精通分布式計算框架(hadoop、spark、Storm等)及相關經驗,熟練掌握Hive/SQL,Python,熟悉Python、R相關數值科學計算庫(NumPy,SciPy等);
4、了解傳統的BI/DW 理論,能結合傳統BI實踐設計大數據平臺;
5、熟悉常用機器學習算法(如分類、回歸、聚類、關聯規則等)及其原理,具備應用場景經驗,如用戶畫像、商品關聯度分析、輿情分析;
6、熟悉主數據、元數據、數據質量、和數據建模等數據治理相關的體系和方法;
7、具備較強的邏輯思維能力、數據敏感度,擅于利用數據發現問題及解決問題;
大數據架構師崗位的工作職責 篇26
職責:
1、負責大數據平臺技術框架的技術選型和搭建;
2、負責核心技術問題公關,建設高可靠性,擴展性及高性能大數據/數據應用平臺;
3、負責規劃數據挖掘的整體流程,負責大數據開發團隊業務需求開發;
4、與其他團隊密切配合,尋求數據層面的業務價值,利用數據分析結論推動產品優化;
5、研究和分享大數據架構領域新技術。
任職要求:
1、計算機相關專業全日制統招本科及以上;
2、5年以上工作經驗,至少3年以上大數據項目相關工作經驗,能夠設計大型大數據系統的架構和技術方案;
3、精通Hadoop/Spark/Hbase/Hive等大數據技術,精通ETL技術;
4、熟悉數據挖掘,了解典型大數據算法和策略;
5、熟悉主流Java技術框架,精通關系型數據庫及SQL語言,熟悉NoSQL/JSON/XML;
6、有較強的學習能力和問題解決能力,邏輯嚴密、思路清晰;
7、有數據倉庫經驗者優先,有金融行業項目經驗者優先。
大數據架構師崗位的工作職責 篇27
職責:
1、負責DMP技術架構設計與構建,根據業務規劃及技術規劃制定應用架構方案;
2、負責設計構建DMP數據采集、存儲及分析框架,設計數據處理的技術流程和規范;
3、負責核心功能的架構與代碼模板編寫,開發與維護系統公用核心模塊;
4、負責基于大數據技術的海量數據的自動化分析處理和統計工作。
崗位要求:
1、計算機或相關專業本科以上學歷,三年以上的開發經驗,二年以上大數據相關軟件架構的實際經驗;
2、精通大數據處理技術,熟悉Hadoop/Storm技術體系,有Hadoop、Hive、Hbase項目經驗;
3、具有較強的架構能力,具有分布式計算、實時計算、數據倉庫、數據挖掘系統的架構經歷優先;
4、對數據敏感,洞察力強,了解國內外廣告發展趨勢;
5.、擅長系統分析與設計,精通常用的設計模式,擅長性能調優;
6、熟悉DMP/RTB技術原理,了解用戶的行為分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等廣告行業從業經歷。
大數據架構師崗位的工作職責 篇28
職責:
1、負責規劃科技大數據平臺及科技數據入庫自動化的方案設計;
2、負責大數據平臺的開發和維護,以及對外服務接口的開發;
3、負責大數據平臺的優化和改進工作。
任職要求
1、計算機相關專業本科及以上學歷,5年以上開發經驗,其中3年以上為互聯網、大數據相關的開發經驗;
2、熟知Hadoop生態圈體系,精通Hadoop/Spark/Storm/Kafka中的一項或幾項,深刻理解MapReduce的運行原理和機制,有MPI經驗者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相關數據庫的構建和操作,尤其是數據庫集群的構建和操作,熟悉Neo4j者尚佳;
4、具有機器學習相關項目經驗者優先。
大數據架構師崗位的工作職責 篇29
職責:
1、大數據平臺架構規劃與設計;
2、負責大數據平臺技術框架的選型與技術難點攻關;
3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作,根據系統的業務需求,能夠指導開發團隊完成實施工作;
4、負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,為相關的業務提供大數據底層平臺的支持和保證;
5、培養和建立大數據團隊,對團隊進行技術指導。
任職要求:
1、計算機相關專業的背景專業一類院校畢業本科、碩士學位,8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);
2、精通Java,J2EE 相關技術,精通常見開源框架的架構,精通關系數據庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;
3、精通SQL和Mapreduce、Spark處理方法;
4、精通大數據系統架構,熟悉業界數據倉庫建模方法及新的建模方法的發展,有DW,BI架構體系的專項建設經驗;
5、對大數據體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術,并能設計相關數據模型;
6、很強的學習、分析和解決問題能力,可以迅速掌握業務邏輯并轉化為技術方案,能獨立撰寫項目解決方案、項目技術文檔;
7、具有較強的內外溝通能力,良好的團隊意識和協作精神;
8、機器學習技術、數據挖掘、人工智能經驗豐富者優先考慮;
9、 具有能源電力行業工作經驗者優先。
大數據架構師崗位的工作職責 篇30
職責:
1、 負責大數據倉庫、數據集市的規劃及實現,負責大數據中臺的設計和核心開發工作;
2、 負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,為公司的業務提供大數據底層平臺的支持和保證;
3、 大數據平臺的數據采集、處理、存儲以及挖掘分析的架構實現;
4、 研究未來數據模型和計算框架的創新與落地,包括但不限于以下領域:大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面,參與制定并實踐團隊的技術發展路線
任職資格:
1、 精通數據建模、數據標準管理、元數據管理、數據質量管理;
2、 有作為技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;
3、 熟悉目前正在發展的大數據分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、flink、spark等;
4、 性格積極樂觀,誠信,能自我驅動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力; 在數據業界有一定的影響力優先,具有風控經驗背景的人優先;
5、 具備獨立的深度思考能力,給出結合實際情況的較為理想的技術解決方案。