大數(shù)據(jù)架構師的崗位職責（通用15篇）
大數(shù)據(jù)架構師的崗位職責 篇1
職責：
1、搭建基于Hadoop/Spark的數(shù)據(jù)挖掘體系和大數(shù)據(jù)分析系統(tǒng)架構;
2、研究大數(shù)據(jù)領域前沿數(shù)據(jù)挖掘技術，并引入相應技術在數(shù)據(jù)中心的使用;
3、進行大數(shù)據(jù)系統(tǒng)框架設計、模型算法開發(fā);
4、負責大型數(shù)據(jù)挖掘項目方案制定、項目實施落地及優(yōu)化等 ;
5、開展數(shù)據(jù)爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領域數(shù)據(jù)挖掘工作;
任職資格：
1、本科以上學歷(持有學士學位)(985，211優(yōu)先)，計算機相關專業(yè)，五年工作經(jīng)驗;
2、二年以上數(shù)據(jù)挖掘項目經(jīng)驗，完整參與過數(shù)據(jù)挖掘大數(shù)據(jù)平臺的架構開發(fā)過程，具備互聯(lián)網(wǎng)行業(yè)背景優(yōu)先;
3、精通分布式計算框架(hadoop、spark、Storm等)及相關經(jīng)驗，熟練掌握Hive/SQL，Python，熟悉Python、R相關數(shù)值科學計算庫(NumPy,SciPy等);
4、了解傳統(tǒng)的BI/DW 理論，能結合傳統(tǒng)BI實踐設計大數(shù)據(jù)平臺;
5、熟悉常用機器學習算法(如分類、回歸、聚類、關聯(lián)規(guī)則等)及其原理，具備應用場景經(jīng)驗，如用戶畫像、商品關聯(lián)度分析、輿情分析;
6、熟悉主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、和數(shù)據(jù)建模等數(shù)據(jù)治理相關的體系和方法;
7、具備較強的邏輯思維能力、數(shù)據(jù)敏感度，擅于利用數(shù)據(jù)發(fā)現(xiàn)問題及解決問題;
大數(shù)據(jù)架構師的崗位職責 篇2
職責：
1、負責大數(shù)據(jù)開發(fā)團隊建設;
2、負責行業(yè)大數(shù)據(jù)產(chǎn)品架構設計與研發(fā);
3、負責帶領團隊進行行業(yè)大數(shù)據(jù)產(chǎn)品關鍵技術攻關。
任職要求：
1、有三年以上大數(shù)據(jù)應用、開發(fā)經(jīng)驗;具備海量數(shù)據(jù)加工處理(ETL)相關經(jīng)驗，對數(shù)據(jù)挖掘及機器學習有較為深刻的理解;
2、熟悉Hadoop相關技術，對HDFS、MapReduce、Hive、HBase有一定的使用和開發(fā)經(jīng)驗;
3、熟悉Linux，熟練使用Shell或Python，進行腳本編寫;
4、對數(shù)據(jù)結構和數(shù)據(jù)統(tǒng)計分析算法有較為深刻理解;
5、掌握至少一種主流關系數(shù)據(jù)庫開發(fā)技術：Oracle、SQL Server、MySQL等;
6、掌握實時流計算技術，有Spark、Storm開發(fā)經(jīng)驗者優(yōu)先;
7、需要具備2年以上研發(fā)團隊管理經(jīng)驗。
大數(shù)據(jù)架構師的崗位職責 篇3
職責：
1.負責公司大數(shù)據(jù)底層框架的整體架構設計，結合公司實際業(yè)務情況進行技術選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;
2.負責統(tǒng)一數(shù)據(jù)平臺項目的整體評估、設計、架構及關鍵模塊的開發(fā)，不斷提升系統(tǒng)的穩(wěn)定性和效率;
3.負責架構優(yōu)化及系統(tǒng)關鍵模塊的設計開發(fā)，協(xié)助團隊解決開發(fā)過程中的技術難題;
4.建立良好的公司內(nèi)外的業(yè)界技術影響力;有效輔導團隊，提升數(shù)據(jù)研發(fā)能力;
任職要求：
1.從事大數(shù)據(jù)項目相關開發(fā)和設計2年以上經(jīng)驗;有作為技術負責人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)實踐經(jīng)驗優(yōu)先;
2.擁有一定的算法和數(shù)據(jù)結構基礎;有很強的數(shù)據(jù)設計抽象能力，善于從復雜的數(shù)據(jù)問題中找到關鍵路徑;
3.熟悉目前正在發(fā)展的大數(shù)據(jù)分布式平臺前沿技術的應用;包括但不僅僅限于：hadoop、storm、spark、等;
4. 良好的邏輯思維能力，良好的業(yè)務解讀能力，懂電力或通信業(yè)務優(yōu)先;
5.具有鉆研精神，樂于接受挑戰(zhàn);
大數(shù)據(jù)架構師的崗位職責 篇4
職責:
1)負責公司軟件產(chǎn)品整體架構的設計和關鍵功能實現(xiàn)
2)負責公司架構長期看護以及優(yōu)化;
3)負責軟件部門各模組間的協(xié)調(diào)配合;
4)提高鞏固軟件代碼質(zhì)量;
5)負責大數(shù)據(jù)流式框架的設計、優(yōu)化及部署;
6)規(guī)劃研發(fā)部門員工的技術發(fā)展路線并提供必要的幫助和指導
任職資格:
1)本科及以上學歷，計算機相關專業(yè)，5年以上工作經(jīng)驗;
2)頻繁換工作，比如一年一個公司，請繞路;
3)3年以上產(chǎn)品架構經(jīng)驗，主導過產(chǎn)品的成功上線;
4)對底層設備通訊協(xié)議，B/S系統(tǒng)，手機APP開發(fā)等都有一定的了解;
5)對各種主流語言C#\Java\Pathon有一定的了解
5)精通各種大數(shù)據(jù)架構，并深入研究過其中一種，有storm\kafka等流式實時處理經(jīng)驗為佳
6)能夠承擔較強的工作壓力，有良好的自我驅(qū)動能力和責任感;
7)具備優(yōu)秀的邏輯思維能力、表達能力、溝通協(xié)調(diào)能力。
大數(shù)據(jù)架構師的崗位職責 篇5
職責：
1、負責公司大數(shù)據(jù)產(chǎn)品的架構設計，包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)應用，并完成相關架構設計文檔的撰寫;
2、參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應用的整體流程，并參與相關產(chǎn)品的決策;
3、負責解決核心技術問題，對技術方案進行決策;
4、負責大數(shù)據(jù)研發(fā)團隊建設、人才梯隊培養(yǎng)和技術團隊管理;
5、積極了解業(yè)界發(fā)展，研究與跟蹤大數(shù)據(jù)新技術發(fā)展方向。
任職要求：
1、精通GoldenGate For BigData相關理論，具備大型數(shù)據(jù)利用的生產(chǎn)實戰(zhàn)經(jīng)驗;
2、精通數(shù)據(jù)驅(qū)動的理論，設計并生產(chǎn)上線相關數(shù)據(jù)驅(qū)動的產(chǎn)品;
3、精通常用消息中間件的使用，例如kafka/RocketMQ/Apache Pulsar，有解讀相關源碼者優(yōu)先;
4、掌握hadoop、spark生態(tài)體系相關產(chǎn)品的使用，掌握MapReduce編程或Spark編程;
5、了解傳統(tǒng)數(shù)據(jù)倉庫理論及相關ETL工具，例如kettle/datastage;
6、熟悉Oracle、Mongodb、Mysql數(shù)據(jù)庫的使用;
7、扎實的Java語言基礎，熟悉Java開發(fā)工具和調(diào)試工具的使用;
8、良好的團隊協(xié)作精神，有能力對團隊在軟件設計、實現(xiàn)和測試方面進行指導;
9、良好的邏輯分析能力和溝通能力，執(zhí)行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神，有一定的推動能力;
10、計算機科學、信息技術或相關領域本科以上學歷，具有5年以上數(shù)據(jù)平臺項目開發(fā)經(jīng)驗，3年以上的架構設計經(jīng)驗，具有大數(shù)據(jù)平臺應用大型項目架構設計經(jīng)驗優(yōu)先;
大數(shù)據(jù)架構師的崗位職責 篇6
職責：
1. 負責大數(shù)據(jù)基礎平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構設計和研發(fā);
2. 負責實時計算平臺基礎架構設計、部署、監(jiān)控、優(yōu)化升級;
3. 制定項目/數(shù)據(jù)倉庫設計及實現(xiàn)規(guī)范，指導設計研發(fā)和部署;
4. 協(xié)助策略和算法團隊工作，保障數(shù)據(jù)挖掘建模和工程化;
5. 深入研究大數(shù)據(jù)相關技術和產(chǎn)品，跟進業(yè)界先進技術。
任職要求：
1. 全日制本科及以上學歷，5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗，3年以上大數(shù)據(jù)系統(tǒng)架構經(jīng)驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態(tài)圈;
3. 具備Java/C++/Scala等開發(fā)經(jīng)驗，熟悉數(shù)據(jù)挖掘和分析的策略與算法;
4. 具備良好的系統(tǒng)分析能力、故障診斷能力;
5. 有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先;
6、211/985 重點學校畢業(yè)優(yōu)先。
大數(shù)據(jù)架構師的崗位職責 篇7
職責：
1、負責公司大數(shù)據(jù)底層框架的整體架構設計，結合公司實際業(yè)務情況進行技術選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;
2、負責公司項目的整體評估、設計、架構及關鍵模塊的開發(fā);
3、負責架構優(yōu)化，協(xié)助團隊解決開發(fā)過程中遇到的技術難題;
4、負責新技術的調(diào)研和大數(shù)據(jù)相關開源組件的研究，并能在團隊進行推廣應用;
5、參與數(shù)據(jù)分析、數(shù)據(jù)建模、項目核心模塊及核心框架的開發(fā);
6、負責大數(shù)據(jù)平臺的性能條有和問題診斷。
任職要求：
1、計算機相關專業(yè)，本科及以上學歷，3-5年以上工作經(jīng)驗，2-3年大數(shù)據(jù)相關經(jīng)驗;
2、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底，負責過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設計;
3、對基于Hadoop的大數(shù)據(jù)體系有深入的認識，具備相關產(chǎn)品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)項目應用研發(fā)經(jīng)驗，有Hadoop集群搭建和管理經(jīng)驗，度過Hadoop和Spark源碼;
4、熟悉Linux和Python語言，了解Scala原理和底層技術;
5、熟悉分布式系統(tǒng)的架構及對其進行設計和優(yōu)化，對海量數(shù)據(jù)的清晰、分析處理及存儲有相關的實戰(zhàn)經(jīng)驗;
6、算法基礎扎實，熟悉常見的數(shù)據(jù)結構，深入理解分布式算法和以上提到的分布式系統(tǒng)，
7、必須有一線coding的能力;
8、有統(tǒng)計學、數(shù)學知識，海量數(shù)據(jù)處理、分析和挖掘，大型互聯(lián)網(wǎng)公司從業(yè)經(jīng)歷著優(yōu)先。
大數(shù)據(jù)架構師的崗位職責 篇8
職責：
1、負責企業(yè)大數(shù)據(jù)平臺的基礎建設、管理及制定拓展規(guī)劃;
2、負責大數(shù)據(jù)平臺相關自動化服務工具的設計、開發(fā);
3、參與Hadoop、Hbase、Spark等核心平臺組件的開發(fā)、優(yōu)化;
4、對平臺特殊場景化的數(shù)據(jù)應用制定相關實踐方案;
5、大數(shù)據(jù)團隊的搭建。
任職資格:
1、統(tǒng)招本科以上學歷，計算機等相關專業(yè)，5年以上工作經(jīng)驗;
2、具有Hadoop等大規(guī)模集群管理經(jīng)驗、海量(PB)數(shù)據(jù)處理經(jīng)驗;
3、精通Hadoop、Hive、Hbase等離線平臺相關組件的原理機制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系統(tǒng);
5、熟悉高并發(fā)、分布式開發(fā)等相關知識，具有后端服務優(yōu)化相關經(jīng)驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心，工作積極，對新領域新技術有熱情。
大數(shù)據(jù)架構師的崗位職責 篇9
職責：
1. 負責大數(shù)據(jù)基礎平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構設計和研發(fā);
2. 負責實時計算平臺基礎架構設計、部署、監(jiān)控、優(yōu)化升級;
3. 制定項目/數(shù)據(jù)倉庫設計及實現(xiàn)規(guī)范，指導設計研發(fā)和部署;
4. 協(xié)助策略和算法團隊工作，保障數(shù)據(jù)挖掘建模和工程化;
5. 深入研究大數(shù)據(jù)相關技術和產(chǎn)品，跟進業(yè)界先進技術;
任職要求：
1. 全日制本科及以上學歷，5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗，3年以上大數(shù)據(jù)系統(tǒng)架構經(jīng)驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態(tài)圈;
3. 具備良好的系統(tǒng)分析能力、故障診斷能力;
4 有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先。
大數(shù)據(jù)架構師的崗位職責 篇10
職責:
1、對業(yè)務需求深入分析，從而進行大數(shù)據(jù)平臺核心應用的架構設計、開發(fā)和技術支持;
2、規(guī)劃業(yè)務應用系統(tǒng)和基礎平臺的技術架構，參與需求分析、建模、架構設計、技術決策以及詳細設計;
3、把握復雜系統(tǒng)的設計，確保系統(tǒng)的架構質(zhì)量，編寫核心部分代碼;
4、帶領團隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術難關;
5、在大數(shù)據(jù)平臺建設路線圖指導下，進行架構實施和交付物投遞，同時確保研發(fā)質(zhì)量和方向的準確性;
6、進行團隊技術的培訓和梯隊建設崗位要求;
任職條件:
1、本科或以上學歷，計算機相關專業(yè)，8年以上研發(fā)經(jīng)驗，3年以上大數(shù)據(jù)平臺相關工作經(jīng)驗;
2、精通Java開發(fā)技術，熟悉Shell、Scala語言和PYTHON優(yōu)先;
3、編程基礎扎實，熟悉I/O、多線程、集群等基礎框架和原理，熟悉分布式、緩存、消息等機制;
4、熟悉常用設計模式，代碼評審規(guī)則，單元測試，持續(xù)集成;
5、熟悉AWS云服務或阿里云服務;
6、熟悉容器技術原理、生態(tài)系統(tǒng)，熟悉Docker、Mesos、Kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應用生命周期。
大數(shù)據(jù)架構師的崗位職責 篇11
1. 負責數(shù)瀾大數(shù)據(jù)平臺的架構設計和研發(fā)，建立數(shù)據(jù)生態(tài)服務，解決海量數(shù)據(jù)面臨的挑戰(zhàn);
2. 管理和優(yōu)化Hadoop、Spark等集群，計算作業(yè)的調(diào)優(yōu)，保證集群和平臺的高效和穩(wěn)定;
3. 負責Hadoop、Spark、Flink的功能、性能和擴展，解決并實現(xiàn)業(yè)務需求;
4. 負責大數(shù)據(jù)產(chǎn)品的自動化、離線與實時計算、即席計算、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、機器學習等平臺的設計和開發(fā);
5. 調(diào)研和把握當前的最新技術，將其中的先進技術引入到自己的平臺中，改善產(chǎn)品，提升競爭力;
大數(shù)據(jù)架構師的崗位職責 篇12
職責:
1、從事電信行業(yè)大數(shù)據(jù)項目相關業(yè)務調(diào)研、產(chǎn)品標準建設、核心模型設計和優(yōu)化、系統(tǒng)測試等相關工作
2、與數(shù)據(jù)專業(yè)委員會一起研究數(shù)據(jù)建模方案和建模工具，負責產(chǎn)品線產(chǎn)品的數(shù)據(jù)架構、數(shù)據(jù)模型設計
3、參與研究數(shù)據(jù)庫之間的數(shù)據(jù)轉(zhuǎn)換方式，參與項目中的數(shù)據(jù)移植工作，收集在項目中的數(shù)據(jù)移植經(jīng)驗，優(yōu)化產(chǎn)品的數(shù)據(jù)模型
4、負責培訓本部門隊伍的數(shù)據(jù)模型基礎理論工作，建立數(shù)據(jù)模型團隊
崗位要求：
1、統(tǒng)招本科學歷，3年以上主流數(shù)據(jù)上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發(fā)經(jīng)驗，具備大型數(shù)據(jù)倉庫邏輯模型和物理模型設計經(jīng)驗，精通SQL，有較好的SQL性能調(diào)優(yōu)經(jīng)驗;
2、擁有Python，R等數(shù)學建模工具的使用經(jīng)驗，并具備一定的數(shù)據(jù)處理和建模經(jīng)驗，可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據(jù)方法并對其進行完整的解釋和說明;
3、熟悉統(tǒng)計學基本原理，做過實戰(zhàn)的數(shù)據(jù)建模項目;
4、有分布式數(shù)據(jù)倉庫建設相關經(jīng)驗者優(yōu)先，具備電信行業(yè)數(shù)據(jù)倉庫建設相關經(jīng)驗者優(yōu)先;
大數(shù)據(jù)架構師的崗位職責 篇13
職責：
負責公司大數(shù)據(jù)產(chǎn)品架構的設計與實現(xiàn);
配合大數(shù)據(jù)產(chǎn)品經(jīng)理完成產(chǎn)品的快速研發(fā)與交付;
負責大數(shù)據(jù)產(chǎn)品架構的持續(xù)優(yōu)化設計;
負責大數(shù)據(jù)產(chǎn)品核心組件設計;
負責大數(shù)據(jù)相關數(shù)據(jù)架構規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)庫設計以及大數(shù)據(jù)產(chǎn)品研發(fā)工作;
為應用開發(fā)團隊提供技術支撐。
任職要求：
本科及以上學歷，3年以上的大數(shù)據(jù)開發(fā)經(jīng)驗、
2年以上大數(shù)據(jù)架構設計經(jīng)驗;
豐富的JAVA研發(fā)經(jīng)驗，精通JAVA，熟悉Python Scala等編程語言;具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎，熟悉分布式計算系統(tǒng)的工作機制，具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構設計經(jīng)驗;
熟悉整個大數(shù)據(jù)的完整處理流程(數(shù)據(jù)的采集、清洗、預處理、存儲、分析挖掘、機器學習和數(shù)據(jù)可視化);
精通各種大數(shù)據(jù)相關技術體系：Hadoop、Spark、Storm、ElasticSearch、Kafka;
有數(shù)據(jù)挖掘、機器學習相關應用或研究背景;
溝通能力較好，積極主動意識較強，責任心較強。
大數(shù)據(jù)架構師的崗位職責 篇14
職責：
1、負責大數(shù)據(jù)平臺的技術選型，基于Spark、Hadoop大數(shù)據(jù)平臺建設和開發(fā);
2、完成包括數(shù)據(jù)模型設計、數(shù)據(jù)采集、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構的設計和數(shù)據(jù)層架構設計;
3、構建數(shù)據(jù)中臺，為多種行業(yè)應用提供主數(shù)據(jù)(畫像標簽/關系圖譜)、數(shù)據(jù)模型、人工智能業(yè)務算法及數(shù)據(jù)服務。
4、對海量數(shù)據(jù)處理的業(yè)務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā);
5、帶領大數(shù)據(jù)技術團隊提供并實現(xiàn)大數(shù)據(jù)平臺上各項數(shù)據(jù)分析和數(shù)據(jù)可視化的架構設計，支撐解決方案實施。
任職要求：
1、本科及以上學歷，具有5年及以上大數(shù)據(jù)架構設計和開發(fā)經(jīng)驗;2年及以上帶領團隊經(jīng)驗;溝通能力強。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構設計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設計經(jīng)驗、主導過大型商業(yè)軟件的架構設計并取得過市場商業(yè)成功者優(yōu)先考慮;
2、熟悉整個大數(shù)據(jù)的完整處理流程，包括數(shù)據(jù)的采集、清洗、預處理、存儲、分析挖據(jù)、機器學習和數(shù)據(jù)可視化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數(shù)據(jù)庫的使用，并能進行性能調(diào)優(yōu);
4、具備優(yōu)秀的團隊意識和溝通能力，學習能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰(zhàn)。
大數(shù)據(jù)架構師的崗位職責 篇15
職責：
1、負責大數(shù)據(jù)平臺架構的規(guī)劃與設計;
2、負責大數(shù)據(jù)平臺技術框架的選型與技術難點攻關;
3、參與企業(yè)級大數(shù)據(jù)產(chǎn)品和應用規(guī)劃;
4、研究跟進大數(shù)據(jù)架構領域新技術并分享;
5、大數(shù)據(jù)處理和分析應用平臺的設計指導。
任職資格：
1、 具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎，熟悉分布式計算系統(tǒng)的工作機制，具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構設計經(jīng)驗;
2、熟悉BI平臺架構及相關項目標準，大數(shù)據(jù)解決方案包括Hadoop、Spark、Storm、機器學習等大數(shù)據(jù)平臺解決方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流數(shù)據(jù)數(shù)據(jù)庫;
4、 精通Linux/Unix環(huán)境，精通J java、scala、python、R中的一種或多種語言;
5、 具備優(yōu)秀的團隊意識和溝通能力，學習能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰(zhàn);
6、大專及以上學歷，3年及以上工作經(jīng)驗。