大數(shù)據(jù)運維工程師的崗位職責（通用12篇）

大數(shù)據(jù)運維工程師的崗位職責 篇1

　　職責：

　　1. 負責公司核心集群的運維工作,保證其高可用和穩(wěn)定性。

　　2. 負責集群容量規(guī)劃、擴容及集群性能優(yōu)化。

　　3. 深入研究大數(shù)據(jù)業(yè)務相關運維技術，持續(xù)優(yōu)化集群服務架構，探索新的Hadoop運維技術及發(fā)展方向。

　　4. 設計實現(xiàn)分布式集群的運維、監(jiān)控和管理平臺。

　　職位要求：

　　1.2年以上中等規(guī)模集群環(huán)境下的Hadoop/Impala/Hive/Spark集群相關運維經(jīng)驗。

　　2.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關參數(shù)調優(yōu), 性能優(yōu)化等有實際經(jīng)驗。

　　3.有實際踩坑經(jīng)歷, 對于相關組件的版本跟進, 補丁跟蹤, bug追蹤等有相關經(jīng)驗。

　　4.實際處理過各種集群在線版本升級, 數(shù)據(jù)遷移, 集群擴容, 穩(wěn)定性監(jiān)控等工作。

　　4.熟悉Kerberos安全認證系統(tǒng)，實施過集群權限管理, 資源隔離方面的方案規(guī)劃或二次開發(fā)工作。

　　5.有Cloudera的CM使用經(jīng)驗尤佳。

大數(shù)據(jù)運維工程師的崗位職責 篇2

　　職責：

　　1.負責公司大數(shù)據(jù)業(yè)務集群的運維工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)確保高可用;

　　2.負責大數(shù)據(jù)平臺的日常部署、升級、擴容、遷移;

　　3.設計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;

　　4.參與業(yè)務架構設計，在設計階段給出可運維性改進建議;

　　5.深入研究大數(shù)據(jù)業(yè)務相關運維技術，持續(xù)優(yōu)化集群服務架構，探索新的大數(shù)據(jù)運維技及發(fā)展方向;

　　6.兼顧應用系統(tǒng)的運維工作。

　　任職要求：

　　1.要求掌握java、shell語言，有Spring Cloud微服務架構開發(fā)經(jīng)驗的優(yōu)先;

　　2.了解Docker，可以做簡單應用;

　　3.熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等開源項目優(yōu)先;

　　4.熟悉Linux操作系統(tǒng)的配置、管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層面的問題;

　　5.掌握puppet、kerberos應用的優(yōu)先;

　　6.良好的客戶服務意識，強烈的責任心和使命感，執(zhí)行力強，富有團隊合作精神;

　　7.對大數(shù)據(jù)方向運維有很高的熱情和興趣，能主動學習了解相關知識;

大數(shù)據(jù)運維工程師的崗位職責 篇3

　　職責：

　　1、負責公司大數(shù)據(jù)平臺的部署、管理、優(yōu)化、監(jiān)控報警，保障平臺服務7*24穩(wěn)定可靠高效運行;

　　2、深入理解公司大數(shù)據(jù)平臺架構，發(fā)現(xiàn)并解決性能瓶頸，支撐業(yè)務和數(shù)據(jù)量的快速增長;

　　3、開發(fā)大數(shù)據(jù)自動化運維、監(jiān)控報警、故障處理相關腳本和工具;

　　4、負責Hadoop/spark/Mysql等集群服務、業(yè)務監(jiān)控、持續(xù)交付、應急響應、容量規(guī)劃等。

　　任職要求：

　　1、3年以上互聯(lián)網(wǎng)運維相關工作經(jīng)驗，2年以上大數(shù)據(jù)平臺運維相關工作經(jīng)驗;

　　2、具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上腳本語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協(xié)議;

　　3、熟悉Hadoop大數(shù)據(jù)生態(tài)圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;

　　4、熟悉Hadoop各組件的原理和實現(xiàn)，有實際部署維護、管理( 包括元數(shù)據(jù)管理)及優(yōu)化經(jīng)驗。并擁有持續(xù)調優(yōu)能力，運維管理過大規(guī)模數(shù)據(jù)平臺;

　　5、熟悉 Kubernetes(K8s) 集群 Docker 在大數(shù)據(jù)環(huán)境場景的使用;

　　6、熟悉Linux(redhat/centos)軟硬件環(huán)境、系統(tǒng)管理和優(yōu)化，熟練部署、優(yōu)化各種常用服務

　　7、有Java開發(fā)經(jīng)驗和閱讀源碼能力者優(yōu)先。

大數(shù)據(jù)運維工程師的崗位職責 篇4

　　職責：

　　1、負責公司服務器日常的維護，包括巡檢、故障排除、數(shù)據(jù)備份等業(yè)務，保證服務器高質量、高效率運行狀態(tài);

　　2、負責公司大數(shù)據(jù)產(chǎn)品的現(xiàn)場實施，制定可靠的實施方案;

　　3、負責公司大數(shù)據(jù)環(huán)境(hadoop生態(tài))集群環(huán)境安裝、維護、部署、優(yōu)化;

　　【任職資格】

　　1、至少2年服務器、大數(shù)據(jù)集群運維經(jīng)驗;

　　2、精通linux運維命令，熟悉Linux的維護和管理，熟悉Shell腳本開發(fā)，能看懂Python/Scala優(yōu)先;

　　3、熟悉大數(shù)據(jù)項目實施：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數(shù)據(jù)生態(tài)的平臺搭建，監(jiān)控，運維，調優(yōu)、生產(chǎn)環(huán)境;

　　4、熟悉docker技術優(yōu)先;

　　5、熟練使用git版本控制，jenkins持續(xù)集成工具優(yōu)先;

　　6、具備強烈的進取心、自我學習能力,良好的溝通能力和團隊合作意識。

大數(shù)據(jù)運維工程師的崗位職責 篇5

　　職責：

　　負責公司大數(shù)據(jù)業(yè)務集群的運維工作、集群容量規(guī)劃、擴容及性能優(yōu)化;

　　設計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;

　　參與業(yè)務架構設計，在設計階段給出可運維性改進建議;

　　深入研究大數(shù)據(jù)業(yè)務相關運維技術，持續(xù)優(yōu)化集群服務架構，探索新的大數(shù)據(jù)運維技及發(fā)展方向;

　　負責公司大數(shù)據(jù)平臺的應用監(jiān)控、容量管理，應急響應等;

　　領導安排的其他工作。

　　任職要求：

　　1、本科及以上學歷，軟件工程、計算機等相關專業(yè);

　　2、熟悉計算機原理、網(wǎng)絡原理等知識;至少2年以上運維或開發(fā)工作經(jīng)驗;

　　3、搭建，管理及調優(yōu)Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等開源項目優(yōu)先;

　　4、至少掌握java/python/go中的一種語言;

　　5、熟悉HBase/Flink/mysql/redis運維優(yōu)先;

　　6、熟悉zabbix/graphit/grafana加分;

　　7、具有很強的分析和解決問題的能力;

　　8、具有攻克難題的強烈興趣，以及提升技術能力的意愿;

　　9、善于主動學習，責任心強，能夠承受較大的工作壓力。

大數(shù)據(jù)運維工程師的崗位職責 篇6

　　1、協(xié)助完成部門的文檔編制工作，能獨立完成系統(tǒng)的數(shù)據(jù)統(tǒng)計工作;

　　2、協(xié)助處理公司、分公司、各園區(qū)等網(wǎng)絡日常維護、故障排除等工作，保證網(wǎng)絡運行通暢、穩(wěn)定;

　　3、協(xié)助處理辦公設備、網(wǎng)絡及相關設備、電話系統(tǒng)、計算機軟硬件的管理維護、故障診斷與排除，在需要時可以進行基本的維修，負責病毒的查殺，維護網(wǎng)絡系統(tǒng)安全;

　　4、負責公司會議、培訓、活動等支持工作，對各部門提供IT技術支持，并積極主動配合各部門快速解決相關問題;

　　5、完成領導交辦的其他事項。

大數(shù)據(jù)運維工程師的崗位職責 篇7

　　職責：

　　1.負責IT日常桌面運維工作,處理電腦及打印機、投影儀等辦公設備各種軟硬件故障,以及軟件系統(tǒng)的安裝配置等;

　　2.負責辦公網(wǎng)絡(包括有線網(wǎng)絡、無線網(wǎng)絡)的維護與支持;

　　3.配合進行IT資產(chǎn)管理，機房日常檢查等工作 。

　　任職要求：

　　1、大專及以上學歷，計算機相關專業(yè);

　　2、具備優(yōu)秀的計算機軟、硬件知識，熟練掌握Windows、Mac及常用辦公軟件的安裝配置和維護管理;

　　3、能獨立分析處理常見的故障;

　　4、 具備網(wǎng)絡基礎知識，熟悉路由交換技術，并能對Cisco、華為、H3C等廠商設備安裝與調試，了解弱電工程及綜合布線。

大數(shù)據(jù)運維工程師的崗位職責 篇8

　　1。網(wǎng)絡推廣、網(wǎng)站SEO優(yōu)化、網(wǎng)絡營銷策劃、網(wǎng)站編輯、網(wǎng)頁設計、php后臺程序修改、網(wǎng)站流量提升及后期廣告投放獲取收入等。

　　2、熟悉網(wǎng)絡聯(lián)盟的廣告投放、效果跟蹤、分析，以及新聞媒體如搜狐、鳳凰網(wǎng)的新聞稿投放，品牌和企業(yè)宣傳，網(wǎng)絡危機公關等。3、 熟悉網(wǎng)店的維護管理。負責產(chǎn)品的上下架，會員管理，活動促銷等。

　　4、SNS營銷：新浪微博和微信公眾號的營銷、加粉、軟文寫作、推廣。

　　5、網(wǎng)站的軟文、新聞稿，網(wǎng)站的內容seo優(yōu)化及維護更新。

　　6、擁有豐富的互聯(lián)網(wǎng)工作經(jīng)驗，熟悉互聯(lián)網(wǎng)和網(wǎng)站的運營及盈利模式，以及移動互聯(lián)網(wǎng)營銷推廣等。

　　7、網(wǎng)絡在線咨詢，訪客來源分析、產(chǎn)品銷售。

　　8、計算機維護、局域網(wǎng)管理、網(wǎng)絡信息安全防范、網(wǎng)站和服務器漏洞修補、數(shù)據(jù)備份與恢復等。

大數(shù)據(jù)運維工程師的崗位職責 篇9

　　職責：

　　實現(xiàn)基于服務，應用的自動化部署;

　　建立和完善面向服務器，應用的監(jiān)控和報警技術和機制;

　　實現(xiàn)可靠的公司運維服務，保證平臺7*24小時的穩(wěn)定運行;

　　針對公司面向各個地區(qū)的核心業(yè)務設計并實現(xiàn)彈性的運維保障。

　　崗位要求

　　理解運維體系結構，精于容量規(guī)劃、架構設計、性能優(yōu)化;

　　熟悉服務管理、單元部署、自動擴容等運維系統(tǒng)建設;

　　熟悉故障、監(jiān)控、預案、擴容工作原理;

　　理解Linux、apache,tomcat,nginx系統(tǒng)原理，具備問題分析和快速處理能力;

　　熟悉SHELL,PYTHON,PERL等腳本類編程工具，并有使用提升效率案例;

　　對運維工作保持自我驅動的熱情，可以響應和處理各種線上運維問題;

　　具備很強的分析和解決問題的能力，擅長使用工具實現(xiàn)自動化，對于重復問題“0”容忍;

　　具備系統(tǒng)化排查問題思路，愛折騰，愛分享，優(yōu)秀的團隊協(xié)作及溝通能力。

大數(shù)據(jù)運維工程師的崗位職責 篇10

　　職責：

　　1、負責服務器部署，優(yōu)化整個大規(guī)模應用架構的設計、實施、后期疑難問題解決;

　　2、熟悉分布式系統(tǒng)運維，為大數(shù)據(jù)和云服務提供可靠的運維保障;

　　3、協(xié)助搭建完善高可用集群環(huán)境，負責MySQL、redis、Kakka等集群運維，以及負載均衡系統(tǒng)運維;

　　4、負責網(wǎng)絡、服務器、交換機、路由器、防火墻等軟硬件的安裝、配置、調試維護和管理;

　　5、協(xié)助完善自動監(jiān)控報警系統(tǒng)，對業(yè)務層面關鍵指標進行監(jiān)控與報警通知;

　　6、及時處理服務器宕機、病毒感染、黑客入侵等異常突發(fā)事件。

　　職位要求：

　　1、3年以上運維經(jīng)驗，精通Linux操作系統(tǒng)以及服務器群的網(wǎng)絡搭建、設置和維護;

　　2、熟悉網(wǎng)絡安全監(jiān)控、系統(tǒng)性能管理和調試、網(wǎng)絡性能管理;

　　3、精通MySQL數(shù)據(jù)庫管理、監(jiān)控和備份，集群搭建配置等，熟悉MongoDB、Cassandra等一種以上NoSQL數(shù)據(jù)庫;

　　4、熟悉服務器、存儲系統(tǒng)、路由器、交換機、負載均衡等網(wǎng)絡設備的搭建、配置、監(jiān)控維護，具有網(wǎng)絡維護、排障和系統(tǒng)化解決問題能力;

　　5、有自動化運維平臺構建經(jīng)驗，熟悉Ansible、Puppet、Saltstack、Zabbix、Ganglia、Cacti等開源工具的使用，并能夠根據(jù)需求擴展;

　　6、負責系統(tǒng)運維監(jiān)控體系建設，有大規(guī)模主機監(jiān)控經(jīng)驗者優(yōu)先;

　　7、有Hadoop、Spark、Docker等經(jīng)驗者優(yōu)先考慮。

大數(shù)據(jù)運維工程師的崗位職責 篇11

　　職責：

　　1、 負責公司網(wǎng)絡運維產(chǎn)品的技術支持服務，包括售前支持服務和技術服務;

　　2、 協(xié)助銷售經(jīng)理進行售前技術支持服務，深入挖掘客戶技術需求，為客戶提供相應解決方案，提供產(chǎn)品測試技術支持;

　　3、 負責網(wǎng)絡運維產(chǎn)品的解決方案、實施方案、投標書等文檔編寫工作。

　　4、 協(xié)助市場部的技術類相關工作。

　　任職要求：

　　1、 大學本科及以上學歷，計算機相關專業(yè)(優(yōu)先)。

　　2、 兩年以上技術支持經(jīng)驗，精通計算機網(wǎng)絡技術，對網(wǎng)絡運維管理有一定的認知。

　　3、 熟悉TCP/IP協(xié)議原理，有網(wǎng)絡管理軟件技術支持工作經(jīng)驗者優(yōu)先。

　　4、 良好的溝通能力和客戶服務意識;

　　5、 優(yōu)秀的文檔組織和編寫能力

大數(shù)據(jù)運維工程師的崗位職責 篇12

　　職責：

　　1.負責軟件系統(tǒng)日常維護工作，確保系統(tǒng)安全運行;應用環(huán)境的各類服務軟件的搭建和維護工作;

　　2.負責參與軟件的培訓與實施上線工作;

　　3.負責系統(tǒng)運維，日常軟件故障排除、系統(tǒng)優(yōu)化、安全優(yōu)化、網(wǎng)絡故障診斷及排除等各類技術故障處理;

　　4.負責對客戶在線支持、軟件運行過程中問題解答、應急現(xiàn)場支持等;

　　5.對已有的運維項目進行維護、更新及管理;

　　任職要求：

　　1.計算機相關專業(yè)，大專及以上學歷;1-3年相關經(jīng)驗

　　2.了解計算機網(wǎng)絡、硬件及常用軟件的相關知識;熟悉數(shù)據(jù)庫的基礎知識;

　　3.具備較強的溝通、合作能力;有強烈的責任心，工作踏實認真、積極主動;善于思考，學習能力強，能夠快速掌握專業(yè)知識;

　　4.熟練操作oracle或者Mysql者優(yōu)先。

　　5.熟悉一門開發(fā)語言者優(yōu)先，如java等。