大數據運維工程師的工作職責（通用14篇）

大數據運維工程師的工作職責 篇1

　　職責：

　　1. 完成大數據平臺日常運維工作(上線/日常監控/問題定位/腳本開發)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源組件;

　　2. 完成大數據自研平臺工具運營，比如報表平臺、調度平臺和性能監控平臺;

　　3. 提升系統可靠性，完善監控策略，優化運維流程，提升部門運維效率，保證7*24服務;

　　4. 參與開源社區建設，提升公司開源影響力;

　　任職條件：

　　1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源組件的搭建、維護以及問題定位;

　　2. 熟悉Linux操作系統，熟練掌握Linux常用命令,了解ansible/puppet;

　　3. 熟練掌握shell/python/java;

　　4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握數據庫的維護工作;

　　5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;

　　6. 有大數據平臺維護經驗優先;

　　7. 掌握dockerfile，了解大數據與k8s結合者優先;

　　8. 參與開源社區，有代碼貢獻或者高質量博客文章者優先;

大數據運維工程師的工作職責 篇2

　　職責：

　　1、負責和參與公司大數據基礎架構平臺規劃，運維，監控和優化工作，保障數據平臺服務的穩定性和可用性;

　　2、研究大數據前沿技術，改進現有系統的服務和運維架構，提升系統可靠性和可運維性;

　　3、負責和參與自動化運維系統及平臺的建設;

　　4、負責優化部門運維流程提升運維效率。

　　任職要求：

　　1、統招本科及以上學歷，計算機相關專業，2年以上互聯網運維工作經驗;

　　2、熟悉Linux操作系統及常見開源軟件(Nginx,Tomcat,Zabbix等)的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題;

　　3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運維方式;

　　4、精通Python,shell,了解JAVA;有良好的系統性能優化及故障排除能力;

　　5、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

　　6、具備較好的溝通能力、主動性和團隊合作精神。

大數據運維工程師的工作職責 篇3

　　職責：

　　1、負責大數據平臺架構的規劃、設計、搭建;

　　2、負責大數據平臺的運維保障工作;

　　3、負責運維相關數據分析，以及報表產出;

　　4、為線上服務高效穩定運行負責，支撐業務和數據量的快速擴張;

　　5、深入理解大數據平臺架構，發現并解決重大故障及性能瓶頸;

　　6、研究跟進大數據架構領域新技術并分享。

　　工作要求：

　　1、熟悉大數據產品生態圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;

　　2、精通Linux/Unix系統;

　　3、有數據分析經驗優先，精通一門以上腳本語言(shell/perl/python等)，熟悉java/C/C++/Golang等開發語言一種及以上;

　　4、有2年以上大數據平臺相關運維開發經驗，了解分布式平臺運行的原理，并有實際部署維護經驗;

　　5、學習能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰;

　　6、良好的服務意識，善于團隊協作，項目管理，主動思考，自我驅動力強。

大數據運維工程師的工作職責 篇4

　　職責：

　　1、負責Hadoop、HBase、Hive、Spark等大數據平臺 規劃、部署、監控、系統優化等，確保高可用;

　　2、負責公司大數據平臺的運維管理工作，集群容量規劃、擴容及性能優化;

　　3、處理公司大數據平臺各類異常和故障，確保系統平臺的穩定運行;

　　4、設計實現大規模分布式集群的運維、監控和管理平臺;

　　5、深入研究大數據業務相關運維技術，持續優化集群服務架構，探索新的大數據運維技及發展方向;

　　6、為數據倉庫、數據挖掘建模等數據應用項目提供運行環境支持。

　　崗位要求：

　　1、掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題;

　　2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發經驗優先;

　　3、熟悉 Hadoop生態及高性能緩存相關的各種工具并有實戰經驗，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

　　4、具有集群運維經驗，以及大負載下的容量評估、問題定位、架構優化等能力優先;有分布式系統(計算/存儲)開發經驗優先;

　　5、熟悉zabbix/ganglia/Prometheus/grafana系統的組合構件及使用;

　　6、精通ELK系統，有過大規模ELK配置管理、調優經驗，有過ElasticSearch搜索和分析引擎開發經驗者優先;

大數據運維工程師的工作職責 篇5

　　1.負責公司大數據業務集群的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保集群環境的穩定可用;

　　2.負責集群容量規劃、擴容及性能優化;

　　3.負責大數據集群性能監控與優化，故障處理，數據備份及容災恢復，集群出現異常時，能快速定位問題，并及時給出解決方案;

　　4.設計實現大規模分布式集群的運維、監控和管理平臺;

　　5.參與/主導業務架構設計，在設計階段給出可運維性改進建議;

　　6.深入研究大數據業務相關運維技術，持續優化集群服務架構，探索新的大數據運維技術及發展方向;

　　7.參與例如服務器維護、項目維護、監控維護等常見運維事務

大數據運維工程師的工作職責 篇6

　　職責：

　　1.日常監控報警處理、故障現場處理以及系統關聯的業務服務需求處理;

　　2.系統變更處理，如系統優化、漏洞修復、業務增加功能、系統漏洞修復等;

　　3.相關系統的項目前期測試、調研、以及實施和后期維護;

　　4.系統各類程序參數優化設置，以及應用系統版本升級，系統架構調整等;

　　5.系統故障報告編寫，以及系統維護相關文檔整理。

　　任職要求：

　　1、本科及以上學歷或同等學力，2年以上IT相關工作經驗;

　　2、熟悉linux或UNIX系統集成和運維管理，具有系統集成或項目實施經驗;

　　3、至少掌握一門腳本語言，不限于shell、python、perl;

　　4、性格開朗，吃苦耐勞，積極主動、樂觀向上，富有團隊精神，具有良好協調溝通能力，能承受較大工作壓力和工作強度，具有良好的工作態度與職業精神。

大數據運維工程師的工作職責 篇7

　　職責：

　　1.負責項目系統部署實施的過程執行;

　　2.負責日常系統維護、產品上線實施和故障處理;

　　3.負責收集系統維護過程中的系統缺陷和軟件缺陷，提出合理化改進建議和意見;

　　4.為目標客戶提供系統技術培訓和技術支持，完善系統維護知識庫建設。

　　任職要求：

　　1.具備專科及以上學歷，計算機、軟件等相關專業畢業，5年以上相關工作經驗;

　　2.具備千萬級用戶量/設備的大型互聯網/物聯網系統建設運維經驗及項目管理經驗，熟悉互聯網/物聯網系統主流架構;

　　3.熟悉Tomcat、Nginx、IIS、Redis、MQTT和Apache等主流中間件及Docker等容器技術;

　　4.熟悉windows server、Linux等主流操作系統的使用;

　　5.掌握Postgresql(主要)、Oracle、Mysql等主流數據庫的使用，包括存儲過程開發，能編寫高效SQL。

　　6.熟悉Zabbix、Telegraf+InfluxDB+Grafana等監控工具使用及Python腳本優化;

　　7.掌握SVN/Git/Puppet/jenkins等自動化運維工具，具備應用服務安裝配置、管理維護、故障分析和系統性能分析優化經驗。

大數據運維工程師的工作職責 篇8

　　職責：

　　1、負責業務系統基礎設施維護，保障服務器與數據庫安全，檢查并消除安全漏洞;數據備份、數據監控、應急響應、故障排除、編寫數據分析報告等。

　　2、負責Linux服務器的配置，維護，監控，調優，故障排除，網絡優化等;大用戶量下高性能服務器系統部署方案的制定及實施;

　　任職要求(任意三條):

　　1、擁有對業務流向的邏輯理解能力，對軟件相關流量中的安全性有所考慮，對安全設備、網絡設備有了解。

　　2、熟悉centos/redhat系列linux系統，有2年以上linux系統工作經驗;

　　3、熟悉常見的分布并發及負載均衡實現方案并有實際實施經驗，有負載壓力及并發量控制經驗;

　　4、熟練掌握Linux系統及常見服務的安裝配置，能靈活運用shell等相關腳本語言，熟悉mysql、Oracle等數據庫的部署、配置、數據備份機制等;

　　5、熟悉apache，nginx，php，squid，lvs，haproxy，mysql，redis，java等服務的安裝配置，有實際運維經驗者優先;

　　6、負責Linux服務器的配置，維護，監控，調優，故障排除，網絡優化等;大用戶量下高性能服務器系統部署方案的制定及實施;

大數據運維工程師的工作職責 篇9

　　1、系統運維、服務監控分析、故障排查，以及緊急情況下的應急處理;

　　2、遵循發布、變更流程，負責系統建設和運維工作，保證其高效、穩定工作;

　　3、研究服務架構，發現潛在問題，制定系統調整和優化方案，提高系統的健壯性和效率;

　　4、參與系統架構設計，建設和管理;

　　5、參與公司基礎網絡安全架構的建設，根據業務需求制定安全解決方案;

　　6、解決日常安全問題，在出現網絡攻擊或安全事件時進行緊急響應、恢復系統及調查取證。

大數據運維工程師的工作職責 篇10

　　職責：

　　1. 負責日常網絡及各子系統管理維護;

　　2. 負責設計并部署相關應用平臺，并提出平臺的實施、運行報告;

　　3. 負責配合開發搭建測試平臺，協助開發設計、推行、實施和持續改進;

　　4. 負責相關故障、疑難問題排查處理，編制匯總故障、問題，定期提交匯總報告;

　　5. 負責網絡監控和應急反應，以確保網絡系統有7*24小時的持續運作能力;

　　6. 負責日常系統維護及監控，提供IT軟硬件方面的服務和支持，保證系統的穩定。

　　素質要求及任職資格：

　　1.學歷： 專科以上。

　　2.專業： 計算機相關專業。

　　3.經驗： 一年以上相關工作經歷優先。

　　4.核心能力及業務技術要求：

　　A.熟悉Unix/linux和Windows系統，有IT系統維護經驗; 對操作系統、網絡、計算機安全有一定的深刻理解;

　　B.熟悉主流的交換機、路由器、防火墻等網絡設備及其技術應用;

　　C.熟悉主流web配置，包括IIS、apache、tomcat、nginx等;

　　D.熟悉負載均衡技術，lvs+keepalive+Heartbeat等集群技術;

　　E.精通或掌握SQLServer/Oracle/mysql等大型數據庫管理系統(之一)的安裝/配置和管理;

　　F.熟練掌握Linux監控軟件，如nagios等，監控系統安全控制及技術防范;

　　G.具備良好的分析和解決問題的能力，對于攻關疑難問題具有強烈的興趣;

　　H.性格開朗外向、善于學習,具備較強的服務意識、溝通協調能力、團隊協作能力;

　　I.良好的文檔編寫能力，較強的客戶服務意識，積極主動，吃苦耐勞, 高度的責任心及應急能力;

　　5.其它：身體狀態良好。

大數據運維工程師的工作職責 篇11

　　職責：

　　1. 負責公司服務器的運維工作，主要包括升級部署、備份恢復、日常巡檢、性能優化、配置操作等;

　　2. 搭建平臺監控工具、自動化運維工具;

　　3. 編寫運維手冊，制定運維計劃、操作規范、應急手冊等;

　　4. 及時響應問題，快速定位排查故障，優化網絡結構，提升用戶體驗;

　　5. 負責監控檢查系統軟件、服務運行狀態和操作記錄，并進行詳細的數據化記錄，定期匯總并上報給負責人;

　　任職要求：

　　1.本科及以上學歷，計算機通信相關專業，3年以上相關工作經驗;

　　2.熟練操作LINUX/WINDOWS操作系統的安裝、配置 及命令。

　　3.熟練操作ORACLE，編寫SQL語句，對用戶、表空間，數據文件有理解，并能擴大相關系統的表空間。

　　4.熟悉WEBLOGIC安裝及調優，定期對JAVA應用程序的發布和更新;

　　5.具備故障診斷和處理能力及應用系統和數據庫備份的運維經驗;

　　6.有較強的溝通協調能力及高度責任心

大數據運維工程師的工作職責 篇12

　　1、設計網絡設備、服務器及安全系統的拓撲結構

　　2、開展對公司各平臺服務器硬件的巡檢;桌面計算機軟硬件(計算機、顯示器、電話、網絡設施和其他附屬硬件設施，如打印機、掃描儀)安裝、配置、升級、運行維護與管理，保障桌面系統正常運行，滿足日常工作的需要;對網絡設備、服務器及安全系統等運行監控與管理，負責對公司綜合布線系統的維護與管理;撰寫運維技術文檔。

　　3、根據運維、巡檢報告等統計整理運維數據定期評估平臺的硬件、軟件的服務能力，出具評估報告。

　　4、完成領導交辦的其他工作。

大數據運維工程師的工作職責 篇13

　　職責:

　　1、 負責企業機房日常維護和巡檢工作

　　2、 負責機房內服務器、存儲等硬件設備的維護管理, 自動化運維系統的部署和管理，以及常見軟硬件故障的處理

　　3、 負責企業內核心應用數據庫的日常維護，數據備份、數據恢復以及數據庫的優化等工作

　　4、 負責各類服務器操作系統的維護和管理，包含Windows、Linux以及Unix服務器系統的日常維護

　　5、 負責云平臺系統的日常維護管理，虛擬機創建，資源分配、回收以及系統資源的日常監控和管理

　　任職資格:

　　1、 本科或以上學歷，計算機相關專業

　　2、 至少兩年以上 windows、linux 服務器運維管理經驗

　　3、 熟練掌握windows server、 liunx操作系統的安裝配置、系統管理以及系統優化

　　4、 熟練掌握oracle/mysql/sybase主流數據庫的配置與優化，數據備份與恢復，數據安全，數據遷移與歸檔，數據庫日常監控與管理

　　5、 具有豐富的系統軟件及其硬件的故障排除經驗，具備較強的分析及解決問題的能力，并善于主動總結和分享自己的工作經驗;

　　6、具有良好的服務意識，端正的服務態度，敢于吃苦，服從安排

大數據運維工程師的工作職責 篇14

　　職責：

　　1、 負責Windows，Linux服務器操作系統的安全加固，包括防病毒，應用防護等。

　　2、 負責安全滲透、安全加固及安全事件的應急響應，協助漏洞驗證等。

　　3、 負責定期對服務器進行漏洞掃描、端口掃描、弱密碼掃描，并整理報告。

　　4、 負責定期對運維人員，研發人員及測試人員進行安全培訓，提高整體的安全意識。

　　5、 負責對各類安全事件主導跟進，包括系統漏洞處理、防薅羊毛、DDOS防御及其他安全加固措施實施。

　　6、 負責等保三級的相關工作;

　　7、處理領導交辦的其他工作 。

　　崗位要求：

　　1、 計算機、通信相關專業大專以上學歷

　　2、 熟悉主流服務器操作系統(Windows、LINUX)、數據庫(sql、mysql)等基本操作和安全配置;

　　3、 具備一定的信息安全基礎知識，熟悉網絡設備和安全設備的操作，熟悉防火墻、入侵檢測、VPN等網絡安全技術;

　　4、 良好的溝通能力、富有團隊精神，能夠承擔較大工作壓力;

　　5、 了解信息安全等級保護、27001信息安全體系、ITIL等相關安全標準優先;

　　6、 持有等級保護測評師認證、HCNP或同等級證書者優先;

　　7、 熟悉國產操作系統(如中標麒麟、中科方德等)、國產數據庫(神通、達夢、南大通用)優先;

　　8、 有政府類項目實施維護經驗優先。