大數據運維工程師的職責(精選15篇)
大數據運維工程師的職責 篇1
職責:
1、負責銀行各類應用系統的運維標準制定和運維管理等工作;
2、負責銀行各類應用系統的運行情況及相關技術的整理、分析和總結等工作;
3、負責銀行各類應用系統的應用監控、應用運維體系工具的建設和維護工作;
4、負責銀行各類應用系統的自動化腳本編寫和測試工作。
招聘要求:
1、全日制一本以及以上學歷,理工類專業;
2、具備2年及以上應用系統運維或應用系統開發經驗,有銀行應用系統運維或開發經驗者優先;
3、具備較強的文檔編寫、英語文檔閱讀能力;
4、具備良好的溝通表達能力和團隊合作精神,具有較強的工作責任心和主動性;
5、至少具備以下二項技能:
(1)熟悉銀行應用系統體系架構、應用運維標準化流程;
(2)熟悉AIX、LInux操作系統相關運維工作,具備熟練的SHELL腳本編程能力;
(3)熟悉應用軟件持續集成和持續發布交付項目的整體流程,熟悉Jenkins、Nexus等相關Devops工具;
(4)熟練使用容器平臺相關技術,有容器平臺管理工作、應用容器打包的相關經驗;
(5)熟練使用Golang或者Python編程。
大數據運維工程師的職責 篇2
職責:
1、負責大數據平臺Hawq數據庫運維;
2、負責大數據平臺Tbase數據庫運維;
3、負責傳統數據(Oracle、MySQL等數據庫)數據遷移、數據同步;
4、負責日常數據庫的監控及問題分析排查;
5、負責OGG、Kafafa等組件數據傳輸同步日常運維;
6、負責數據庫的優化、SQL語句的優化調優;
7、負責數據同步的檢驗與異常處理,確保數據的一致性、完整性、及時性;
8、負責制定數據同步方案及實施。
任職要求:
1、大專或以上學歷,計算機或統計類相關專業
2、有3年以上技術類或數據類的開發經驗;
3、熟練linux 系統操作及linux 運維監控、軟件安裝配置;
4、熟悉大數據技術,如Hadoop、Spark、storm、zookeeper等;
5、熟悉主流數據庫mysql/sql serverl/oracle/postgreSQL等,精通SQL語句,對復雜SQL能進行優化,能熟練編寫存儲過程;
6、熟練Linux SHELL,可以進行運維SHELL開發;
7、學習能力強,責任心強,具有優秀的溝通表達、理解能力與團隊合作能力;
8、有CentOS 7、Red Hat 7等Linux操作系統,有Shell腳本編寫經驗的優先。
9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)數據倉庫的實際運維經驗或3年以上 HIVE、SPARK 實際項目運維經驗
10、在實際項目中,有異構數據庫遷移經驗,從傳統ORACLE,MYSQL遷移至MPP數據倉庫的實戰經驗.
大數據運維工程師的職責 篇3
職責:
1負責政務云平臺、政務應用系統中數據庫業務的日常運維,保障平臺及應用系統服務7*24穩定可靠高效運行
2負責數據庫性能調優,了解鎖與隔離機制,協助客戶解決數據庫性能瓶頸
3制定數據庫使用規范,制定數據庫備份、升級、遷移規劃并部署實施
4參與數據庫設計工作,提高數據庫維護自動化水平
5熟悉Linux操作系統,熟練使用Python,Go,Shell等至少一種語言
崗位要求:
1) 5年以上 Oracle/MySQL DBA 從業經驗;
2) 熟練掌握 Oracle/MySQL 數據庫的基礎理論知識、運行機制、體系架構、高可用方案、備份機制、容災機制等;
3) 熟練掌握數據庫性能優化,了解主流的分布式數據庫 Spanner/Cassandra;
4) 熟悉 Linux/Unix 操作系統,對服務器硬件有一定了解;
5) 熟練掌握 golang、Python、Java 等語言中的一種;
6) 熟悉阿里云產品線,具備ACP認證者優先考慮;
大數據運維工程師的職責 篇4
職責:
1. 負責公司核心集群的運維工作, 任務調度、監控預警,持續完善大數據平臺,保證穩定性、安全性;
2. 負責集群容量規劃、擴容及集群性能優化;
3. 基于大數據應用需求,持續優化Hadoop框架及組件的配置,提升性能;
任職資格:
1.大專以上計算機,通信和網絡相關專業;
2.3年以上中等規模集群環境下的Hadoop/Impala/Hive/Spark集群相關運維經驗;
3.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關參數調優, 性能優化等有實際經驗;
4.有實際踩坑經歷, 對于相關組件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗;
5.實際處理過各種集群在線版本升級, 數據遷移, 集群擴容, 穩定性監控等工作;
6.熟悉Kerberos安全認證系統,實施過集群權限管理, 資源隔離方面的方案規劃或二次開發工作;
7.能維護Hadoop源碼,有Hadoop 源代碼BUG修復或者源代碼優化經驗者優先;
8.有Cloudera的CM使用經驗尤佳。
大數據運維工程師的職責 篇5
職責:
- 負責局點大數據平臺的部署、管理、優化、監控報警,保障平臺服務7*24穩定可靠高效運行;
- 深入理解公司大數據平臺架構,發現并解決性能瓶頸,支撐業務和數據量的快速增長;
- 開發大數據自動化運維、監控報警、故障處理相關腳本和工具;
- 負責Hadoop/spark/Kafka等集群服務、業務監控、持續交付、應急響應、容量規劃等。
要求:
- 4年以上運維相關工作經驗,有大數據平臺運維相關工作經驗優先;
- 具備一定的故障排查能力,有良好的技術敏感度和風險識別能力,精通一門以上腳本語言(shell/python等),熟悉Http/Https、TCP/IP、SMTP等協議;
- 熟悉Linux(redhat/centos)軟硬件環境、系統管理和優化,熟練部署、優化各種常用服務。熟練使用Linux 命令和常用的ssh、ftp、git、maven等開發工具;
- 熟悉Hadoop大數據生態圈,包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;
- 熟悉Hadoop各組件的原理和實現,有實際部署維護、管理( 包括元數據管理)及優化經驗。并擁有持續調優能力,運維管理過大規模數據平臺;
- 熟悉掌握常用的安全協議和組件服務,對hadoop各組件的權限、安全、kerberos進行配置管理。熟悉SSL、ACL、kerberos等在大數據環境場景的使用;
- 熟悉常用運維監控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相關插件的開發。比如郵件、短信、微信報警插件等;
- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優化;
- 具備良好的服務意識,善于主動思考,自我驅動力強。有良好的溝通、協調能力,富有團隊精神,有較強的文檔編寫能力;
- 有大數據開發經驗和閱讀源碼能力者優先
大數據運維工程師的職責 篇6
1. 負責城市視頻監控系統前端系統的巡檢、調試工作;
2. 負責城市視頻監控系統前端系統故障的判斷與排除;
3. 負責一般性網絡、監控等技術問題的咨詢工作;
大數據運維工程師的職責 篇7
1.參與并負責公司各種項目的實施和運維工作,包括軟件測試、項目實施推進、技術支持等;
2.負責用戶培訓并協助客戶進行項目運行和操作指導等;
3.現場技術支持及日常維護,包括接聽客戶咨詢電話,向用戶提供咨詢、指導、解釋相關業務或技術問題,收集用戶反饋信息;
4.做好問題跟蹤記錄,并根據流程落實問題的全面解決,及時響應和回復客戶;
5.具備良好的抗壓能力,學習能力和團隊合作精神。
大數據運維工程師的職責 篇8
職責:
1、運營平臺底層服務運維,保證其正常運行;
2、linux系統組件和中間間部署維護,比如redis tomcate等;
3、docker-compose應用和服務維護;
4、運營系統各模塊關聯功能維護理解;
5、大數據系統維護和部署;
6、分析故障報告排查和整理;
7、數據分析和收集提取需求;
8、客戶問題深層次解答;
9、部門間業務協調性處理;
任職要求:
1、運營平臺底層服務運維,保證其正常運行;
2、linux系統組件和中間間部署維護,比如redis tomcate等;
3、docker-compose應用和服務維護;
4、運營系統各模塊關聯功能維護理解;
5、大數據系統維護和部署;
6、分析故障報告排查和整理;
7、數據分析和收集提取需求;
8、客戶問題深層次解答;
大數據運維工程師的職責 篇9
1、大規模以Mesos為資源調度平臺,承載了上百套應用的大型數據中心操作系統(DCOS),負責平臺高可用/高并發/可用性管控,有過SRE經驗優先考慮。
2、負責指導應用上云及平臺自身監控運維性質開發,有devops工作心得優先考慮。
崗位要求
1.良好的語言表達和溝通能力,較強的服務意識與團隊合作精神
2.有主動推進預定計劃/方案實施的意識,愿意主動學習
3.深入理解Linux操作系統,能夠對主機性能進行分析和優化;
4.熟悉常用的監控軟件nagios、zabbix、cAdvisor、Prometheus中的一種或多種;
5.熟悉常用的虛擬化技術,了解docker常見的使用方法,編排方式;
6.對mysql、redis、zookeeper、tomcat、haproxy等有一定的運維經驗;
7.熟練使用shell、python、go中的一種或多種;
大數據運維工程師的職責 篇10
職責:
1.服務器及應用的安裝、部署、維護、更新、監控等;
2.服務器相關資產管理;
3.負責處理平服務器臺各類故障,問題快速定位和解決;
4.服務器日常運維,應用等自動化、標準化、平臺化;
5.領導安排的其他相關工作。
職位要求:
1.本科及以上學歷,,具有2年以上Linux運維經驗,計算機、通信、信息技術等相關專業。
2.熟悉主流硬件,服務器DELL、HP、IBM等。對UNIX/Linux等操作系統有一定了解;
3.有安裝調試服務器的經驗,包括機架式服務器上架,做硬件raid,安裝操作系統等;
4.至少熟悉一種自動化運維工具,Ansible、 Puppet、SaltStack,無人值守Kickstart等;
5.至少熟悉一種虛擬化云平臺技術,vmware,kvm,citrix,xen,openstack等;
6.良好的溝通能力、學習能力、團隊意識、積極的工作態度;
大數據運維工程師的職責 篇11
職責:
1、負責智慧化菜場項目上的網絡安全運行與維護;
2、根據業務需求進行調試、優化和部署;
3、負責弱電的設計與設備配置;
4、現場的技術支持及運維服務。
崗位要求:
1、專科及以上學歷,計算機相關專業;
2、1年及以上IT相關工作經驗,有項目經驗的優先考慮;
3、熟練掌握網絡設備的配置及網絡維護知識;
4、熟練掌握Windows Server或Linux;
5、優秀的溝通能力,較強的服務意識。
IT運維工程師工作的職責4
1. 負責公司網絡、基礎設施及服務器,交換機的日常維護巡檢,保持公司區域
內各機房運行環境的良好狀態,記錄環境數據;
2. 對公司IT基礎網絡及其他運營設備進行安裝、硬件維護、硬件故障處理等工作;
3. 日常問題及突發事件的及時響應反饋并解決跟進故障處理;
4. 對公司所有IT設備及備件壞件定期檢查、檢修、替換和保修;
5. 協助客戶進行現場資產管理,包括線上、線下設備(包含配件或者備件)的統計與登記,確保重要區域的資產安全;
6. 按照客戶的要求,嚴格執行相應的各項規范;
7. 按照客戶的要求,按時提供日常各類報告,包括運維日報、資產月報等;
8. 配合公司及客戶進行定期的資產盤點;
9. 能 7x24 小時故障響應;
10.輔助信息安全管理工作。
大數據運維工程師的職責 篇12
1、作為基礎資源服務提供方,支持SRE、DBA等工作,保障基礎設施穩定性;
2、負責機房規劃、管理,包括上架、調試、備件、聯系廠商維保,提供穩定高效的硬件環境;
3、機柜管理標準制定與落地(設備放置、空間、布線、雙電源);
4、負責基礎設施管理與標準化,比如系統初始化、cmdb、賬號體系、DNS、NTP;
5、硬件監控報警及應急處理;
6、運行維護Exchange和AD
大數據運維工程師的職責 篇13
職責:
1、負責海內外運營業務平臺的環境部署及維護,確保平臺穩定的運行;
2、協助運維主管完成,運維相關系統的部署;
4、獨立編寫Linux運維腳本工具;
5、Linux操作系統性能優化,數據庫備份和恢復;
6、對服務器和服務的運行狀況監控,及時發現問題,并處理問題;
7、日常運維文檔編寫,如編寫系統運維手冊、部署文檔、性能參數說明等。
崗位要求:
1、兩年以上互聯網行業運維工作經驗,有平臺運維工作經驗者優先;
2、熟悉LNMP環境部署及MYSQL數據庫的主從,雙主部署,性能優化;
3、熟悉Memcached、Redis等維護,有Hadoop、zookeeper、rabbitmq、Kafka部署使用經驗更佳;
4、熟悉TCP/IP網絡通訊協議及常見的監控系統(如Zabbix、Nagios、Cacit等),能開發監控腳本,訂制監控模板
5、對負載均衡及分布式系統架構有一定了解;
6、思路清晰,具備良好的團隊協作精神、溝通能力、服務意識。
大數據運維工程師的職責 篇14
職責:
1.負責公司業務相關服務器日常管理維護;
2.監控和處理服務器突發故障,保證業務正常運行;
3.協助優化業務系統系統架構,提升系統服務性能,提高系統服務效率;
4.為公司產品制定合適的集群部署解決方案。
任職要求:
1.熟悉Linux(Ubuntu系統)的安裝、網絡及常用服務系統的配置、管理和日常維護。
2.熟悉自動化運維工具Ansible、Chef。
3.掌握nginx, php-fpm,mysql集群, redis集群,RabbitMQ集群管理與配置。
4.有編寫bash / python / ruby /node.js腳本經驗優先。
5.熟練掌握git版本控制工具的使用。
6.通信、電子工程、自動化、計算機及其相關專業,本科或以上學歷。
7.3年或以上的一線運維工作經歷。
大數據運維工程師的職責 篇15
職責:
1.基于現在有開源產品和解決方案的能力,為團隊提供IT架構規劃和咨詢的服務;
2.提供云上DevOPS體系建設方案的咨詢和實施服務,優化業務交付效率,加速團隊的數字化轉型;
3.在開發、測試和生產各階段配合業務架構師完成環境的搭建與演示,組織內部資源,幫助完成云產品與技術方案的測試、咨詢與實施。
任職要求:
1. 計算機或通信相關專業專科以上學歷,5年以上大規模業務系統研發、運維、項目交付經驗;
2. 針對大型分布式系統架構設計、容災高可用/業務多活/兩地三中心架構有深入理解和豐富的項目落地經驗;
3. 精通Linux/windows系統,對于常用的運維工具,開源軟件(Nginx、Tomcat、Hadoop、Hbase、zookeeper、MQ、Redis等)的部署及配置優化實踐經驗;
4. 精通MySQL、SQL Server、Oracle、PostgreSQL、Redis、Memcache等兩種以上主流數據庫和緩存技術,有豐富的數據庫的優化/維護經驗;
5. 熟悉微服務、容器化架構,以及相關技術,對Istio、Docker、Kubernates,mesos等容器編排技術有豐富的實踐和落地經驗;
6. 熟悉主流公有云產品,有維護本地機房經驗;
7. 有大型綜合項目的交付和落地經驗,有較好的推動能力、風險識別意識和技術撐控判斷力;
8. 具備良好的客戶溝通能力及技巧,工作積極主動,認真負責,心理素質好,能承受較大工作壓力;
9. 具備英文閱讀、書寫和溝通能力。