大數據運維工程師的具體職責描述(精選14篇)
大數據運維工程師的具體職責描述 篇1
職責:
1、負責大數據集群的日常維護、監控、異常處理等工作,保障集群穩定運行;
2、負責大數據批處理管理以及運維;
3、負責大數據集群的用戶管理、權限管理、資源管理、性能優化等;
4、深入理解數據平臺架構,發現并解決重大故障及性能瓶頸,打造一流的數據平臺;
5、跟進大數據前沿技術,不斷優化數據集群;
6、有華為大數據平臺運維經驗優先;
崗位要求:
1、1年以上大數據運維或開發經驗;
2、有良好的計算機和網絡基礎,熟悉linux文件系統、內核、性能調優,TCP/IP、HTTP等協議;
3、熟悉大數據生態,有相關(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運維及開發經驗;
4、熟練使用shell、python等腳本語言開發相關運維管理工具;
5、良好的文檔撰寫習慣;
大數據運維工程師的具體職責描述 篇2
職責:
1、負責分布式大數據平臺產品的運維和運維開發,保證其高可用和穩定性;
2、負責大數據系統架構的可運維性設計、容量規劃、服務監控,持續優化服務架構、集群性能;
3、通過技術手段控制和優化成本,通過自動化工具及流程提升大數據平臺運維效率;
4、為項目開發人員提供大數據技術指導及解決大數據平臺應用中遇到的技術難題;
任職資格:
1、三年以上大數據運維相關工作經驗,有大型互聯網公司工作經驗者優先,全日制本科及以上學歷;
2、熟練掌握至少一門開發語言,有Java或Python語言開發經驗優先;
3、精通Hadoop生態及高性能緩存相關的各種工具并有實戰經驗,包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;
4、熟悉Mysql等常用關系數據庫,熟練編寫SQL語句,有分布式nosql數據庫應用、性能調優經驗優先;
5、熟悉Linux環境,能夠熟悉使用shell腳本;
6、對大數據技術有強烈興趣,有志于往大數據方向深層次發展;
7、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;
8、具備較好的溝通能力、主動性及責任感。
大數據運維工程師的具體職責描述 篇3
職責:
1、負責公司內部及項目中大數據集群的構建,任務調度、監控預警,持續完善大數據平臺,保證穩定性、安全性;
2、負責集群容量規劃、擴容、集群性能優化及日常巡檢和應急值守,參與大數據基礎環境的架構設計與改進;
3、深入研究大數據業務相關運維技術,探索新的運維技術及發展方向。
任職要求:
1、熟悉Linux基礎命令操作,能夠獨立編寫Shell腳本開展日常服務器的運維;
2、熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調優;
3、熟悉軟硬件設備,網絡原理,有豐富的大數據平臺部署,性能優化和運維經驗;
4、工作認真負責,有較強的學習能力,動手能力和分析解決問題的能力;
5、能夠利用各種開源監控工具、運維工具,HA、負載均衡軟件完成工作任務;
6、熟悉JVM虛擬機調優;
8、1年及以上相關崗位經驗,要有良好的安全和責任意識。
大數據運維工程師的具體職責描述 篇4
職責
1. 負責大數據ETL系統,運維及保障服務穩定可用;
2. 負責數據采集交換方案以及聯調測試;
3. 負責采集交換任務的評審和上線;
4. 負責及時排除ETL流程故障,形成知識庫,完善運維文檔;
5. 負責監控和優化ETL的性能,持續性地提出改進自動化運維平臺建議
技能要求
1. 計算機科學或相關專業本科及以上學歷;
2. 熟悉Linux系統,熟練編寫shell/perl/python一種或多種腳本語言;
3. 熟悉Hive、Hadoop、MapReduce集群原理,有hadoop大數據平臺運維經驗者優先;
4. 熟悉數據庫的性能優化、SQL調優,有相應經驗;
5. 抗壓能力強,有強烈的責任心,良好的溝通能力、學習能力及團隊合作能力。
大數據運維工程師的具體職責描述 篇5
職責:
1、負責數據平臺的運維管理工作(部署、監控、優化、故障處理);
2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構審核、容量規劃、成本優化;
3、負責大數據平臺的用戶管理、權限分配、資源分配;
4、參與數據挖掘、機器學習平臺的設計、并給出可執行的運維方案;
5、參與數據平臺的相關工具開發(包括自動化部署、監控、ETL等);
6、深入理解數據平臺架構,發現并解決故障隱患及性能瓶頸;
7、ETL工具、調度工具、關系型數據庫的運維。
任職資格:
1、本科以上學歷,計算機軟件相關專業;
2、1年以上大數據相關組件運維經驗(hadoop/yarn/hbase/hive/spark/kafka等),1年以上的CDH或HDP維護經驗,3年以上系統運維相關經驗;
3、深入理解Linux系統,能獨立部署開源軟件,熟練掌握一門以上腳本語言(shell/perl/python等),熟悉python開發語言優先;
4、邏輯思維能力強,做事有條理,責任心強,工作積極主動,執行力強,有良好的團隊協作意識。
大數據運維工程師的具體職責描述 篇6
職責:
1、負責服務器部署,優化整個大規模應用架構的設計、實施、后期疑難問題解決;
2、熟悉分布式系統運維,為大數據和云服務提供可靠的運維保障;
3、協助搭建完善高可用集群環境,負責MySQL、redis、Kakka等集群運維,以及負載均衡系統運維;
4、負責網絡、服務器、交換機、路由器、防火墻等軟硬件的安裝、配置、調試維護和管理;
5、協助完善自動監控報警系統,對業務層面關鍵指標進行監控與報警通知;
6、及時處理服務器宕機、病毒感染、黑客入侵等異常突發事件。
職位要求:
1、3年以上運維經驗,精通Linux操作系統以及服務器群的網絡搭建、設置和維護;
2、熟悉網絡安全監控、系統性能管理和調試、網絡性能管理;
3、精通MySQL數據庫管理、監控和備份,集群搭建配置等,熟悉MongoDB、Cassandra等一種以上NoSQL數據庫;
4、熟悉服務器、存儲系統、路由器、交換機、負載均衡等網絡設備的搭建、配置、監控維護,具有網絡維護、排障和系統化解決問題能力;
5、有自動化運維平臺構建經驗,熟悉Ansible、Puppet、Saltstack、Zabbix、Ganglia、Cacti等開源工具的使用,并能夠根據需求擴展;
6、負責系統運維監控體系建設,有大規模主機監控經驗者優先;
7、有Hadoop、Spark、Docker等經驗者優先考慮。
大數據運維工程師的具體職責描述 篇7
職責:
1、審核、優化公司IT系統以及各應用系統的體系架構;
2、全面負責公司運維項目的系統升級、擴容需求與資源落實,配合開發需求,測試、調整運維平臺;
3、負責網絡以及服務器的網絡設置、維護和優化、網絡的安全監控、系統性能管理和優化、網絡性能管理和優化;
4、建立面向各部門的服務流程和服務標準;日常網絡及各子系統管理維護;運行報告
5、負責IT運維相關流程的規劃、設計、推行、實施和持續改進;
6、負責相關故障、疑難問題排查處理,編制匯總故障、問題,定期提交匯總報告;
7、負責網絡監控和應急反應,以確保網絡系統有24小時的持續運作能力;
8、負責日常系統維護,及監控,提供IT軟硬件方面的服務和支持,保證系統的穩定。
任職要求:
1、大專以上學歷、精通Linux及Windows系統管理和應用;(Send Mail/Exchange, Postfix, Bind, Proxy, Firewall, Apache/IIS, AD Architecture),愿意承擔桌面支持工作;
2、掌握在Perl, shell環境下的編程;
3、具有網絡方面的基本知識。
4、計算機科學及相關專業畢業優先;
5、工作經驗上,要求具有3-5年從事系統管理/工程技術方面的經歷經驗優先。
大數據運維工程師的具體職責描述 篇8
職責:
1、負責網絡及其設備的維護、管理、故障排除等日常工作,確保公司網絡日常的正常運作;
2、負責公司辦公環境的軟硬件和桌面系統的日常維護;
3、安裝和維護公司計算機、服務器系統軟件和應用軟件,同時為其他部門提供軟硬件技術支持;
4、解決排除各種軟硬件故障,做好記錄,定期制作系統運行報告;
5、有學校運維經驗者優先考慮。
任職資格:
1、通信、電子工程、自動化、計算機等相關專業,大專或以上學歷,1年以上網格系統與IT系統維護工作經驗;
2、熟悉和掌握各種計算機軟硬件,可獨立進行安裝、調試及故障排除;
3、熟悉局域網的維護及網絡安全知識,可進行局域網的搭建和網絡設備的基本維護和故障處理;
4、熟練運用WINDOWS、server20xx20xx等對服務器進行維護與管理;
5、具備良好的溝通技巧、工作主動性強,耐心細致,有責任心,具備團隊合作精神。
大數據運維工程師的具體職責描述 篇9
職責:
1.支持倉庫管理系統WMS和物流中心的日常作業,維護WMS相關作業設備
2.負責用戶、內部人員及外部人員的溝通,及時解決WMS系統出現的問題
3.培訓用戶如何使用WMS系統,收集、整理WMS新需求
4.維護倉庫網絡和電腦設備正常運行,對突發狀況及時響應處理和修復
5.數據備份和日常安全維護
任職要求:
1.大專及以上學歷,計算機或相關相關物流管理專業
2.2年以上倉儲物流行業系統運維經驗,有WMS系統經驗者優先
3.熟悉Windows操作系統和Oracle數據庫,精通SQL語句
4.有責任心,具備良好的溝通表達能力和嚴謹的邏輯分析推理能力
大數據運維工程師的具體職責描述 篇10
職責:
1、按照上線計劃及變更申請,參與業務需求評估,協助技術負責人完成相關業務條線的技術分析及方案設計;
2、負責linux云平臺基礎設施監控及運維工作,確保系統性能、質量和安全;
3、參與業務需求分析及建設討論;
4、負責相關項目文檔編寫;
5、負責基礎設施事件、性能監控的優化、后續系統維護;
6、負責解決運維過程中遇到的關鍵技術問題;
7、參與技術討論與方案,完善基礎設施監控。
任職要求:
1、本科及以上學歷,計算機、數學及相關專業;4年以上工作經驗;
2、熟悉Redhat,CentOS,ubuntu,debian,windows 等操作系統的日常管理,熟悉網絡或系統的基本原理,并熟悉相關平臺的基本操作;
3、熟悉MySQL數據庫的日常管理,熟悉數據庫的基本原理,具有基本操作運維能力;
4、熟悉zabbix、nagios、ELK等開源監控產品,puppet、ansible等開源配置管理工具;
5、了解shell、python、ruby、Expect等腳本編程,熟悉shell、Perl等腳本編程方法,具有相關的腳步的開發能力;
6、熟悉TCP/IP、SNMP、HTTP、ICMP等網絡協議。
大數據運維工程師的具體職責描述 篇11
職責:
1.服務器設備的上、下架安裝 ,kvm ip 基本配置 , BIOS 更新, Raid 配置,網絡配置等
2.負責服務器系統安裝和維護,如Windows Server/Linux操作系統的安裝和維護等;
3.處理各品牌服務器的軟硬件故障。
任職要求:
1.大專或本科以上學歷,1年以上相關工作經驗;
2.計算機軟件、電子、計算機、通信、自動化等相關專業,
3.較強的學習能力;高度的責任心和上進心;有較強的團隊精神;
4. 熟悉磁盤陣列的配置使用;熟悉相關的硬件HBA卡等各類相關配
5.掌握Windows Server 體系結構,能獨立安裝、配置、監控、維護服務器,對群集環境有一定的了解和實踐。
6.熟練掌握AD、SCCM、SCOM、IIS、DNS、DHCP、Exchange、System Center等,有一定的排錯能力。
7.能熟練操作 Linux AIX/HP unix 操作系統配置及優化。
8. 熟悉VMware或Hyper-V虛擬化技術,有在虛擬化環境下的運維經驗。
大數據運維工程師的具體職責描述 篇12
1. 負責MES系統調研、分析、整理、提煉用戶的產品需求,完成需求分析和設計
2. 負責整體MES系統的開發工作,交付客戶高質量的開發成果;
3. 負責MES系統的日常運維管理、用戶技術支持、功能變更需求、系統調優等,保障所負責系統的平穩、高效運行
4. 負責為客戶提供相關的技術培訓。
5. 根據現有業務流程推動MES系統的功能應用和驗證,提出解決方案并協助業務部門予以解決業務問題。
大數據運維工程師的具體職責描述 篇13
職責:
1. 負責阿里云平臺的ECS服務器與RDS數據庫的安全和維護工作;
2. 從網絡安全、主機安全和數據安全、電子交易等安全層面進行網絡拓撲設計;
3. 對現有運行網站的系統制定安全審計、維護制度,并監督執行;
4. 配合技術總監,共同組建完整的互聯網安全防護措施;
5. 負責公司員工電腦的技術支持(如解決網絡、郵箱配置、病毒查殺、辦公軟件排錯等)
6. 負責公司各類終端機、打印機、掃描儀等外設的維護。
任職要求:
1.滬籍,男,大專以上學歷,計算機應用技術、計算機網絡技術及其相關專業,5年以上工作經驗;
2.計算機基礎知識扎實,對各種電腦軟件、硬件的安裝和維護有良好的經驗;
3.熟悉主流服務器、云服務器配置及網站部署中間件(IIS/Apache/Nginx),熟悉Windows Server、Linux系統,路由器等網絡設備,并了解網絡設備調試使用;
4.熟悉TCP/IP協議和網絡安全體系,對于企業局域網搭建有一定的經驗;
5.熟悉SQL Server/Oracle基本語法,對互聯網編程語言有一定的了解。
大數據運維工程師的具體職責描述 篇14
職責:
1、負責系統故障的應急響應和問題處理;維護linux、windows服務器,監控服務器性能;
2、負責Linux操作系統的安裝、配置,系統監控和維護,問題處理,以及軟件升級,安全優化,保證其穩定、高效運行;
3、負責公司平臺及應用系統實施及維護工作;
4、負責Linux 平臺下的系統維護,提高系統的可用性及可維護性;
5、負責Linux系統及應用程序進行性能分析,優化,問題跟蹤;
6、負責Windows Server 20xx、20xx的運維技術支持;
7、負責Windows AD域搭建維護。
任職資格:
1、三年以上主流操作系統安裝、配置、管理、維護經驗。
2、精通Linux系統、精通Oracle、MySQL、FTP、DNS、Squid等常用服務的安裝、配置和維護;
3、熟悉linux負載均衡技術;能熟練利用各種工具進行系統狀態監控(cacti、Nagios,bigsister等); 4、熟悉Linux下不同數據庫的安裝和調試及簡單優化;
5、熟悉AD域控;
6、有阿里云、華為云、七牛云、亞馬遜等云服務器運維經驗優先;
7、熟悉VMware vSphere虛擬化操作平臺;