Hadoop運維工程師崗位職責(精選25篇)
Hadoop運維工程師崗位職責 篇1
1.hadoop集群運維、監控、開發;
2.hadoop生態圈框架部署、故障處理、異常排查等基本工作;
3.對有助于提升集群處理能力、高可用性、擴展性的各種解決方案進行跟蹤和落地;
4.解決海量數據不斷增長面臨的挑戰,解決業務需求;
5、 對Hadoop集群進行日常管理,保障系統正常運行;
Hadoop運維工程師崗位職責 篇2
1、負責移動大數據中心的建設與維護;
2、負責安徽移動hadoop集群的故障排查、解決;
3、其他省份hadoop項目建設提供技術支持。
Hadoop運維工程師崗位職責 篇3
1.負責高并發,大存儲和實時流的Hadoop/spark大數據平臺規劃,運維,監控和優化工作;
2.保證Hadoop/spark平臺各核心服務運行的穩定、高效;
3.對Hadoop/spark平臺運維不斷優化,提升數據產品的質量和響應速度;
4.開發各種Hadoop大數據自動化運維與監控工具;
5.平臺大數據環境的部署維護和技術支持;
6.應用故障的處理跟蹤及統計匯總分析;
7.應用安全,數據的日常備份和應急恢復。
Hadoop運維工程師崗位職責 篇4
1. 負責Hadoop及相關組件的部署和維護,保證其穩定運行;
2. 開發和使用Hadoop大數據自動化運維與監控工具;
3. 基于大數據應用需求,不斷調整和優化Hadoop框架及組件的配置,提升性能;
4. 為數據倉庫、數據挖掘建模等數據應用項目提供運行環境支持;
Hadoop運維工程師崗位職責 篇5
1.負責Hadoop相關項目日常運行維護、故障排查工作;
2.負責Hadoop集群的監控和配置調優工作;
3.負責Hadoop平臺的用戶管理、權限分配、資源分配;
4.負責集群服務器軟件的安裝、維護、部署、更新;
Hadoop運維工程師崗位職責 篇6
職責:
1.負責電力行業信息系統賬號及權限治理、標準化生產工藝、項目后評估等專項工作牽頭與組織;
2.負責對應用系統的架構及性能進行分析,提出合理化建議并制定優化解決方案;
3.負責對系統運行過程中發生的故障進行深入剖析,指導運維人員編寫故障分析報告與處理總結報告;
4.負責指導運維人員對信息系統業務端口、安全漏洞及隱患排查整改;
5.負責收集、整理及編制信息系統運維預案、方案、報告等相關文檔;
6.負責完成上級領導安排的其它專項工作。
職位要求:
1.專科及以上學歷,計算機應用、軟件等相關專業,5年以上工作經驗(其中,3年及以上研發或運維工作經驗,2年及以上項目管理經驗);
2.至少負責過2個基于weblogic平臺搭建的信息系統運維工作;
3.至少參與過1個項目招投標相關工作,包括技術規范書、技術標書等材料編制工作;
4.有較強的學習能力、溝通及協調能力和服務意識,具有良好的文檔編制功底和語言表達能力;
5.熟悉國網公司SG-UAP開發平臺研發要求及系統安裝部署架構,并有電力行業應用系統運維經驗者優先。
Hadoop運維工程師崗位職責 篇7
1、解決在工作中出現有關網絡和桌面系統的問題,包括完成系統安裝、維護,保證系統正確實施和應用;
2、負責桌面計算機軟硬件的安裝、配置、維護與故障排除;
3、熟悉主流桌面級操作系統的安裝,設置與排錯;
4、熟悉打印機、掃描儀、傳真等外設的共享與使用;
5、具備基礎的網絡維護經驗,能夠簡單檢查、確定、排除網絡故障;
6、熟悉office等辦公軟件。
Hadoop運維工程師崗位職責 篇8
職責:
1、負責優化公司IT系統以及各應用系統的體系架構;
2、負責系統升級、擴容需求與資源落實,配合開發需求,測試、調整運維平臺;
3、負責網絡以及服務器的網絡設置、維護和優化、網絡的安全監控、系統性能管理和優化、網絡性能管理和優化;
4、負責設計并部署相關應用平臺,并提出平臺的實施、運行報告。
5、負責配合開發搭建測試平臺,協助開發設計、推行、實施和持續改進。
6、負責相關故障、疑難問題排查處理,編制匯總故障、問題,定期提交匯總報告。
崗位要求:
1. 2年以上大中型在線系統運維工作經驗、精通Linux系統及常見服務的安裝配置,熟悉常見的負載均衡實現方案并有實際實施經驗;
2. 精通Linux系統如Redhat、Gentoo、精通Apache、NginX、MySQL、FTP、DNS、Squid等常用服務的安裝、配置和維護;
3. 精通和靈活運用1種以上的腳本語言,包括:Shell、PERL、PHP、Python等;
4. 能夠熟練排查運維過程中出現的服務故障、系統故障、網絡故障;
5. 高度的責任感,較強的故障分析及排除能力,善于在工作中學習,能夠承受工作壓力。
Hadoop運維工程師崗位職責 篇9
1. 域控制器服務器的管理維護。
2. 終端服務器的管理維護,數據的備份還原。
3. 防火墻的管理維護,郵件服務器,殺毒軟件的維護
4.機房其它服務器的管理維護.
5.PC,終端,打印機,傳真機等設備的簡單維護.
6.內部網絡的管理維護.
7.機房設備操作管理,檢查服務器等設備的保修狀況并及時提出保修計劃.
Hadoop運維工程師崗位職責 篇10
職責:
1、企業內外網管理;按需進行網絡架構的調整、性能優化;
2、網絡環境的管理,配置,排錯,維護;
3、網絡設備的安裝、配置、管理,提供網絡設備維護方案;
4、服務器系統的安裝、配置、管理,提供網絡設備維護方案;
5、網絡安全,網絡質量及網絡設備的監控;
6、協助辦公網絡環境的維護,終端設備的維護。
7、企業云生產服務器的管理,配置,排錯,維護,包含阿里云,微軟云Azure
掌握技能:
1、熟悉電腦軟硬件操作和維護;
2、精通AD、DNS、DHCP、DFS、等服務搭建和運維;
3、熟悉Winserver20xx、Winserver20xx等服務器系統操作和使用;
4、熟悉華為、思科等網絡設備調試配置;
5、熟悉Vsphere虛擬機的配置和使用;
6、有云環境如Azure的管理經驗,包含虛擬機創建,虛擬網絡管理,網絡安全組管理(NSG)
7、有呼叫中心IT機房和職場運維經驗優先
Hadoop運維工程師崗位職責 篇11
1、作為基礎資源服務提供方,支持SRE、DBA等工作,保障基礎設施穩定性;
2、負責機房規劃、管理,包括上架、調試、備件、聯系廠商維保,提供穩定高效的硬件環境;
3、機柜管理標準制定與落地(設備放置、空間、布線、雙電源);
4、負責基礎設施管理與標準化,比如系統初始化、cmdb、賬號體系、DNS、NTP;
5、硬件監控報警及應急處理;
6、運行維護Exchange和AD
Hadoop運維工程師崗位職責 篇12
1、對服務器進行日常維護,確保各項服務連續正常運行,無重大事故;
2、負責服務器存儲網絡等基礎平臺的技術維護和問題處理 ;
3、負責執行大客戶服務項目的定制化服務配置和硬件安裝等處理工作;
4、了解操作系統安裝與配置;
5、具備一定的網絡相關故障解決能力;
6、熟悉主流廠商PC服務器硬件安裝與配置;
7、Windows、Linux、VMware等日常管理、維護;
8、負責服務器異常或故障的受理、跟蹤、解決以及統計分析;
Hadoop運維工程師崗位職責 篇13
職責:
1、負責24小時監控業務及系統運行狀態;
2、定期檢查網絡硬件及底層系統的運行情況;
3、及時響應、診斷、定位、處理系統常見故障;協調問題解決;
4、及時反饋故障情況和處理結果;
5、收集記錄系統運行異常現象及處理方案,認真填寫工作日志。
任職要求:
1、有半年以上IDC運維經驗或者系統運維經驗;
2、有計算機系統硬件、網絡相關設備基礎;
3、熟悉Linux服務器操作系統管理、用戶權限管理、命令行操作;
4、熟悉常用監控工具和中間件;
5、工作嚴謹細致,踏實穩定;
6、有較強的責任心和團隊協作精神。
Hadoop運維工程師崗位職責 篇14
職責:
1、負責系統運維,解答用戶疑問,處理異常;
2、負責系統用戶操作培訓;
3、負責收集并統計用戶系統需求及初步溝通及分析;
4、負責系統數據庫的基本維護檢查備份。
任職要求:
1、計算機或信息化管理等專業本科及以上學歷;
2、熟悉SQL Server/Postgresql數據庫,熟練掌握SQL 語句的運用;
3、有一定軟件開發語言基礎,熟悉C#語言者優先;
4、熟悉制造企業的生產流程,熟悉鞋服制造企業生產流程者優先;
5、抗壓能力強;
6、良好的溝通及理解能力。
Hadoop運維工程師崗位職責 篇15
職責:
1、負責銀行數據中心內基礎環境交付工作,包含服務器、操作系統批量安裝配置管理。
2、負責運維自動裝機系統及其他自動化運維系統,通過腳本批量配置管理服務器及系統。
3、對數據中心進行周期性巡檢,及時發現故障隱患,協助故障處理。
4、其他的一些日常運維工作。
崗位要求:
1、全日制本科學歷,計算機、網絡、通信等相關專業畢業,2年以上工作經驗。
2、熟悉Linux系統安裝配置,熟悉 shell命令,會編寫bash腳本,對linux系統有豐富運維管理經驗,具備RHCE認證更佳。
3、了解cobbler自動裝機或其他自動裝機原理,熟悉Ansible,具備基礎python編程能力,會flask api的優先考慮。
3、了解X86架構服務器,有大中型企業數據中心Linux運維工作經驗者優先。
4、具有良好的抗壓能力、溝通表達能力、人際交往能力、情緒控制能力以及團隊協作能力。
5、有較強學習能力和學習意識,能夠積極主動的學習掌握新產品新技術。
6、有較強安全生產意識,嚴格遵守公司及客戶規章制度。
Hadoop運維工程師崗位職責 篇16
職責:
1、 負責企業機房日常維護和巡檢工作
2、 負責機房內服務器、存儲等硬件設備的維護管理, 自動化運維系統的部署和管理,以及常見軟硬件故障的處理
3、 負責企業內核心應用數據庫的日常維護,數據備份、數據恢復以及數據庫的優化等工作
4、 負責各類服務器操作系統的維護和管理,包含Windows、Linux以及Unix服務器系統的日常維護
5、 負責云平臺系統的日常維護管理,虛擬機創建,資源分配、回收以及系統資源的日常監控和管理
任職資格:
1、 本科或以上學歷,計算機相關專業
2、 至少兩年以上 windows、linux 服務器運維管理經驗
3、 熟練掌握windows server、 liunx操作系統的安裝配置、系統管理以及系統優化
4、 熟練掌握oracle/mysql/sybase主流數據庫的配置與優化,數據備份與恢復,數據安全,數據遷移與歸檔,數據庫日常監控與管理
5、 具有豐富的系統軟件及其硬件的故障排除經驗,具備較強的分析及解決問題的能力,并善于主動總結和分享自己的工作經驗;
6、具有良好的服務意識,端正的服務態度,敢于吃苦,服從安排
Hadoop運維工程師崗位職責 篇17
負責公司英文網站的更新維護,完成產品上傳,負責網站的新聞內容更新;
負責維護公司網站(facebook、instagram、twitter)社交媒體的運營與維護,
負責公司獨立站的管理、運營、推廣引流、數據分析及效果評估;
負責網站產品上線、策劃、內容編輯、專題設計等日常維護運營管理工作;
負責網站頁面SEO要素優化以及網站內部鏈接建設,逐步提升網站以及網站關鍵詞排名;
在國外主流社區,行業論壇,博客對公司網站及品牌進行整體營銷推廣;
了解和分析競爭對手的SEO策略,熟練掌握軟文編輯以及推廣。
Hadoop運維工程師崗位職責 篇18
職責:
1、 負責參與IT信息系統硬件集成項目實施工作;
2、 負責處理計算機及辦公外設、監控、網絡、的安裝及調試工作,處理相關的故障問題及異常排除;
3、 綜合布線及相關的工作;
4、 協助進行客戶使用培訓工作;
5、 具有良好的技術文檔編制能力;
6、有IT售后服務經驗者優先考慮
崗位要求:
1、 大專及以上學歷,計算機類等相關專業;
2、 在學校有一定的弱電系統硬件集成系統實施經驗;
3、 了解項目管理和項目實施;
4、 良好的邏輯思維能力、人際溝通能力;
5、 積極主動,具備團隊意識,具有高度的責任心,能夠承受較強的工作壓力。
Hadoop運維工程師崗位職責 篇19
職責:
1、負責公司各項目發布、維護及相關業務支撐;
2、負責平臺產品的監控、應急響應等,及時定位及解決性能瓶頸和疑難問題;
3、編寫各種運維腳本,推動自動化運維,確保日常部署工具安全高效進行;
4、服務器異常事件的處理并記錄,和其他成員共同承擔7*24線上服務質量保障工作,確保系統7*24小時穩定運行
5、對公有云網絡、存儲、CPU等資源進行性能評估測試
任職要求:
1、大學專科及以上學歷,計算機或者相關專業,3年以上工作經驗;
1、熟練使用linux系統,熟練掌握一門以上腳本語言(shell/python/go等)
2、對docker、Kubernetes(k8s)有一定了解
3、熟悉Nginx、Redis、Mysql、tomcat、ElasticSearch組件的部署、使用、調優;
4、掌握常用業務監控方式,熟練使用prometheus,granafa等監控工具使用
5、工作認真嚴謹,責任心強,抗壓能力強
6、有阿里云,騰訊云,Azure, AWS等至少一家公有云使用經驗優先考慮
Hadoop運維工程師崗位職責 篇20
1、負責電話及網絡相關設備的維護和調整;更新維護相關表格。
2、負責對電腦及相關軟硬件的維護,及時排除故障;
3、負責對接總部相關同事,協調處理相關問題;
4、負責考勤釘釘系統維護,處理并反饋異常問題;
5、負責公司網站業務后臺與郵箱相關管理工作。
Hadoop運維工程師崗位職責 篇21
職責:
1、負責辦公系統的部署及日常維護。
2、監控平臺的搭建和日常維護。
3、數據庫的日常管理。
4、運維自動化體系的建設與維護。
5、協助開發測試排查開發過程中出現的系統相關問題。
崗位要求:
1、精通CentOS、Ubuntu等Linux系統,及系統自帶組件的管理和應用。
2、精通Nginx、Tomcat、Apache、Keepalived等部署和管理。
3、精通Shell,熟悉Pythen或PHP,擅長編寫腳本。
4、熟悉MySQL、MongoDB等數據庫的部署和管理。
5、熟悉Zabbix或Prometheus、Ansible或Saltstack的部署和使用。
6、熟悉自動化運維和分布式等架構的設計與實施。
7、五年以上運維工作經驗。
Hadoop運維工程師崗位職責 篇22
職責:
1、負責公司大數據平臺自動化運維開發、監控和優化工作,保障數據平臺服務的穩定性和可用性;
2、負責公司Hadoop核心技術組件日常運維工作 ;
3、負責公司大數據平臺現場故障處理和排查工作;
4、研究大數據前沿技術,改進現有系統的服務和運維架構,提升系統可靠性和可運維性;
任職要求:
1、本科或以上學歷,計算機、軟件工程等相關專業,3年以上相關從業經驗
2、精通Linux運維命令,熟悉Linux的維護和管理,熟悉Shell/Python腳本開發,掌握Scala/JAVA優先;
3、熟悉大數據項目實施:包括不限于Kafka、Hadoop、Hive、Hbase、Spark等大數據生態的平臺搭建,監控和調優;
4、良好團隊精神服務意識,溝通協調能力;
Hadoop運維工程師崗位職責 篇23
職責:
1、負責客戶及公司站群系統日常維護,確保網站的安全運行;
2、 具有一定的網站修改維護經驗,有軟件開發基礎,了解asp、jsp語言,熟悉css、js、html,可以進行頁面簡單修改及數據庫操作,對常用開發環境比較熟悉,能對站群網站代碼進行相應的簡單修改及維護;
3、 能進行網絡的調試和配置,及時解決故障問題;
4、辦公網絡環境的基本維護,各部門的桌面技術支持,客戶網站系統及辦公系統遠程操作維護;
5、負責網站運行管理;服務器軟件環境管理;oracle11g/mysql數據庫,備份、新建、性能優化。
6、熟悉jsp語言可以根據需求修改網站程序者優先;
【任職要求】
1、計算機及相關專業,本科以上學歷;
2、具備兩年以上網站及各種B/S架構系統維護相關工作經驗,掌握各種網絡環境搭建,具備較強的技術基礎;
3、熟悉網絡設備、服務器、調試、維護;
4、熟悉計算機網絡和網絡安全的調試;
5、具備一定的軟件開發基礎和軟件調試部署,網絡故障分析、判斷、解決問題的能力;
6、工作認真、仔細,有強烈的責任感和良好的溝通能力。
Hadoop運維工程師崗位職責 篇24
職責:
1.對公司各業務系統進行技術維護;
2.業務平臺新建、擴容等工作中部署、調測和對接;
3.業務系統故障和投訴的處理;
4.建設方案、割接方案等技術方案的編寫和實施;
5.公司各平臺業務所需的信號接收、轉碼等系統的維護;
6.業務系統的監控和巡檢;
7.根據工作需要,能適應夜班及節假日值班工作;
任職要求:
1.全日制本科(統招)及以上學歷,計算機、軟件、通信工程、網絡等相關專業,工作經驗不限。
2.熟悉linux操作系統,熟練使用linux基本命令。
3.熟悉一兩種常用linux上的開源程序或中間件,如:tomcat、nginx、lvs、redis、zabbix等。
4.了解mysql、oracle等主流數據庫,了解計算機網絡。
5.了解大數據、云計算、虛擬化、容器化、AI、CI/CD等技術者優先,如:hadoop、docker、kubernetes、python、jenkins等。
6.有良好的邏輯思維,掌握一門主流編程語言者優先,如:Java、php、js、python、C++、go等。
7.具備良好的溝通協調能力,文字表達能力和執行力,對其他部門的技術支持工作有服務意識。
8.有較強的學習能力,熱愛運維工作,喜歡鉆研運維相關技術,能吃苦耐勞
9.對運維工作有高度的安全意識,辦事仔細、認真、不浮躁。
Hadoop運維工程師崗位職責 篇25
職責:
1. 負責公司核心集群的運維工作,保證其高可用和穩定性。
2. 負責集群容量規劃、擴容及集群性能優化。
3. 深入研究大數據業務相關運維技術,持續優化集群服務架構,探索新的Hadoop運維技術及發展方向。
4. 設計實現分布式集群的運維、監控和管理平臺。
職位要求:
1.2年以上中等規模集群環境下的Hadoop/Impala/Hive/Spark集群相關運維經驗。
2.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關參數調優, 性能優化等有實際經驗。
3.有實際踩坑經歷, 對于相關組件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗。
4.實際處理過各種集群在線版本升級, 數據遷移, 集群擴容, 穩定性監控等工作。
4.熟悉Kerberos安全認證系統,實施過集群權限管理, 資源隔離方面的方案規劃或二次開發工作。
5.有Cloudera的CM使用經驗尤佳。