大數(shù)據(jù)運(yùn)維工程師崗位的基本職責(zé)描述

　　大數(shù)據(jù)運(yùn)維工程師需要定期對(duì)所有服務(wù)問(wèn)題進(jìn)行分析，并對(duì)服務(wù)效率有影響的問(wèn)題提供反饋意見(jiàn)，提升服務(wù)支撐團(tuán)隊(duì)專業(yè)度。以下是第一范文網(wǎng)小編整理的大數(shù)據(jù)運(yùn)維工程師崗位的基本職責(zé)描述。

　　大數(shù)據(jù)運(yùn)維工程師崗位的基本職責(zé)描述1

　　職責(zé)：

　　1、負(fù)責(zé)維護(hù)服務(wù)器的運(yùn)行，包括巡檢、故障排除、數(shù)據(jù)備份等業(yè)務(wù)，保證服務(wù)器高質(zhì)量、高效率運(yùn)行狀態(tài);

　　2、負(fù)責(zé)服務(wù)器漏洞整改及補(bǔ)丁升級(jí);

　　3、負(fù)責(zé)hadoop運(yùn)維相關(guān)工作;

　　4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的日常部署、升級(jí)、擴(kuò)容、遷移;

　　5、負(fù)責(zé)高并發(fā)，大存儲(chǔ)和實(shí)時(shí)流的Hadoop/spark大數(shù)據(jù)平臺(tái)規(guī)劃，運(yùn)維，監(jiān)控和優(yōu)化工作。

　　任職資格

　　1、2年左右服務(wù)器運(yùn)維經(jīng)驗(yàn);

　　2、對(duì)linux基礎(chǔ)運(yùn)維命令熟悉，shell,python至少精通一種，如會(huì)scala語(yǔ)言可優(yōu)先考慮;

　　3、熟悉Linux的維護(hù)和管理，熟悉bat及Shell腳本開(kāi)發(fā)，能看懂Python/Scala優(yōu)先;

　　4、做過(guò)大規(guī)模hadoop集群優(yōu)先;

　　5、大數(shù)據(jù)項(xiàng)目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數(shù)據(jù)生態(tài)的平臺(tái)搭建，監(jiān)控，運(yùn)維，調(diào)優(yōu)、生產(chǎn)環(huán)境hadoop集群trouble shooting 、hadoop版本升級(jí)管理及優(yōu)化支持。

　　大數(shù)據(jù)運(yùn)維工程師崗位的基本職責(zé)描述2

　　職責(zé)：

　　1、負(fù)責(zé)云平臺(tái)等基礎(chǔ)環(huán)境規(guī)劃及建設(shè)，虛擬化等技術(shù)實(shí)施;

　　2、負(fù)責(zé)機(jī)房物理設(shè)備的日常巡檢，對(duì)云平臺(tái)及大數(shù)據(jù)運(yùn)行環(huán)境的日常維護(hù)，保證運(yùn)行環(huán)境的安全和穩(wěn)定，對(duì)突發(fā)事件進(jìn)行快速處理和恢復(fù);

　　3、負(fù)責(zé)Hadoop集群的部署及日常維護(hù)，熟悉Hadoop生態(tài)圈組件的配置與調(diào)優(yōu);

　　4、負(fù)責(zé)硬件設(shè)備和系統(tǒng)軟件購(gòu)買(mǎi)采購(gòu)數(shù)的擬定，以及運(yùn)維相關(guān)技術(shù)文檔的整理和維護(hù)。

　　任職要求：

　　1、優(yōu)先，30歲以下，計(jì)算機(jī)相關(guān)專業(yè)，統(tǒng)招本科及以上學(xué)歷，3年以上中、大型云平臺(tái)服務(wù)器運(yùn)維經(jīng)驗(yàn)。

　　2、具備基本的機(jī)房建設(shè)及管理能力，能對(duì)機(jī)房?jī)?nèi)服務(wù)器、交換機(jī)、路由器等物理設(shè)備巡檢維護(hù)數(shù)據(jù)備份及恢復(fù)。

　　3、熟悉TCP/IP協(xié)議，熟練掌握CISCO路由器、防火墻、交換機(jī)配置，具備一定的網(wǎng)絡(luò)規(guī)劃和組網(wǎng)技術(shù)能力，負(fù)責(zé)VLan及子網(wǎng)劃分，提供內(nèi)外網(wǎng)及VPN連接等網(wǎng)絡(luò)接入方式;

　　4、熟悉KVM/Docker等虛擬化技術(shù)，及基于VMWare/OpenStack云平臺(tái)的搭建及運(yùn)維;

　　5、有豐富的Hadoop生態(tài)系統(tǒng)運(yùn)維經(jīng)驗(yàn)，了解Hadoop、STorm、Spark、Kafka、zookeeper這些組件的原理，具備部署、實(shí)施、維護(hù)hadoop集群及相關(guān)組件的能力。

　　6、熟悉Zabbix、Nagios等開(kāi)源運(yùn)維監(jiān)控系統(tǒng)，熟悉通過(guò)LVS/Keepalived/Hearbeat技術(shù)實(shí)現(xiàn)負(fù)載均衡，了解CDN技術(shù)。

　　7、有中大型云平臺(tái)數(shù)據(jù)中心容災(zāi)建設(shè)方案(一城兩中心、兩地三中心)實(shí)施經(jīng)驗(yàn)者優(yōu)先;有思科認(rèn)證(CCNA/CCNP/CCIE)證書(shū)者優(yōu)先。

　　8、為人正直，有責(zé)任感，工作認(rèn)真細(xì)心。

　　大數(shù)據(jù)運(yùn)維工程師崗位的基本職責(zé)描述3

　　職責(zé)：

　　1.負(fù)責(zé)大數(shù)據(jù)業(yè)務(wù)集群的運(yùn)維工作(Hadoop/Hbase/Hive/ Yarn/ Spark/ Storm/ ES等大數(shù)據(jù)生態(tài)圈組件)確保高可用性。

　　2.負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容及性能優(yōu)化;

　　3.參入建設(shè)大規(guī)模分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái);

　　4.參與業(yè)務(wù)架構(gòu)設(shè)計(jì)，在設(shè)計(jì)階段給出可運(yùn)維性改進(jìn)建議;

　　5.深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運(yùn)維技及發(fā)展方向。

　　任職要求：

　　1.三年及以上大數(shù)據(jù)運(yùn)維工作經(jīng)驗(yàn)，熟悉hadoop、hbase、hive、Solr、ES等分布式相關(guān)技術(shù)，熟悉源碼尤佳，至少掌握java/python/shell中的一種語(yǔ)言。

　　2.了解大數(shù)據(jù)平臺(tái)應(yīng)用架構(gòu)，具備常見(jiàn)問(wèn)題的基本分析和解決能力。

　　3.熟悉Linux操作系統(tǒng)的配置、管理及優(yōu)化，能夠獨(dú)立排查及解決操作系統(tǒng)層面的問(wèn)題;

　　4.熟悉nginx、tomcat等web應(yīng)用及中間件的使用和配置

　　5.強(qiáng)烈的責(zé)任心和使命感，執(zhí)行力強(qiáng)，富有團(tuán)隊(duì)合作精神;

　　6.對(duì)大數(shù)據(jù)方向運(yùn)維有很高的熱情和興趣，能主動(dòng)學(xué)習(xí)了解相關(guān)知識(shí);

　　大數(shù)據(jù)運(yùn)維工程師崗位的基本職責(zé)描述4

　　職責(zé)

　　1、維護(hù)基于Linux的系統(tǒng)和相應(yīng)的組件;

　　2、維護(hù)Hadoop集群，包括hdfs、hive、sqoop、kafka等核心生態(tài)系統(tǒng)，確保集群運(yùn)行平穩(wěn);

　　3、基于實(shí)踐，根據(jù)業(yè)務(wù)需求設(shè)計(jì)和優(yōu)化Hadoop生態(tài)系統(tǒng);

　　4、設(shè)計(jì)和維護(hù)Hadoop相關(guān)基礎(chǔ)設(shè)施的監(jiān)控;

　　5、維護(hù)技術(shù)文件;

　　6、根據(jù)業(yè)務(wù)需求設(shè)計(jì)和安裝新的生態(tài)系統(tǒng)或技術(shù)組件，并制定最終解決方案。

　　任職資格

　　1、本科及以上，信息技術(shù)或相關(guān)專業(yè);

　　2、2年以上企業(yè)Linux系統(tǒng)和Hadoop經(jīng)驗(yàn);

　　3、Hadoop生態(tài)系統(tǒng)的經(jīng)驗(yàn)和知識(shí)(必須具備：HDFS, Yarn, Hive, HUE;傾向具備：MapReduce、Spark、Kafka、Logstash、Flume);

　　3、較強(qiáng)的事故分析和故障排除能力，較強(qiáng)的shell腳本編寫(xiě)能力;

　　4、了解HA機(jī)制者優(yōu)先;有ITIL知識(shí)者優(yōu)先;

　　5、有跨國(guó)工作經(jīng)驗(yàn)者優(yōu)先;

　　6、愿意學(xué)習(xí)新事物，解決問(wèn)題。

　　大數(shù)據(jù)運(yùn)維工程師崗位的基本職責(zé)描述5

　　職責(zé)：

　　1、負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)(Hadoop/Spark/MPP DB)的自動(dòng)部署;

　　2、負(fù)責(zé)線上數(shù)據(jù)平臺(tái)的運(yùn)維，保障服務(wù)的穩(wěn)定性和可用性;

　　3、參與超大規(guī)模數(shù)據(jù)快速查詢系統(tǒng)的架構(gòu)設(shè)計(jì)和開(kāi)發(fā);

　　4、研究大數(shù)據(jù)前沿技術(shù)，改進(jìn)現(xiàn)有系統(tǒng)的服務(wù)和運(yùn)維架構(gòu)，提升系統(tǒng)的運(yùn)維效率。

　　任職要求：

　　1. 熟悉linux shell及SQL語(yǔ)言

　　2. 了解Hadoop等分布式技術(shù)，數(shù)據(jù)倉(cāng)庫(kù)技術(shù);

　　3. 熟悉數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)流監(jiān)控、故障自動(dòng)化定位及運(yùn)維;

　　4. 強(qiáng)烈的責(zé)任心與求知欲，愿意學(xué)習(xí)新技術(shù)并能快速應(yīng)用;

　　5. 有較強(qiáng)的書(shū)面與口頭溝通表達(dá)能力，獨(dú)立分析、解決問(wèn)題的能力;

　　6、做事認(rèn)真負(fù)責(zé)，自學(xué)能力較強(qiáng)。