1. 大数据运维工程师
岗位职责:
1. 负责大数据中心的数据集群/Hadoop/hive/spark/hbase等运维保障;
2. 负责内部大数据自动化运维以及数据化运营平台开发工作;
3. 负责Hadoop平台的容量规划、部署及扩容;
4. 负责Hadoop平台各组件服务的监控及故障处理;
5. 对Hadoop平台运维不端优化,提升数据产品的质量和响应速度;
6. 深入理解数据平台架构,发现并解决重大故障及性能瓶颈。
任职资格:
1、熟悉linux系统环境,掌握常用的运维开发语言Python/Perl/Shell/Javascript等,有服务端开发维护经验优先;
2、熟悉Redis、Memcache、Mongodb、Kafaka、Mysql、消息队列相关数据仓库部署维护开发经验优先;
3、精通SQL,熟悉Spark、Hive、Phoenix、Storm、Flink等数据引擎,了解数据仓库、数据可视化,有相关项目开发维护经验优先;
4、有较强的学习能力,能够熟练阅读各种开源技术、产品的英文文档;
5、能够独立完成工作,具有较强的综合分析问题及解决问题的能力;
6、有良好的工作文档习惯,及时按要求撰写更新工作流程及技术文档。