ID:309691

flyfish

运维经理/大数据运维工程师/容器云原生工程师

  • 公司信息:
  • 上海安能聚创供应链管理有限公司
  • 工作经验:
  • 12年
  • 兼职日薪:
  • 1000元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 上海
  • 闵行

技术能力

服务器桌面理运维,个人具有12年一线运维经验
1.擅长windows server 企业服务部署,企业Linux集群化,各种Linux服务系统部署,监控优化,批量部署,自动化运维,具有管理规划万台服务器的管理经验
2.对虚拟化(vmware,hyper-v,KVM)和主流开源私有企业云openstack具有一定的技术研究.
3.擅长大数据hadoop,Spark,Flink 集群等大数据生态实施部署管理,大数据生态站 CDH,HDP,TDH,USDP,datasophon等大数据集中平台的部署管理,帮助企业管理运维过百台大数据集群
4.会容器化docker,云原生k8s (kubernetes) 项目部署实施,完成企业应用开发业务数据迁移至k8s平台,以及代码发布自动化集成devops方面的工作
5.曾经获得过红帽RHCE证书(比较早10年前)
6.51CTO 运维专家级博主 top100位红人,博客之星 博客地址:https://blog.51cto.com/flyfish225
7. 对外承接项目运维管理,Linux服务器部署,云计算平台部署实施,大数据集群运维项目实施运维培训,运维技术实施文档书写交付等。
8.有需要随时联系,点击和我私聊,价格面议,非诚勿扰 谢谢

项目经验

一: 负责构建企业内部关于容器集群管理
1.负责构建企业内部的线下基于PAAS平台,天龙环境Kubernetes (k8s)集群管理于对接公司内部项目(天龙,鲁班)等项目
2.基于天龙、鲁班项目分散jar包采用微服务架构(spring boot) 注册zookeeper
的dobble 平台
3.编写pod的服务资源限制yaml文件,将项目分散的微服务jar采用Ingress部署到K8S的容器节点上面去
4.构建docker镜像基于容器仓库(harbor)用于存放已经生编辑好的镜像模板。
5.自动化微服务构建采用git+jenkins+maven+dockers+harbor+k8s 封装一键到发布到开发环境与测试环境
6.容器集群监控采用Prometheus+Grafana做整个k8s中的pod进行进行监控处理
7.pod 日志 采用 EFK对 对 k8s中的pod日志管理


二:BI项目业务平台管理

1.负责构建公司以BI 项目主导的基础数据平台,portal门户与cas 中央认证服务的测试环境与生产环境的搭建,发布平台相关业务的代码更新与维护。
2.公司采购北京永洪大数据公司 BI 项目报表展示工具,负责与永洪大数据公司的售后联系,构建属于公司BI 项目 CXO 层数据方面的展示。
3.负责BI项目构建所有平台的实时日志分析,具体前期以ELK方式,将公司天龙,鲁班 快运等项目的访问nginx 的日志与tomcat 日志按天的方式对其日志进行分割,方便BI 项目开发人员进行查看与日志分析。
4..负责构建大数据环境与应用服务器的监控nagios+ganglia+centreon 对服务器进行监控
5.采用自动化运维工具ansible 管理大数据集群,与相关应用服务器集群。书写相关脚本对服务器进行服务批量部署管理与配置。

二: BI 项目组实时大数据平台构建与维护
(1)负责构部署BI 项目cdh5.5.4将近40个节点的大数据平台维护解决方案。
(2)报表mysql元数据到ods层 采用 kettle 对 数据进行第一次加工到ods 层
(3)采用sqoop抽取到hadoop的hdfs 做为DM 层的的数据第二次加工
(4)采用hive 作为DW层的数据仓库,所有项目的报表数据均从hive中抽取
(5)DMA 层的数据从hive 底层 跑sparkSQL的job的 放于 yarn是上面 加 hue+oozie 对数据 job 任务进行定时调度清洗,放于hbase 列式存储当中。
(6)上门户CXO层永红页面调取hbase 上层phoiex接口做数据的展示
实时日志分析采取 flume+ kafka + hadoop+sparkstreming + hbase + phoiex + echarts架构 做准实时的数据业务统计数据展示。

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服