linux,云计算,网络,etl,python,运维开发,华为高校talent实训教学平台,华为云gkit安装,task任务配置修改,gde部署,构建云平台oss镜像,服务器维护,euleros操作系统安装,gaussdb数据库部署维护update,备份,错误排查;helm应用更新,编写yaml,dockerfile文件编写,idea平台maven编译Java,代码问题排查定位;Linux系统优化,nginx优化,k8s应用部署各微服务组件,k8s巡检维护。Gpu、python、ai、webssh镜像部署,问题排查。
广东鸭梨科技集团股份有限公司 / devops工程师 / 运维部2015.7 - 2019.09
工作描述:
项目描述: 从事 shell和python 脚本语言和自动化运维。对本地服务器和阿里云服务器和其他云服务进行管理。对交换机,防火墙进行配置。网络安全的防护,如ddos攻击,爬虫攻击,idc机房管理,交换机管理,服务器管理,docker管理,存储管理,监控管理。软件开发管理,git,jenkin,ci/cd,kvm维护,nas维护,fusioncompute维护。在基础架构运维上有较高造诣。
云平台管理 sre维护
项目描述: 维护云平台,对公司的开发代码进行管理,利用git进行版本管理,当开发者有新代码,或修改bug后,要对服务器上的代码进行更新。使用jenkins进行ci/cd,使用ansible进行软件部署运维。对大规模分布式系统进行设计,分析,故障排查。全链路监控、降级、流控、熔断等稳定性进行保障。日志的处理分析。elk维护。
高可用负载均衡集群的搭建
项目描述: 由于公司网站访问量的日益增大,负载均衡服务器响应时间变长,web服务器压力增加,客户浏览速度变慢,影响客户体验,所以公司经过商议决定,搭建高可用负载均衡的集群,提高网站性能加快客户访问速度。使用Nginx做RealServer 的负载均衡,基于Keepalived的高可用技术避免负载均衡的单点故障,利用Nginx做动静分离(Nginx处理静态请求,Tomcat处理动态请求),采用Redis做静态资源的缓存,减少RealServer的压力。对MySQL做负载均衡,实现Master的写操作和Slave的读操作,完成数据库的读写分离。
商汤集团股份有限公司 / 高级运维工程师 / 运维部2019.10 - 2023.05
工作描述:
项目一:人工智能
项目描述:部署维护人工智能,采集视频和图片,进行大数据分析。由于有大量服务器,需要使用到ansible部署,promql编写,系统使用了中间件,如mysql,kafka,redis,hadoop分布式文件系统,spark,jan视图库。以实现视频和图片采集后的存储和分析。平台需要配置摄像头视频流h264,在k8s中使用了冷数据和热数据的存储方式,也进行了etl数据清洗。采用nginx作为网关,对特定任务进行job执行,构建job定时任务,任务失败问题排查;使用过程中特定需求jan视图库查找,clickhouse查询数据过滤分析,按时间进行存储的设计,使其可以快速查询到数据,可以快速地位相应时间的数据,进而排查故障。对大数据相关组件问题排查,gpu使用数据定时清理等。解决部署过程中出现的问题,对问题进行分析总结。巡检维护系统平台。
项目二: 机房服务器维护
项目三:aiops运维部署,基于大数据的异常检测,和故障决策,在elk和监控平台的基础上使用spark,flink,clickhouse,hdfs等组建aiops。维护aiops。
项目四:参加全国人工智能比赛,获得3等奖
公司项目
项目一 / 运维部2023-06 - 2024-09
工作描述:
项目描述:私有云服务搭建talent教学平台,fusioncomputer搭建,ensp网络模拟器搭建维护,gkit+gde部署在fusioncomputer,规划cpu,disk,内存,多租户环境平台搭建,镜像模板构建,网络配置,主机IP设置,路由设置,doker应用排查调试,编写部署文档。Nginx维护,跨域设置,嵌套设置。云平台告警配置,解决告警问题,设置拨测等,域名上线,中间件kafka,redis,mysql,oss,cdn问题排查,java业务上线,解决排查上线遇到的问题,网络负载均衡配置,容器部署问题。脚本编写,用于业务上线。Jenkins构建,部署应用。
————————————————————————————————
项目描述:搭建Prometheus,对k8s集群进行监控。搭建grafana,显示监控。
项目二 / 运维部2024-09 - 2024-12
工作描述:
1.负责数据中心网络、各项目中网络部分的架构规则、方案设计评审及实施工作;
2.负责数据中心网络的日常管理,包含但不限于网络设备的安装配置和调测,网络环境的巡检和监控,网络策略的配置和网络相关的变更的实施等;
3.负责公司业务产品运维方案设计和实施;业务性能提升、可靠性提升;
4.负责公司业务上线维护,vpn,虚拟机,磁盘,网络。Shell,python脚本编写,用于业务上线。
5.负责GPU的组网、互联及调优。进行Linux/Ubuntu/c
角色 | 职位 |
负责人 | 运维工程师 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
架构 [原始数据层(ODS)] ├─ 质检原始记录 ├─ 生产过程参数 └─ 原材料检验数据 ↓ [明细数据层(DWD)] ├─ 质量缺陷事实表 ├─ 过程参数事实表 └─ 质量检测事实表 ↓ [汇总数据层
linux,云计算,网络,etl,python,运维开发,华为高校talent实训教学平台,华为云gkit安装,task任务配置修改,gde部署,构建云平台oss镜像,服务器维护,euleros操作系统安装,gaussdb数据库部署维护update,备份,错误排查;helm应用更
使用python进行脚本开发,前后端开发。ci/cd开发,大数据开发,linux下的脚本开发。jenkins构建。