技术能力

熟悉linux及windowsserver平台的shell .net golang html markdown语言开发
运维服务:CI/CD harbor k8s docker memcached jenkins gitlab nginx nexus mysql redis mongodb nfs samba postgresql kafka rabbitmq dns fastdfs graylog elk ansible zabbix jumpserver sqlserver iis crontab tomcat
运维脚本开发语言:shell golang html markdown gitbook 会用beego框架开发一些运维日志平台
运维服务器平台KVM VMware aliyun tencentcloud xenserver
运维网络分析工具 tcpdump dig wireshark
运维操作系统windows centos

项目经验

开发运维管理平台的自动化管理
基于golang语言实现的http服务web管理页面
项目一:处理DDOS攻击问题
项目背景:公司主站点于2018年10月14号被恶意DDOS攻击,出现大面积站点瘫痪,阿里云随机发出警告短信被告知相关站点及SLB转入黑洞
处理方案:
由于项目分windows server 和linux server此前IIS应用服务单独暴露在外部SLB节点不好管控,随机将相关windows端的IIS应用取消直接由SLB挂载方案,改为由openresty(基于nginx改进)代理之,即client-slb-openresty-iis架构,同时基于lua脚本编写加入到openresty中,通过相关策略限制单个ip的流量峰值,同时结合nginx的limit漏桶限流设置分钟最大并发处理,然后部署杭州 深圳 北京多个节点的SLB通过阿里云的高速通道走流量转发至深圳的IIS,在各地区部署openresty服务代理IIS应用,添加多个节点的SLB备份策略及防止下次出现时及时阿里云智能DNS切换域名解析,项目迁移SLB结束后通过Golang开发手机端回收IIS应用池,重启IIS站点,nginx后端server上线,下线web端手机一键操作平台,通过域名访问及密码认证方式给相关研发负责人和运维部同事方便操作,同时部署Graylog集中收集openresty日志,配置钉钉 zabbix做监控告警,同时监控容器进程openrestry k8s的pod服务状态等做好服务死机自动重启,及时发邮件 钉钉及短信告警等.
项目二: 处理产品支付与泰隆银行接口超时问题
项目背景:2018年12月5号出现我司支付系统访问泰隆银行接口慢响应超时问题,分析nginx日志出现多台ECS实例中代码程序大量请求超时问题.
处理方案:联系泰隆银行运维两边同时抓包分析,在用warkshek分析协议,
同时我们在graylog日志工具中分析得知是后端的具体那台应用服务器的问题,根据该机器的公网ip请求浙江泰隆银行,经抓包测试,其中我司机器到对端请求过程中有ack syn tlsv2 并成功发送clent hello 最终对端显示的回复是成功的,表示我们发送网络数据包过去没有丢包的情况,也就是我们的程序请求成功到对端并有建立tcp连接,而对端在链接之后没有处理,所以考虑对端程序或服务器超时未响应问题 需要查看服务器端日志,最后泰隆运维同事查看日志发现我司请求的包数据长度一致,而他们nginx返回错误,应该是泰隆后端服务器问题,后期他们优化处理之后支付接口请求超时问题恢复正常,协议分析得知数据包已到达应用层并拆包,所以是应用层处理问题
项目三: 部署DEVOPS生产平台
项目介绍:公司项目于2018年10月将java应用服务从本地迁移之k8s平台,为增加开发及运维效率节省公司线上成本,部署devops环境.
项目部署:
在机房开发环境部署XenServer平台管理内网linux服务器,部署jenkins服务,通过设置路由规则暴露公司静态公网ip及8080端口给阿里云ECS访问
部署内网k8s开发环境,安装ansible,git 等工具通过ansibe-playbook及shell脚本一键部署k8s环境及nginx-ingress,helm等必要服务,编写deployment测试k8s环境是否正常
购买ECS及阿里云容器镜像服务k8s版并指定相关ECS实例做为生产k8s节点应用,使用标准版阿里云容器管理平台,创建k8s集群,并将公网访问k8s令牌部署至jenkins机器让其可以基于cicd来管理pod服务并搭建dashboard服务方便研发环境pod服务
通过docker-compose部署gitlab代码管理平台,并配置ssl证书,将域名解析至该机器实现http转发至https,让研发自动注册账户,上传自己代码
基于markdown编写gitbook运维管理说明站点,设置slb访问控制策略只允许公网出口ip访问相关文档,便于开发根据文档部署程序应用
编写dockerfile helm Chart私有仓库配置文件 及根据Groovy语言Pipeline语法编写jenkinsfile脚本 内嵌shell脚本 实现开发更新prod环境代码时区分gitlab分支结构自动更新deployment的pod服务,根据开发需求适当调整相关资源参数
将k8s环境的java应用与windown的iis应用通过openresty结合起来,通过location区分不同的业务有不同的url地址,客户端访问域名和小程序自动跳转至相关程序
部署zabbix,aliyun及

团队情况