1、具备完整的Python爬虫开发与分布式爬虫搭建能力,熟练掌握爬虫全流程技术栈,可独立完成数据抓取、解析、存储全链路开发工作;
2、具备业务服务、数据库、监控系统、集群服务的安全运维与漏洞隐患整改能力,全方位保障业务系统安全稳定运行。
3、具备Linux系统、容器、K8s集群、数据库全场景故障排查、性能优化、日常运维能力,可快速定位并解决各类系统运行故障。
多省市智慧项目常态化运维与故障优化项目:负责全国多个省市智慧大屏、政企信息化项目的日常运维、巡检监控、故障应急处理及版本迭代维护,保障大屏业务、数据库、Web服务全年稳定运行,定期漏洞扫描优化整改和等保基线整改。
基于Python的分布式数据采集爬虫开发项目:基于Python开发轻量化爬虫脚本,针对业务所需公开数据,完成网页数据定向抓取、结构化解析、无效数据清洗去重,规范数据格式,实现数据自动化采集替代人工统计,极大提升数据调研效率。
企业微服务DevOps架构搭建与持续交付运维项目:针对公司多智慧项目微服务业务迭代快、部署繁琐、环境不一致、运维成本高的问题,搭建整套微服务DevOps研发运维一体化架构,整合容器虚拟化、CI/CD流水线、服务治理、自动化部署能力,实现微服务项目**代码提交、构建、测试、部署、监
四会爬虫控制台:是一套面向地方资讯采集、舆情素材归集的分布式定时爬虫管理平台,可视化实现采集规则配置、周期性自动抓取、内容入库、结果统一查看,定向采集互联网公开资讯信息,服务本地政务信息汇总、行业资讯监测、素材归档等场景。 平台支持多数据源适配,无需编写代码,通过网页控制台即可