爬虫项目经历简介 电商商品数据深度采集系统 基于Python的Scrapy框架,搭建分布式爬虫系统,实现对10+主流电商平台商品信息的自动化抓取。针对网站动态渲染和反爬虫机制,采用Selenium+ChromeDriver模拟真实用户行为,结合IP代理池轮换、Cookies会话保持策略,成功突破访问限制,数据采集效率极高。运用Pandas进行数据清洗与标准化处理,通过SQL语句将结构化数据高效存储至MySQL数据库,数据准确率达98%以上。 全网新闻实时监控平台 使用多线程技术结合BeautifulSoup库,开发高并发新闻爬虫,实现对30+新闻媒体网站的7×24小时动态监测。通...
爬虫项目经历简介 电商商品数据深度采集系统 基于Python的Scrapy框架,搭建分布式爬虫系统,实现对10+主流电商平台商品信息的自动化抓取。针对网站动态渲染和反爬虫机制,采用Selenium+ChromeDriver模拟真实用户行为,结合IP代理池轮换、Cookies会话保持策略,成功突破访问限制,数据采集效率极高。运用Pandas进行数据清洗与标准化处理,通过SQL语句将结构化数据高效存储至MySQL数据库,数据准确率达98%以上。 全网新闻实时监控平台 使用多线程技术结合BeautifulSoup库,开发高并发新闻爬虫,实现对30+新闻媒体网站的7×24小时动态监测。通...
网络运维值班事件响应,处理客户申报的网络故障,应用问题和服务请求等。 保障全国各地客户线路网络互联互通,专线,带宽, VPN,等线路 保障客户国内和海外的互联互通,优化加速IP,优化出口等。 主要负责 教育网IP资源规划分配 网络数据调试和开通 教育云IDC运维以及网络数据调试和公网资源分配等 通过H3C IMC 网管平台对教育网核心网络设备 防火墙 交换机 负载均衡 等节点 进行监控,以及对服务器和业务进行运维监控。 深信服态势感知安全设备,对服务器业务攻击和终端系统等进行监控运维和处理,各种故障运维处理等。 维护 教育网DNS服务器集群,对DNS进行提供解析业务等。 维护...
参与研发项目是宠物店SaaS项目。项目采用基于jdk11+spring boot+spring cloud 微服务架构,利用阿 里推荐的服务分层、以及采用DDD思想把服务的结构,领域规范;并会把一些中间件的使用、公共工具统 一抽离封装;定义一些中台服务一共用。运用的技术栈有springboot,maven,nginx,zookeeper, RabbitMq,nacos,Gateway,docker,redis,mysql,mongo,Ehcache 集群等相关技术。同时开发多 个终端, B端小程序,C端小程序,H5页面,PC端,后台管理端等。 ● 项目实现的基础服务包括权限服务,认证...