技术:数据分析 精通 python与sql ,熟练掌握 pandas、numpy、request、pyqt5、matplotlib、flask等第三方库,处理各种excel、csv、txt等文件,包括数据标准化,分组聚合计算、筛选、汇总,可开发处理数据的工具与自动化脚本程序。 爬虫
项目:项目需求:爬取多个公开网站的图片、视频、文本信息、招标信息等数据。 涉及技术: 1.观察网页结构,寻找网站接口,解析接口数据结构,获取指定数据。 2.通过 js 逆向解决参数加密与网站数据加密等问题。 3.通过使用动态代理 IP 和随机 User-Agent 等方法
案例: 爬虫设计自动化办公小程序
技术:精通Spring底层,对项目进行过自定义的扩展; 精通Dubbo框架,进行过功能改造与扩展; 精通RocketMQ,进行过功能改造与扩展; 精通Redis,进行过组件的封装与扩展应用; 熟悉JVM、锁、系统的底层; 擅长深度性能优化,擅长使用工具发现系统问题; 擅长排
项目:在公司负责Apaas整个系统的架构、规划、底层技术选型设计开发、底层框架与业务代码深度优化、预防代码腐化等问题。 成就:将整个Apaas平台70多个微服务总运行内存从 200G缩减为最小10G,硬盘缩减为原来的1/35,服务整体启动速度提升90%,性能优化60%以上。
案例: Apaas平台