技术:数据分析 精通 python与sql ,熟练掌握 pandas、numpy、request、pyqt5、matplotlib、flask等第三方库,处理各种excel、csv、txt等文件,包括数据标准化,分组聚合计算、筛选、汇总,可开发处理数据的工具与自动化脚本程序。 爬虫
项目:项目需求:爬取多个公开网站的图片、视频、文本信息、招标信息等数据。 涉及技术: 1.观察网页结构,寻找网站接口,解析接口数据结构,获取指定数据。 2.通过 js 逆向解决参数加密与网站数据加密等问题。 3.通过使用动态代理 IP 和随机 User-Agent 等方法
案例: 爬虫设计自动化办公小程序