作品介绍:QQ群信息采集工具我开发了一款基于Python的QQ群信息采集工具,专为采集指定地区和行业(如杭州市装修行业)的QQ群数据设计,满足市场调研和社群分析需求。工具核心功能包括:利用Selenium模拟浏览器操作,爬取QQ群搜索页面的动态数据,提取群名、群号、人数、简介及加入链接;实现智能筛选机制,通过设置人数阈值(>50)和关键词规则(排除“死群”“广告”等垃圾群,优先含“活跃”“交流”的群),有效过滤无效群;支持多页爬取(默认3页,最多60个群),并将结果保存为结构化CSV文件,便于后续分析和使用。我全程负责项目的需求分析、架构设计、代码开发、测试优化及文档编写,成功解决了动态...
作品介绍:停车场查车爬虫工具我开发了一款基于Python的停车场查车爬虫工具,旨在通过需求方提供的停车场二维码和车牌号,调用查车接口获取停车场名称、入场时间和出场时间等信息,支持主流停车系统如ETCP、停哪儿等。工具核心功能包括:利用OpenCV和pyzbar解码二维码图像,提取停车场ID或token;通过Requests调用查车API(如/api/park/query),或用Selenium模拟浏览器处理动态页面,确保数据获取稳定;支持多二维码和多车牌批量查询,结果保存为结构化CSV文件,便于分析。我全程负责需求分析、架构设计、代码开发与测试,解决了二维码解析、API反爬和动态页面交互的挑战...
数据处理与分析系统(2025)技术栈:Python, Pandas, NumPy, netCDF4, openpyxl, logging 描述:开发了一个模块化的数据处理系统,用于整合、更新、分析和转换时间序列数据,适用于多场景(如金融、停车数据、气象)。 核心功能:数据整合:从 CSV、Excel 和 netCDF4 文件合并数据到统一 DataFrame,自动去重,确保数据一致性。 数据更新:支持增量更新,覆盖旧记录,保持数据新鲜。 计算与切片:实现按 ID、时间等条件的分组统计(均值、总和)和灵活切片,优化查询效率。 格式转换:实现 netCDF4(多维数据存储)与 Excel...