项目一:爬虫与数据分析方向
项目名称:小红书数据采集与可视化分析系统
项目描述:
独立完成从数据抓取、清洗到可视化呈现的全流程开发,用于分析市场行情及趋势,为业务决策提供数据支撑。
技术栈:Python、Scrapy/Requests、Selenium、Pandas、MySQL、Matplotlib/Echarts
负责内容与成果:
1. 数据采集:基于 Scrapy 框架编写爬虫,成功抓取小红书维度的核心数据,日采集量可达数万条。
2. 反爬应对:针对小红书反爬机制,采用 Selenium 模拟浏览器操作、并搭建了 Cookie 池与 IP 代理池,确保爬虫高可用运行。
3. 数据清洗:使用 Pandas 对抓取到的半结构化数据进行去重、缺失值填补及格式统一,提取关键特征。
4. 可视化展示:将清洗后的数据存入 MySQL,并利用 Matplotlib 输出小红书日销量视图,最终生成直观的数据分析报告。
项目二:数据建模与算法方向
项目描述:
利用历史数据构建预测模型,帮助识别关键影响因素并输出预测结果。
技术栈:Python、Pandas、NumPy、Scikit-learn、XGBoost、Matplotlib
负责内容与成果:
1. 数据预处理:使用 Pandas 处理原始数据,完成缺失值填充、异常值检测与处理,并进行特征编码(One-Hot/Label Encoding)及数据标准化。
2. 特征工程:通过相关性分析与特征重要性评估,筛选出对目标变量影响最大的核心特征,有效降低了模型复杂度。
3. 模型训练与调优:分别搭建了线性回归、随机森林及 XGBoost 等多种算法模型,使用 GridSearchCV 进行交叉验证和超参数调优。
4. 成果评估:最终选定的【随机森林/XGBoost】模型在测试集上取得了良好的表现,预测准确率(或 R² 得分)达到【0.85】以上,并输出了特征重要性排序,为业务提供了参考建议。
项目三:办公自动化与脚本方向
项目名称:企业级办公自动化及数据处理脚本开发
项目描述:
针对日常办公中高频、繁琐的数据处理及网页操作任务,开发自动化脚本来提升工作效率。
技术栈:Python、Pandas、Openpyxl、Selenium、PyAutoGUI
负责内容与成果:
1. Excel 批量处理:使用 Pandas 和 Openpyxl 编写脚本,实现多个 Excel 表格的自动合并、特定字段提取、数据格式校验与跨表数据比对,将原本需要数小时的人工操作缩短至几分钟。
2. 网页自动化操作:利用 Selenium 开发自动化脚本,模拟人工完成重复性工作,且具备异常捕获与断点续传功能。
3. 文件整理:编写文件分类脚本,根据文件后缀名、创建时间或文件名关键字,自动将杂乱的文件归档至对应的文件夹中。