python爬虫:熟练掌握批量爬虫,掌握主流爬虫框架
数据分析:可视化展现以及WEB前端可视化展现
web框架:Flask,Django
大数据:掌握大数据相关算法如PCA数据降维,SVM支持向量机等
电商平台商品数据爬取以及数据可视化
招聘平台数据抓取以及数据可视化
自媒体平台数据抓取以及数据可视化
人脸识别实现
PCA数据降维
SVM支持向量机
股票数据可视化
邮件python发送
| 角色 | 职位 |
| 负责人 | python爬虫 |
| 队员 | 前端工程师 |
| 队员 | 后端工程师 |
加入异步多线程requests爬虫,速度较同步爬虫快,适用于批量爬取数据,且充分利用CUP调度算法。
本项目使用face_recognization和OpenCV计算机视觉库,将待识别的对象拍照并转换成矩阵与标准图片进行比对,达到人脸识别的效果。
本项目使用face_recognization和OpenCV计算机视觉库,将待识别的对象拍照并转换成矩阵与标准图片进行比对,达到人脸识别的效果。
使用requests中的get方法,结合正则爬取相关商品信息,并保存到相应的csv文件中,体现商品名,价格,商品发出地,参考图片链接。
本作品是一个基于Python的电商数据智能分析系统。项目以京东平台为数据源,通过编写定向爬虫,系统性地抓取了目标商品的多维度数据,核心包括用户评论、价格、销量及店铺信息等。在数据预处理的基础上,项目构建了机器学习模型,对影响商品销量的各项因素(如评论情感、关键词权重等)进行量化分