技术:Python 数据爬取: 使用爬虫技术从互联网上抓取所需的数据,通过网络请求获取网页信息,解析HTML或XML文档,提取所需的数据等。数据处理: 清洗和预处理爬取到的数据,去除重复数据、处理缺失值、转换数据类型、处理异常数据,以便后续的分析等。数据存储: 将清洗和预处理后的数据
项目:1.zf公开信息网站(农产品,植物等),没有反爬 2.某博(内容,评论,热搜榜) 抖某音(评论) B某站(视频,评论,弹幕)A 携某程(景点信息JS逆向,景点评论) 马某蜂窝(旅游目的地,评论,详情页) 7.某宝(商品信息) 8.某东(商品评论) 某点评(美食评论
案例: 贪吃蛇
技术:• 后端框架:Django、Flask • 数据库:MySQL、Redis、MongoDB • 前端:Vue.js、JavaScript • 操作系统:Linux • 工具:Docker、Git、Postman、MarkDown、Pycharm、VScode • 爬虫:
项目:项目经验: 数据可视化平台 • 使用Django+Pandas模块操作数据 ,优化代码 ,提高性能 • 使用NumPy进行数据分析和科学计算。 • 熟练使用Matplotlib,用于创建各种静态图表和数据可视 • 使用JWT中间件实现接口鉴权 • 使用Celery+R
案例: 数据可视化平台