技术:1.机器学习:熟练使用sklearn、keras建立机器学习模型(线性回归、决策树、xgboost等)以及深度学习模型(RNN、LSTM) 2.数据处理:能够熟练使用pandas对数据进行切片等操作 3.数据可视化:能够使用matplotlib、seaborn、pye
项目:交互式全国疫情地图:通过编写爬虫程序获取疫情相关数据,再利用pyechart库完成绘制 通过爬虫程序获取美国民主党与共和党议员的Twitter文章,并计算各个账号在一个时间段内与疫情相关的推文数量所占的百分比,然后利用python中的scipy库对样本进行了T检验 利
案例: 交互式全国疫情地图
技术:本人熟练掌握 Python 爬虫开发,能够独立完成从需求分析、数据采集到清洗存储的全流程工作。在静态页面抓取方面,熟练使用 requests进行高效解析和数据提取;对于动态渲染、Ajax 异步加载的页面,熟练掌握 seleium模拟浏览器操作,并能结合抓包工具(Fiddler/C
项目:独立开发了一个针对某主流电商平台的商品评论爬虫。该网站采用动态加载且具有简单的反爬机制(如请求频率限制、偶尔出现的滑块验证)。我通过抓包分析定位到评论数据接口,利用 requests 模拟请求并动态添加 cookies 和 headers,结合 time.sleep 随机间隔规避
案例: 简单 图片爬取 视频爬取数据爬取