本人熟练掌握Python编程,具备扎实的数据处理与爬虫开发经验。精通requests、Scrapy框架,能够高效爬取动态加载及反爬网站数据,曾利用XPath、BeautifulSoup和正则表达式清洗多源异构数据。熟悉Pandas与NumPy,独立完成过电商平台评论采集与分析项目,实现数据去重、缺失值处理及可视化,日均处理量超10万条。掌握Selenium自动化工具,应对JavaScript渲染页面。具备分布式爬虫设计思路,实践过Redis去重队列。
负责搭建多源新闻网站聚合采集模块,针对JavaScript异步加载的页面,采用Selenium模拟浏览器渲染。通过自定义中间件维护会话登录状态,确保数据抓取稳定性。数据落地后,利用正则表达式与XPath进行结构化解析,完成文本去重、分词及关键词权重计算. 也抓取过国内某知名电商平台数据