负责公司逆向登陆,数据采集和清洗工作,开发和维护多个爬虫项目通过分析网站结构和反爬虫机制,编写相应的爬虫策略,确保数据的准确性和完整性优化爬虫程序的性能和稳定性,确保数据采集的效率负责数据存储和数据处理,包括数据清洗、去重、存储等工作设计和编写多个 Python 爬虫程序,通过模拟用户行为和分析网站结构,采集网站上的商品信息、用户评论、价格信息等数据通过分析网站的反爬虫机制和页面结构,编写相应的反爬虫策略,确保数据的准确性和完整性对采集到的数据进行清洗、去重、格式化等处理,生成符合业务需求的数据格式将处理好的数据存储到 MySQL 数据库中,并建立索引和关系,以提高数据查询和分析的效率使用 Python和 pandas 库对数据进行分析和统计,生成报表和可视化图表