编程语言:熟练使用Python,具备基础C能力,能够完成脚本化任务 熟悉Django/Flask/FastAPI框架
爬虫:通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取,对抓取到的数据进行清洗过滤,分表存储
关系型:MySQL(熟练)、SQL优化 、MongoDB、Redis(集群部署经验)
大数据技术:Hadoop生态:HDFS、MapReduce、Hive、Spark
项目职责:对电商App进行逆向分析,提取接口签名生成逻辑,完成JS加密参数还原。编写Python爬虫脚本,模拟用户行为,采集商品数据并绕过反爬机制。使用AES-256-GCM加密算法对采集到的数据进行加密存储,确保数据安全。将采集数据清洗后整合为报表,为价格监控团队提供实时竞品分析支持。
项目成果:成功采集10,000+条商品数据,数据准确率提升至95%以上,爬虫运行稳定。