1.面对的反爬策略与对策:在爬虫开发过程中,会遇到各种反爬策略,如JavaScript加密、反调试等。对于这些策略,需要采取相应的对策,如通过debug JS找到加密算法、设置浏览器断点等;
2.项目实施过程中的挑战与解决方案:在实施爬虫项目时,可能会遇到网页结构分析困难、须熟练使用node.js编译器扣js代码,再用proxy代理检测脚本辅助补环境就能很快解决问题。这时,与有经验的开发人员多讨论,共同分析站点页面跳转套路,是解决问题的有效途径;
3.工具的开发与优化:为了提高爬虫的效率和便利性,可以开发或优化一些工具,如app自动化工具Airtest,或者把python脚本编辑成pyqt自动图形化界面。通过工具发送请求并验证封装好的参数是否正确,发送到后台检测,看算法生成的参数能否请求成功,大大提高了工作效率。