携程网机票爬虫
(1) 项目描述:机票网站爬虫项目,本项目使用了scrapy以及selenium+phantomjs模拟浏览器行 为进行数据采集,主要获取航班号、起飞时间、到达时间、准点率、价格等数据
(2) 项目难点:网站使用了ajax加载数据,并加入验证Cookie,限制IP访问反爬手段,需要实时更新数据
(3) 难点解决:使用了selenium模拟浏览行为,ajax数据可以直接加载,故不用构造ajax请求。限制cookie可以直在spider中设置cookie,对于限制IP可以通过IP代理池来实现更换IP