一、天眼查爬虫
1、分析网页数据，考虑到数据量较多，采用scrapy-redis搭建分布式爬取数据，此框架搭建分布式比较方便且爬取更快，而且也实现了数据去重、增量处理

2、初次使用静态cookie进行数据爬取，后因静态cookie的时效性，采用了重写spider中的start_requests方法，并使用selenium、PhantomJS无界面模拟登录获取动态cookie信息

3、使用BeautifulSoup模块处理数据，用css选择器对数据进行抽取，解析

二、汽车之家
1、了解数据需求，分析网页发现部分数据使用js动态加载，并使用伪元素加入混淆

2、根据js逆向策略，找出对应的js文件从最后一步找起，缺啥找啥，把需要的函数找到使用PyV8库对js作解析，最终找出数据的映射关系

3、结合数据的映射，使用requests，正则，xpath提取网页需要的数据

4、通过pymysql模块将爬取的数据保存到mysql数据库