自有ip代理池的建立，爬取各大免费ip网站的高匿代理ip，并对ip进行验证，以确保可用性。及时存放入本地sqlite数据库。阶段性的爬取及验证，清理失效的IP。...
利用ip池进行代理ip，提高爬虫的安全性及效率。避免反爬机制，利用scrapy分布式抓取平台的数据。...
