1.代理池：可以给外界提供稳定的免费代理，防止采集数据的时候爬虫被封。
2.java爬虫框架：基于广度优先遍历算法，多线程爬取网页数据，能够较为快速的完成爬取任务，并且具有自己封装的多个实用工具，如：并发url队列，地址解析和逆地址解析，能够保证爬取的数据具有一定的正确性和完整性。
3.携程网景点爬取：爬取相应的景点，并且解析出相应的经纬度。
4.甘肃省公交站点爬取：利用伪装爬虫技术，爬取甘肃省所以站点保存在mysql，并且对所有的站点进行地址解析得出相应的经纬度。
5.ftp数据采集：将ftp的excel文件定时解析采集到mysql数据中。
5.数据清洗：应用正则表达式和数据字典，对数据库中的缺失数据和乱码数据进行清洗。