小头里的案例列表
爬虫，数据采集，数据处理
scrapy-redis设计爬虫： 分布式爬取社交网站数据 scrapy，redis，mysql，python requests模块请求网页数据 selenium模拟浏览器登录 用scrapy-redis框架特性实现数据去重及数据增量
世纪佳缘爬虫
1、对需要爬取的数据进行分析，思考解决爬虫中的难点问题，因数据量较多，使用多台主机部署爬虫 2、使用requests的post方法请求世纪佳缘登录页面，使用RequestsCookieJar方法获取动态cookie 3、构建代理IP池，使用BeautifulSoup模块处理数据，用find、find_all方法对世纪佳缘数据进行提取，解析 3、通过get请求的json数据进行解析提取百合网数据 4、使用正则，xpath，re模块提取有缘网数据
世纪佳缘爬虫
1、对需要爬取的数据进行分析，思考解决爬虫中的难点问题，因数据量较多，使用多台主机部署爬虫 2、使用requests的post方法请求世纪佳缘登录页面，使用RequestsCookieJar方法获取动态cookie 3、构建代理IP池，使用BeautifulSoup模块处理数据，用find、find_all方法对世纪佳缘数据进行提取，解析 3、通过get请求的json数据进行解析提取百合网数据 4、使用正则，xpath，re模块提取有缘网数据
案例判断参考
小头里的案例列表
爬虫，数据采集，数据处理
scrapy-redis设计爬虫： 分布式爬取社交网站数据 scrapy，redis，mysql，python requests模块请求网页数据 selenium模拟浏览器登录 用scrapy-redis框架特性实现数据去重及数据增量...
世纪佳缘爬虫
1、对需要爬取的数据进行分析，思考解决爬虫中的难点问题，因数据量较多，使用多台主机部署爬虫 2、使用requests的post方法请求世纪佳缘登录页面，使用RequestsCookieJar方法获取动态cookie 3、构建代理IP池，使用BeautifulSoup模块处理数据，用find、find_all方法对世纪佳缘数据进行提取，解析 3、通过get请求的json数据进行解析提取百合网数据 4、使用正则，xpath，re模块提取有缘网数据...
世纪佳缘爬虫
1、对需要爬取的数据进行分析，思考解决爬虫中的难点问题，因数据量较多，使用多台主机部署爬虫 2、使用requests的post方法请求世纪佳缘登录页面，使用RequestsCookieJar方法获取动态cookie 3、构建代理IP池，使用BeautifulSoup模块处理数据，用find、find_all方法对世纪佳缘数据进行提取，解析 3、通过get请求的json数据进行解析提取百合网数据 4、使用正则，xpath，re模块提取有缘网数据...
