春日微风

python爬虫
北京阿提拉科技有限公司 · 1年经验
春日微风
日薪: ¥500/8h
地点: 北京 海淀
时间: 下班后周六周日
ID:274162 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Django Python MySQL Redis HTML5
熟练网络爬虫、python编程语言、数据分析、django框架
熟悉html5、javaweb等常见编程语言
django架构,熟悉scrapy框架以及相关的扩展、熟练使用mysql和redis数据库

链家网:
网站是静态网页数据,请求url地址是可以直接获取数据内容的
相关的数据内容价格、面积、地址、小区名等都包含在li标签里面,通过parsel解析库,进行解析提取数据
最后利用利用scrapy爬虫框架将数据入库到mysql数据库
安居客网:
网站是静态网页数据,请求url地址是可以直接获取数据内容的
在抓取安居客的房源数据时,发现其对ip地址有严格的访问限制
利用scrapy爬虫框架,redis数据库用来批量存储第三方代理ip形成ip池
scrapy爬虫每次爬取安居客数据时轮询的方式从redis中读取可用IP地址爬取数据
春日微风 ID:274162 复制

春日微风

python爬虫 · 1年经验 · 北京阿提拉科技有限公司
城市北京 海淀 日薪500元/8h 时间 下班后周六周日
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Django Python MySQL Redis HTML5
熟练网络爬虫、python编程语言、数据分析、django框架
熟悉html5、javaweb等常见编程语言
django架构,熟悉scrapy框架以及相关的扩展、熟练使用mysql和redis数据库

项目经验

链家网:
网站是静态网页数据,请求url地址是可以直接获取数据内容的
相关的数据内容价格、面积、地址、小区名等都包含在li标签里面,通过parsel解析库,进行解析提取数据
最后利用利用scrapy爬虫框架将数据入库到mysql数据库
安居客网:
网站是静态网页数据,请求url地址是可以直接获取数据内容的
在抓取安居客的房源数据时,发现其对ip地址有严格的访问限制
利用scrapy爬虫框架,redis数据库用来批量存储第三方代理ip形成ip池
scrapy爬虫每次爬取安居客数据时轮询的方式从redis中读取可用IP地址爬取数据
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏