知乎用户信息的分布式爬取与存储
案例介绍
通过对知乎用户“轮子哥”的关注列表与粉丝列表信息的爬取与解析，获得这些用户的 url-token，得
到其个人主页，关注列表，粉丝列表，从而进行裂变式的迭代爬取，理论上可获得所有较为活跃的知乎用户。使用
scrapy-redis 组件实现分布式爬取。项目还在改进，计划通过 ElasticSearch 来进行查询，索引，搭建搜索引擎，
进行关键字查找。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
执事通erp
整个系统包含erp与报表功能以及商城平台，erp功能包含采购
-
数据治理服务集市
正如企事业单位中各个系统都是单独的，而且系统之间也都是独立的
-
富商通app
富商通app为用户提供专业的园区及企业服务平台，主要技术栈：
-
集商网平台
集商网平台是运用大数据人工智能为全球企业提供专业服务的互联网
-
连云港纪委监察系统
《连云港纪委监察系统》该项目是连云港市局由纪委部门牵头进行建
-
青岛市公安局警务信息融合应用系统
《青岛市公安局警务信息融合应用系统》项目是在2018年青岛峰
-
自动化配置工具
项目中主要负责前端用户的数据处理，没有实际页面，用户把需要装
-
大部分的数据管理分析系统
我做五六种运维运营分析系统，后台管理，前端展示，大屏的系统，
-
大部分的数据展示系统
HTML5，css3熟练使用，js5，js6，typescr
-
Saas平台
这是当前公司做的可视化大数据管理平台，其中还大量使用Echa
-
云监控
（您已在“基本信息”中填写过联系方式，需求方如选中您简历，会
-
公司OA
公司OA管理系统当前开放的功能为系统管理、资源管理、产品研发
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
接收人才推送
联系聘用方端客服