项目名称:FITY-SPIDER
项目简介:该项目是一个分布式爬虫系统,对FaceBook、Instagram、Twitter、YouTube四大站数据分析,做选择性爬取。项目已实现功能有Instagram的数据爬取,该爬取可依据用户名爬取用户所有timeline数据或任意爬取,YouTube爬取实现了实时搜索过滤,可实时搜索某YouTube视频,提供不同清晰度、音频、视频独立下载,同时支持machine captions字幕提取,该YouTube实时功能使用Python语言实现,Java调用接口统一处理数据,二次接口调用的目的是统一接口路径,后期也会用Java来实现该实时搜索功能。
技术栈:Spring Boot + MyBatis + OkHttp + MySQL + RabbitMQ + Redis + Nginx + Tomcat + Privoxy + SS + Kafka