技术能力

1. 常用c#、java、python、nodejs、lua等进行编程
2. 常用python爬取数据，熟悉js逆向，极验等反爬处理，以及爬虫的稳定性
3. 常用Django、Flask等python框架，以及接口的编写
4. 熟练掌握MySql、SQLServer、Redis、Mongodb等数据库
6. 常用HTML5、CSS、JS、TS等进行前端的开发

项目经验

采集TikTok/抖音
处理_signature参数加密等反爬手段
资料数据存入Mysql，视频文件存入aws桶转访问链接存储

采集多个航船公司数据
采集集装箱，航线等实时数据
每天定时采集
Flask+vue编写web网站，使采集的数据可查询/可展现/可分析

采集上百个资讯类网站
编写可配置的通用爬虫，编写通用采集规则
设定爬取时间，并发量，断点续爬，采集深度，缓存，分布式等
部署crawlab统一调度，监控爬虫

团队情况