深圳某项目(涉密)爬虫方面工作负责:
负责设计开发分布式网络爬虫,进行多平台信息抓取分析工作;
根据业务需求,实现文本、图片数据抓取、清洗、存储工作;
根据业务需求通过抓包技术Wireshark,包括代理、selenium、验证码处理等;
根据业务需求获取各大平台cookies实现模拟登录和模拟请求接口获取数据。
完成爬虫主要包括,Telegram公开群组成员信息,聊天信息采集;Facebook个人主页,公开主页,发帖信息,关联关系采集;Twitter个人信息,发帖信息,关联关系信息采集等。
某开源情报平台后端研发:
前期使用Java+SpringBoot+MySQL的技术栈,配合Restful设计风格,开发1.0平台接口
后期使用Kotlin+SpringBoot+ES+MongoDB的技术栈,配合Graphql设计风格,开发2.0平台接口