功能模块:13 亿全量数据检索、聚类分析、网关限流、预热模块、系统审计及行为分析、防爬机制项目描述:物联网资源检索系统,用来检索整个互联网中现存的可以检测识别到的设备。设备包括存在漏洞的设备。支持根据设备和软件的各个属性以及地理位置的聚类分析。用于科研人员的研究,给做安全防御领域的人提供良好的数据支撑。
项目职责:1)负责 es 搜索平台的日常维护与优化工作,主要维护了 13 亿+的设备数据、设备漏洞数据、图片数据。通过对 es 搜索平台合理规划,节省了500G+的内存,并提升了搜索性能,降低两倍的搜索时间,达到在十亿级别的索引中,5T数据的检索中秒出结果的效果。提升了集群的稳定性,使集群具备容灾能力。2)使用 gateway+nacos+sentinel 搭建了业务网关,对鉴权、限流、等公共能力进行了抽取。期间改造了 sentinel源码,来支撑生产级别的业务需求。
3)维护了图片下载组件、场景识别组件、图片去重组件。期间重构了图片下载组件组件。通过Jprofile诊断,对图片下载组件进行进行JM 深度调优,解决内存泄露问题,将图片下载速度提升到每秒一百张4)使用 ELK 搭建了一套日志收集分析系统。用于系统审计以及用户行为分析。
5)利用redis 做数据缓存,通过构建预热系统,为系统去短板,提升用户体验。维护redis 高可用。
6)使用 Docker 来部署项目用到的中间件,以及项目相关的用户中心服务,鉴权服务。