信息流实时检测系统开发
参与设计并开发了一个高并发的信息流实时检测系统,主要功能是通过监控和分析海量数据,实时发现异常信息并触发报警机制。系统采用Go语言作为主要开发语言,结合Pulsar消息队列、ClickHouse列式数据库、PostgreSQL关系型数据库和MongoDB文档数据库等技术,构建了一个高效、稳定的实时数据处理平台。
系统的核心逻辑包括以下几个部分:
数据收集与存储:通过多种数据源接入,利用Pulsar实现高效的数据流式传输,确保数据的实时性和可靠性。存储层根据数据特性选择合适的存储方案,ClickHouse用于原始日志存储场景,PostgreSQL处理结构化数据,MongoDB存储非结构化数据。
异常检测与告警:基于实时数据流,设计并实现了多维度的异常检测算法,结合历史数据分析,准确识别异常行为。系统支持多种告警策略,包括阈值触发、模式识别等,能够在发现异常时及时触发报警通知。
性能优化:针对高并发和大数据量场景,优化了数据处理流程,采用分库分表、索引优化和并行计算等技术,显著提升了系统的处理能力和响应速度。
物联网设备嵌入式软件开发
负责一款车载安防中控的嵌入式软件开发,包括硬件驱动开发、系统固件升级以及与云端服务的通信协议设计。
项目成功应用于市场,获得了用户的高度评价。
云原生系统部署与优化
使用Docker和Kubernetes技术,完成了一个微服务架构的云原生系统部署,实现了自动化构建、部署和扩展。
通过优化资源调度策略,降低了云服务的运营成本,同时提升了系统的可用性和扩展性。