项目一:某公司大规模日志平台建设
客户的项目需求有以下几点:
1、按租户业务空间采集平台上的日志;
2、采集的日志分为冷、热两类数据,一周内的日志为热数据,查询量多,查询效率快,超过一周的日志为冷数据存储备用;
3、冷热数据分开存储;
4、索引采用多副本高可用的架构;
5、elk架构可以随时扩容。
根据客户的项目需求,我主要做了如下工作:
1、K8S采集端使用filebeat收集Pod的日志;
2、filebeat将收集到的日志输出到kafka消息队列中;
3、logstash组件负责从kafka消息队列消费日志,并匹配过滤日志最后输出到Elastsearch中去;
4、用户侧使用kibana根据条件查询业务日志。
项目二:某个公司的AI项目:
项目背景:此AI项目架构以主流大模型为基础结合自研的智能体和知识库等技术,为广大用户提供知识问答、情
感咨询服务。
项目需求有以下几方面:
1、项目跑在K8S上面,多副本、高可用;
2、项目发布需要自动化;
3、需要私有化制品库和代码库;
4、AI组件及鉴权;
5、需要有监控告警。
根据项目需求,我主要做了以下几个方面:
1、搭建高可用的K8S平台,并配置ingress、pv/pvc等组件;
2、搭建gitlab、harbor用来做制品库和代码仓库;
3、搭建自动化发布平台,用来高效发版与回滚;
4、使用oneapi来对接各大厂商的AI大模型;
5、使用Prometheus及altermanager搭建监控告警平台。