一、项目名称:建设DevOps和Kubernetes以及Prometheus全方位监控和日志分析
项目时间:2021.12--2022.04
项目描述:
入职时,公司刚成立不久,公司不到10个人都是老板之前的大学同学,有开发和产品人员,项目也没有上线,开
发人员本地开发完,就直接传到一台服务器上直接部署。整个开发节奏、部署方式和管理都非常混乱,急需提升效率以
及各开发、发布、排错等等后台的技术支撑走向正规化。
项目负责:
1. 编写GitLab文档和PPT,对开发人员进行培训,规范GitLab的使用、分支管理、权限管理。
2. 编写Pipeline或Jenkinsfile、Dockerfile 等等所需的文件以及Python自动化脚本。
3. 编写Jenkins的共享库代码、groovy脚本,减轻Pieline或Jenkinsfile的代码重复率。
4. 规划服务器,划分每个环境(开发、测试、预发布、线上)以及独立运行的业务。
5. 建设Kubernetes集群,编写所有所需的Yaml文件,接入SLB,访问测试。
6. 对接GitLab、Jenkins、SQ、Nexus、Harbor等工具,并采用Push的形式部署到k8s集群,并将结果反馈。
7. 规范开发人员和Nginx的日志输出,部署ELK所需的各组件,编写日志切割规则,并开发告警插件,基于日志输
出,对Waring、Error或其他自定义的输出进行告警,同时制作仪表盘,统计日志。
8. 使用Prometheus对服务器的基础指标、各服务指标、业务的运行状态、各中间件的指标、Pod的各项指标等等
进行监控并告警,同时使用Grafana进行绘图。
9. 持续优化调整,发现瓶颈并调优。
二、项目名称:某些网站的数据采集
项目时间:2023.06--2023.09
项目描述:
产品新增模块中缺少数据,直接上线会影响体验和口碑,公司需要能快速填充数据,其中包括文章、楼盘、攻略等
模块。要爬取的网站包括国内和国外的大型网站(如某书、某程、Facebook、公众号以及国外房地产网站的有关泰国
楼盘的信息等等)
项目负责:
1、去各类学习网站和B站、公众号学习爬虫知识。
2、确认优先级,哪些网站的数据是最优先的,去分析网站结构。
3、分析网站的反爬技术,制定反反爬方案。
4、编写Python程序,使用开源框架获取数据,必要时使用逆向JS来生成动态数据。
5、根据产品要求,对爬取的数据进行数据清洗,文章使用LLM语言模型进行重写。
6、与后端对接,将数据写入数据库和同步到ES中。
三、项目名称:游戏管理后台开发
项目时间:2024.03--2024.03
项目描述:
公司的游戏业务代码十年前的,太旧了,游戏本身不影响玩家进行游戏,但是游戏的后台管理太烂,界面太简陋,
及其难用,使用的是Nodejs写的后端,运营人员和我吐槽很多次,原来的游戏后台我也在用,每次我也很难受。开发
人员又在忙业务,根本抽不开身,我想重构这个后台,就索性自己做一个,没有设计稿,前端的展示也是我自己设计。
项目负责:
1. 分析原来的游戏后台是如何向游戏后台发送数据的,如何封包和解包。
2. 丢入LLM语言模型中,将关键步骤的Nodejs代码转成Python用来提供思路,并在调试中不断修正。
3. 调通关键的数据发送和接收的关键代码后,与游戏开发人员对接,对接每个功能对应的GM指令和数据结构。
4. 使用Flask 开发接口,并使用vue-admin作为前端模板,进行二次开发,在其基础上进行设计并改动前端代码。
5. 将原来的后台中没有的功能,而我觉得有必要的功能添加进去,方便运营人员和我的使用(如公告发布,游戏中的
道具查询,服务器的一些维护指令,自动开服等)。
6. 加入DevOps中,随时跟进运营的使用反馈,针对反馈的问题进行更新。