系统名称1:云平台管理系统
主要架构:Python + jQuery + DRF + Redis + MySQL
研发周期:2018年2月-2018年7月
掌握技术:
✿ 通过jQuery+Django REST framework 实现前后端分离的运维管理系统;
✿ 后端利用Viewset 实现Restful api 接口,包括权限和认证,序列化和列表分页,以及搜索/过滤/排序技术;
✿ 业务层面实现容量管理、分类管理、配置管理、用户管理、收藏管理、审计事件管理等功能;
✿ 使用Redis 缓存和队列发布订阅技术,了解其基本运维理论概念;
✿ 熟练运用多线程技术,可手动远程拉取自定义主机或服务的日志信息于运维管理平台web 页面展示及报表导出。
项目成果:
①云平台管理系统成功试用,构建分布式监控系统和资产管理,收集服务器的运行系统性能数据,并通过前端Echarts技术于图表动态展示分析和策略告警;
②对私有云OpenStack平台的500多台虚拟机统一管理做到了自动化运维的效果;
③了解前后端分离的设计思想,丰富了知识视野面,锻炼了学习能力;
④ 设计思路难点的技术攻坚能力得到突破,掌握了后端API接口调用和设计能力,赢得客户评价认可,考核加分。
系统名称2:博客爬虫系统
主要架构:Python3.6 + Scrapy + Xpath
研发周期:2018年8月~2018年12月
项目需求:对技术资料文档的统一管理和整合,方便经验积累,用于快速排错
项目内容:
✿ 对多个知名博客和Discuz论坛类网站的爬虫项目功能进行需求分析;
✿ 对requests库和scrapy模块的配合使用,通过xpath解析HTML网页;
✿ 根据URL规律,在scrapy中模拟浏览器进行爬取,使用CrawlSpider循环爬取某个用户的文章信息;
✿ pipelines.py 中对信息的进一步处理,提取文章标题,文章URL、点击阅读数以及文章评论数等入库到MySQL数据库中,将图片保存在本地磁盘中。