(1)熟练掌握Python/go语言;
(2)熟练使用python flask, go gin 等web框架;
(3)熟练使用go+gin+gorm实现MVC架构下的后端服务
(4)具有良好的封装习惯及抽象意识, 代码规范性强;
(5)具有一定的docker及k8s使用经验(自己搭建过一套自动化部署系统, 自己学习使用);
(6)掌握MySql, redis, nsq, hbase等存储, 缓存, 消息队列相关技术;
(7)具有前端开发经验, 如VUE等;
(8)擅长数据处理, 熟练使用numpy, pandas等相关工具;
(9)具有机器学习和图像处理的经验, 如sklearn, opencv等;
(10)学习能力强, 能较快的适应新技术新业务
一. 山香教育
1、影刀RPA自动化
项目职责:
1、 负责公司内部自动化项目的收集
2、 自动化项目的设计及实现
3、 财务数据的处理
项目描述:
由于公司使用了大量第三方软件及平台导致各平台之间数据不同影响了工作效率, 所以使用RPA工具打通平台之间的屏障.
技术栈:
影刀RPA, pandas
项目成果:
打通企微在线表格, 螳螂CRM, 网校后台订单管理及开通课程, 百望云开票平台, 云票开票平台。
为多个部门之间的快速协作提高效率, 打破一个学员服务跟踪/开课/开票等服务需要多部门协作的屏障
财务使用了大量的excel来进行数据的处理, 开发数据处理工具帮助财务快速处理数据
2、教师招聘公告爬虫
项目职责:
1、 爬取教师招聘公告信息
2、 对公告数据进行清洗入库并调整格式方便相关人员快速发布
项目描述:
公告的收集及编辑占用了较多的人力, 使用爬虫及数据清洗来提高工作效率.
技术栈:
scrapy, pandas
项目成果:
由于人力有限所以只爬取了两个第三方平台的数据, 处理后只需相关人员简单操作即可发布到公司自己的平台.
一. 中公教育
1、学习记录收集,清洗,统计
项目职责:
3、 设计数据存储结构并实现收集及简单清洗后存储
4、 对数据进行清洗, 补充, 处理用于后续统计
5、 实现基于多个维度的学习记录查询及统计
项目描述:
由于原学习记录服务数据存储不统一, 查询及统计较困难因此需实现一个统一存储的学习记录服务。对学员及教师关注的不同维度的学习数据统计的实现及效率优化。
使用gin框架完成接口开发, 参考MVC系统架构, 由于是纯接口架构省略view层, 添加service层, model层用于存放orm 数据表结构体及对数据的增删改查操作(使用gorm操作mysql)的封装作为最基础的封装层, 接口可复用逻辑放入service层用于实现可复用业务逻辑, controller层用于路由指定, 参数解析, 返回结构格式化等接口独有逻辑.
使用nsq及阿里云日志服务进行队列消费, 使用队列用以保证数据能快速上报成功提高并发能力, 后续数据清洗统计等操作使用队列消费完成, 并处理成可用于快速统计的中间表来保证部分统计的相对实时性.
技术栈:
Go, gin, gorm, nsq, mysql, redis, 高并发
项目成果:
多端学习记录统一存储处理, 根据不同的app既能独立查询也能合并查询学习记录。
实时更新学员的学习报告, 使学员学完后能较快的看到自己的学习情况。教务后台基于多个统计维度的学习报告查询使教师能较好的掌握学员的学习情况并能为客服处理退费时提供数据支持。
2、后台rbac统一权限控制系统
项目职责:
1、 兼容后台用户管理系统(原rbac是自己独立的用户体系, 对接时需考虑用户同步的问题)
2、 新增数据权限控制功能
3、 新增基于角色树的用户管理功能控制
4、 使用vue重构前端页面
项目描述:
由于中公部门多, 系统分散等原因, 中公网校开发了各种后台管理系统, 且前期未实现权限精准控制, 后期若每个系统都开发一套rbac则会占用大量开发人员, 于是抽离出一个独立的rbac系统可以使各个后台系统快速对接并完成权限控制.
后续权限细化加入数据权限, 及可以精准控制用户可以查询的数据范围, 比如地区, 考试类型等分组数据, 设计以存储完整路径的方式存储树形结构数据, 使用全文索引快速查询子集数据, 并设计分组数据同步平台, 配置接口路径及参数名称后即可自动同步分组数据用于用户数据权限分配.
技术栈:
Go, gin, gorm, vue3, mysql, redis, 树形数据查询及结构化优化
项目成果:
实现更精确用户管理, 而不是原系统能仅能控制用户能否进管理页面, 新系统可根据用户权限使用户可以管理部分权限及功能。
更精确的权限管理, 使权限不再只是有没有那么简单。
3、商品/订单搜索
项目职责:
1、 数据同步, 将设计的多个数据库多张表的数据同步到一张es表中
2、 使用es合并表实现多个维度查询商品并兼容旧接口
3、 实现直播推荐等功能
项目描述:
由于商品及订单相关数据存在于多库多表中, 使部分查询难以实现且查询效率低, 所以设计一张合表来实现更高效的查询及更多查询维度的支持.
使用原数据的update_time字段来进行触发数据同步, 使数据可以精准同步到es, 为避免数据库时间与服务器时间有少量误差, 每次会比上次同步结束时间再往前推10秒开始同步.
抽取并设计go结构体直接转换es查询工具, 使后续添加es查询变得快捷轻松,