前端:原生JS功底扎实,有一定造轮子能力;VUE框架熟练;熟练掌握前端的图表展示(大数据看板等);
后端:惯用语言为Python,开发过多个正常访问量的后端(未开发过万人级别同时访问的应用);关系型数据库熟练、图数据库与文档数据库玩过但未在项目中正式使用过;有爬虫经验;
Linux运维:从零部署过几个服务器,跑后端,爬虫,代理等等;
数据科学:理解数据分析与挖掘(包括传统预测模型)的原理,从零复现过一些传统预测模型。理解简单神经网络的技术细节,知道几种主流研究方向(语言模型、对抗学习、强化学习)的原理,并可拉开源代码跑的程度(但不了解技术细节)
其它:有汇编基础,做过单机游戏修改器;做过一些架构,自认为抽象能力强,代码层次好;
自制论坛项目
基于贴吧反人类的使用体验,本人从零开发一个同好交流论坛。这是本人第一个开发项目,前端采用了近乎原生的JS,后端采用Python,基本没有采用什么框架。虽然开发效率较低,最终成品功能比贴吧还丰富。登录模块(验证码、改密码、邮件验证等等)、内容模块(发帖、改帖、回帖、楼中楼显示逻辑等等)、业务模块(即同好主题的上传、下载、点赞)、消息模块(回复、被赞、被录入等)、管理员模块、娱乐模块……在项目熟练掌握了常规的网站开发套餐(JS+后端语言+Mysql+Linux),并且锻炼出较强的造轮子能力,同时也深刻体验到前端巨坑之一富文本。后期前端改VUE重做,后端完全重构,大幅降低后续开发维护成本。
本人负责项目绝大部分内容,包括设计、前端、后端、运维、运营等。
某业务管理后台项目
公司项目。为了统一管理与操作公司内已有的不同业务系统,计划开发一个统一后台。需求集中在常规的增删改查与调用其它业务系统,因此前端采用VUE-ELEMENT-ADMIN框架基本满足需求,后端由其它工程师负责,采用了SPRING。在对接当中,有业务系统未设计对外接口,由本人OCR破验证码完成对接。
本人负责项目全部前端和部分对接工作。
某数据元管理平台项目
公司项目。传统数据元管理与数据库开发分隔,数据元的设计、变更在文档中进行,而数据库开发与维护在代码层面运行,缺乏实质的联系,也让设计与实施的差异难以验证。项目中计划开发一个平台进行管理与维护,并实质性地利用数据元管理数据中台中的数据,以自动化的方式完成数据处理。
①本质上,管理平台属于后台,因此前端仍然采取后台框架,选取了贴近原型风格的ANT-DESIGN-VUE-PRO框架,平台对并发要求不高,因此后端采用了熟悉的技术栈Python+MariaDB。
②在管理平台上,数据元具有一系列属性以及所属分类,而在实质使用上,数据元必须关联到数据处理的规则以及在中台的存储位置,本人设计出一个复杂的数据模型应对此难题。
③在数据处理上,采用了airflow工具完成自动化数据处理。但在处理规则上,显然应该尽量复用来减少工作量,但存在两个难点:第一、数据元与处理规则是多对多的关系;第二,即便是相似的规则,可能存在细微的处理差异,比如有的数据需要四舍五入到万位,但有的需要到百万位。本人设计一种特殊的规则渲染和DAG渲染方案解决了此问题。
④针对处理后的数据,需要在管理平台上进行检查,为此需要实现在平台上进行可视化操作而后端转化具体查询SQL语句的功能。直接的转换结果效率非常低,本人通过一系列的SQL优化将查询速度从60秒左右降低到3秒内。
⑤另外还需要对数据进行可视化展示,集成了echarts和AntV实现。
本人负责项目大部分内容,包括架构、前端、后端、运维、数据处理流程方案设计、规则库编写以及各种杂七杂八的优化方法。
某移动端大数据看板展示
公司项目。用于展示特定数据,因对可视化要求较高,难点主要集中在前端。其中,部分图表echarts和AntV的细致配置可以实现,部分图表没有现成库满足,通过原生JS实现(主要是静态的)。
本人负责全部前端和服务器搭建。
某分类模型项目
公司项目。项目涉及公司机密,无法详细介绍。因数据的特殊性,调研了多种方法后,采用了一种结合式的特殊分类方式。
本人负责全部数据处理与建模。
一个爬虫项目
付费方希望获取特定网站数据,包括:
1、特定网站一手更新讯息。实现方法:定频扫描特定网站,查找网站更新内容,符合特定条件时就为其发送邮件提醒。
2、区块链上某种统计数据。实现方法:分析某SCAN网站,批量扫描待统计内容,生成csv展示。以exe形式交付。
公司项目。传统数据元管理与数据库开发分隔,数据元的设计、变更在文档中进行,而数据库开发与维护在代码层面运行,缺乏实质的联系,也让设计与实施的差异难以验证。项目中计划开发一个平台进行管理与维护,并实质性地利用数据元管理数据中台中的数据,以自动化的方式完成数据处理。 ①本质上,管理
付费方希望获取特定网站数据,包括: 1、特定网站一手更新讯息。实现方法:定频扫描特定网站,查找网站更新内容,符合特定条件时就为其发送邮件提醒。 2、区块链上某种统计数据。实现方法:分析某SCAN网站,批量扫描待统计内容,生成csv展示。以exe形式交付。