6年python开发经验,擅长web开发,数据采集&分析&挖掘&可视化,大数据开发。
技术栈:
Web:django,flask,fastapi
数据分析:numpy,pandas,polars
数据挖掘&可视化:Sklearn,pytorch,matplotlib,redash
大数据:Hadoop,Hive,Spark,azkaban
其他:RDBMS,NoSQL,Redis,Nginx,Docker,Thrift
前端:简单Vue3
优势:条理清晰,沟通高效
crm系统与业务中台
负责从0搭建crm到业务中台,Nginx + uwsgi + django 实现网站功能&crud。大批量数据导入,快速校验存储。支持定向/模糊多字段实时查询数据。文件解析读写转换格式,云平台保存。数据级角色权限分配。系统数据亿级。
账单发票定时生成、图片表格转换及收发邮件等微服务/自动化工具异步执行。thrift对接其他系统。
Bi商业智能和可视化报表
aiohttp定时拉取多个平台不同数据源大量数据,清洗入库。numpy + pandas计算导出透视表及各种日报/趋势类可视化图表。千万级数据单机实时计算输出透视表。手动实现全量业务数据的类Excel自助透视表功能。Sklearn计算各类基础指标,实现BI商业智能。
大数据平台搭建
从0搭建大数据平台。fastapi定期ETL多个数据源多个层级&字段&类型的大量数据,日处理0.7tb数据。polars清洗入数据仓库HDFS ods,spark定期计算mds/sds数据存储Hive,Azkaban管理同步任务&计算任务,redash展示灵活透视表。
简单的ARMA预测模型预测业务未来走势,图表输出。推荐模型构建业务主特征,提高转化率和效率,指导销售工作。
负责从0搭建crm到业务中台,Nginx + uwsgi + django 实现网站功能&crud。大批量数据导入,快速校验存储。支持定向/模糊多字段实时查询数据。文件解析读写转换格式,云平台保存。数据级角色权限分配。系统数据亿级。 账单发票定时生成、图片表格转换及
aiohttp定时拉取多个平台不同数据源大量数据,清洗入库。numpy + pandas计算导出透视表及各种日报/趋势类可视化图表。千万级数据单机实时计算输出透视表。手动实现全量业务数据的类Excel自助透视表功能。Sklearn计算各类基础指标,实现BI商业智能。 负责全部数
从0搭建大数据平台。fastapi定期ETL多个数据源多个层级&字段&类型的大量数据,日处理0.7tb数据。polars清洗入数据仓库HDFS ods,spark定期计算mds/sds数据存储Hive,Azkaban管理同步任务&计算任务,redash展示