负责搭建和持续改进公司数据ETL流水线和数据仓库。基于Spark SQL+MongoDB+Airflow+EMR+Redis,分析处理用户业务数据和行为数据,给下游业务部门和决策部门提供数据服务支撑(推荐结果及排序、实时排行榜、给BI提供数据源、等等)。 负责搭建和持续改进公司BI系统。基于MongoDB+AWS Athena+AWS Glue+AWS Lambda+AWS Quicksight+Mixpanel(曾经还用过Google BigQuery+Looker),分析用户数据,给高层决策部门提供数据分析报表和Dashboard。...
这是一个澳大利亚客户的项目。项目方需要我利用AWS Lambda检测源数据新增,对新增数据进行validate、有效内容提取、格式转换、并最终存储在documentDB(documentDB是AWS兼容MongoDB的数据库实现),并通过有针对性的索引,加速documentDB的高效读取。...
1.整改云电脑App用户协议授权及权限获取流程; 梳理网信办整改意见,归纳整改措施共计12条形成具体方案推进开发; 跨部门沟通协作,对接有整改App经验的部门和法务部门修改完善方案; 2022年3月初完成评审,2022年3月末完成开发测试重新上架。 2.负责云电脑客户端优化及从0到1搭建定制化客户端。 完成云电脑公共场所定制客户端从0到1的搭建,共迭代3版; 与支付部门对接探索支付宝芝麻信用和微信支付分“先使用后付费”方案。 3.与杭州联通合作,梳理接入流程与基本功能,实现为指定用户充值时长,满足业务所需。...