东邪
数据架构师
递四方信息科技 · 7年经验
日薪：
￥800/8h
地点：
深圳 宝安
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
本人全栈开发工程师，担任过递四方信息科技数据架构师。先后从事过前端，后端（java），大数据相关工作。技术栈全面，技术栈如下：java,python,javascript,h5,spring,hadoop,flink,spark,hive,阿里的maxcomputer以及各类阿里系产品均较为熟悉。
● 三年多阿里云各类大数据等云产品（maxcomputer,quickbi,AnalyticDB,dts,datahub,blink,hologres）使用经验,能基于阿里云独立搭建整套数据仓库
● 三年hadoop使用经验，深入了解hadoop生态圈各类技术栈(hadoop,hive,spark,flink,hbase,kafka)
● 有较强执行力，较强解决问题能力，有带团队经验
● 三年多阿里云各类大数据等云产品（maxcomputer,quickbi,AnalyticDB,dts,datahub,blink,hologres）使用经验,能基于阿里云独立搭建整套数据仓库
● 三年hadoop使用经验，深入了解hadoop生态圈各类技术栈(hadoop,hive,spark,flink,hbase,kafka)
● 有较强执行力，较强解决问题能力，有带团队经验
项目经验
递四方双十一大屏&实时数仓
● 架构及心路历程：
概述：mysql ------- dts ------- binlog ------- datahub -------blink-------hologres------datav
a、业务数据mysql通过dts将binlog接入datahub，blink消费多个业务系统数据，ETL在数据流中处
理，多个topic根据主键写入hologres，此时在hologres形成一张直发全链路的宽表，后期计算
无需考虑多个事实表的join；
b、考虑hologres可以集成maxcompute的表数据，此时我们考虑使用lamdba架构，全量数据 = 事
实数据+T-1离线数据
● 考虑hologres不支持事务，无法利用二阶段提交实现blink精准一次消费，且我们是根据主键insert
update 的方式，保证至少一次消费即可满足我们业务需求
● 架构及心路历程：
概述：mysql ------- dts ------- binlog ------- datahub -------blink-------hologres------datav
a、业务数据mysql通过dts将binlog接入datahub，blink消费多个业务系统数据，ETL在数据流中处
理，多个topic根据主键写入hologres，此时在hologres形成一张直发全链路的宽表，后期计算
无需考虑多个事实表的join；
b、考虑hologres可以集成maxcompute的表数据，此时我们考虑使用lamdba架构，全量数据 = 事
实数据+T-1离线数据
● 考虑hologres不支持事务，无法利用二阶段提交实现blink精准一次消费，且我们是根据主键insert
update 的方式，保证至少一次消费即可满足我们业务需求
东邪
数据架构师 · 7年经验 · 递四方信息科技
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
本人全栈开发工程师，担任过递四方信息科技数据架构师。先后从事过前端，后端（java），大数据相关工作。技术栈全面，技术栈如下：java,python,javascript,h5,spring,hadoop,flink,spark,hive,阿里的maxcomputer以及各类阿里系产品均较为熟悉。
● 三年多阿里云各类大数据等云产品（maxcomputer,quickbi,AnalyticDB,dts,datahub,blink,hologres）使用经验,能基于阿里云独立搭建整套数据仓库
● 三年hadoop使用经验，深入了解hadoop生态圈各类技术栈(hadoop,hive,spark,flink,hbase,kafka)
● 有较强执行力，较强解决问题能力，有带团队经验
● 三年多阿里云各类大数据等云产品（maxcomputer,quickbi,AnalyticDB,dts,datahub,blink,hologres）使用经验,能基于阿里云独立搭建整套数据仓库
● 三年hadoop使用经验，深入了解hadoop生态圈各类技术栈(hadoop,hive,spark,flink,hbase,kafka)
● 有较强执行力，较强解决问题能力，有带团队经验
项目经验
递四方双十一大屏&实时数仓
● 架构及心路历程：
概述：mysql ------- dts ------- binlog ------- datahub -------blink-------hologres------datav
a、业务数据mysql通过dts将binlog接入datahub，blink消费多个业务系统数据，ETL在数据流中处
理，多个topic根据主键写入hologres，此时在hologres形成一张直发全链路的宽表，后期计算
无需考虑多个事实表的join；
b、考虑hologres可以集成maxcompute的表数据，此时我们考虑使用lamdba架构，全量数据 = 事
实数据+T-1离线数据
● 考虑hologres不支持事务，无法利用二阶段提交实现blink精准一次消费，且我们是根据主键insert
update 的方式，保证至少一次消费即可满足我们业务需求
● 架构及心路历程：
概述：mysql ------- dts ------- binlog ------- datahub -------blink-------hologres------datav
a、业务数据mysql通过dts将binlog接入datahub，blink消费多个业务系统数据，ETL在数据流中处
理，多个topic根据主键写入hologres，此时在hologres形成一张直发全链路的宽表，后期计算
无需考虑多个事实表的join；
b、考虑hologres可以集成maxcompute的表数据，此时我们考虑使用lamdba架构，全量数据 = 事
实数据+T-1离线数据
● 考虑hologres不支持事务，无法利用二阶段提交实现blink精准一次消费，且我们是根据主键insert
update 的方式，保证至少一次消费即可满足我们业务需求
立即沟通
