小龟
大数据开发工程师
字节跳动 · 4年经验
日薪：
￥500/8h
地点：
深圳 南山
时间：
可工作日驻场（离职原因）
信用行为
0
接单数
0
评价数
1
收藏数
技术能力
1.大数据集群选型、搭建、维护、升级、调研、排查等；
2.大数据平台、需求分析整理、架构设计、原型图设计、项目设计、开发等工作；
3.离线、实时数仓规划、选型、架构设计、开发等；
4.公司日常离线、实时数据需求设计及开发；
5.业务系统架构设计，PHP、Java、Python开发，监控、报警、问题排查等。
2.大数据平台、需求分析整理、架构设计、原型图设计、项目设计、开发等工作；
3.离线、实时数仓规划、选型、架构设计、开发等；
4.公司日常离线、实时数据需求设计及开发；
5.业务系统架构设计，PHP、Java、Python开发，监控、报警、问题排查等。
项目经验
2023/01 – 2023/04 DMP中台建设
项目描述：管理客户的人群数据，对内面向业务方提供中台化解决方案，对外面向广告主提供一站式人群服务。
相关技术：Python、Java、Go、Spark、ES、Mysql、Kafka、Redis
主要工作：负责电商业务的链路及服务梳理；京东数据对接；各服务ipv6升级；历史问题排查、优化upload、packrule等。
2022/07 – 2022/09 云图极速版人群效果分析
项目描述：以人群包为聚合粒度，以行业、日期为维度，计算每个uid的5A转化情况；以广告、人群包为维度，查询广告投放在人群包上的投入产出情况。包括并不限：消耗、曝光、转化、点击相关参数等。
相关技术：Python、Spark、Clickhouse、Doris、Kafka、ES、Mysql
主要工作：负责项目管理、项目设计和开发工作。包括数据计算部分（百亿级别），平台交互部分。及后续优化、监控、报警等。
2019/12 – 2021/03 大数据各管理平台
项目描述：
1、数据权限系统：为大数据各平台提供产品权限、数据权限、各类业务维度权限的创建、申请及配置功能，以及对接方案；
2、即席查询平台：为用户提供即刻查询、即刻获取数据的查询平台，根据权限系统配置，为不同用户提供不同行和列的数据展示和查询；
3、元数据管理：根据Hive元数据、生产数据SQL、各类消费数据任务等，获取数据占用、变化、使用、热度、血缘、结构变化等信息；
4、集群任务监控平台：监控大数据集群的所有任务，包括：生产数据任务、即席查询任务、查询数据任务、kylin任务等，监控所有任务的时长、资源消耗等。
相关技术：Java、SpringBoot，Hive，Yarn、Kylin、Mysql，Impala，Oozie
主要工作：需求调研、产品设计、框架及实现方式设计，原型图设计；研发、项目管理问题跟踪排查。
2017/10 – 2019/10 数据部门从0到1
项目描述：数据部门从0到1，。
相关技术：Java，SpringBoot，Hive，Kylin
主要工作：
1.ETL处理数据，梳理数据指标，通过SQL完成所有指标和维度字段的加工生成；
2.建立Kylin的cube，对cube进行剪枝，减小膨胀率、缩短build时长50%以上；优化基础指标和复合指标查询，多指标合并查询等，多指标请求时长缩短60%以上。
项目描述：管理客户的人群数据，对内面向业务方提供中台化解决方案，对外面向广告主提供一站式人群服务。
相关技术：Python、Java、Go、Spark、ES、Mysql、Kafka、Redis
主要工作：负责电商业务的链路及服务梳理；京东数据对接；各服务ipv6升级；历史问题排查、优化upload、packrule等。
2022/07 – 2022/09 云图极速版人群效果分析
项目描述：以人群包为聚合粒度，以行业、日期为维度，计算每个uid的5A转化情况；以广告、人群包为维度，查询广告投放在人群包上的投入产出情况。包括并不限：消耗、曝光、转化、点击相关参数等。
相关技术：Python、Spark、Clickhouse、Doris、Kafka、ES、Mysql
主要工作：负责项目管理、项目设计和开发工作。包括数据计算部分（百亿级别），平台交互部分。及后续优化、监控、报警等。
2019/12 – 2021/03 大数据各管理平台
项目描述：
1、数据权限系统：为大数据各平台提供产品权限、数据权限、各类业务维度权限的创建、申请及配置功能，以及对接方案；
2、即席查询平台：为用户提供即刻查询、即刻获取数据的查询平台，根据权限系统配置，为不同用户提供不同行和列的数据展示和查询；
3、元数据管理：根据Hive元数据、生产数据SQL、各类消费数据任务等，获取数据占用、变化、使用、热度、血缘、结构变化等信息；
4、集群任务监控平台：监控大数据集群的所有任务，包括：生产数据任务、即席查询任务、查询数据任务、kylin任务等，监控所有任务的时长、资源消耗等。
相关技术：Java、SpringBoot，Hive，Yarn、Kylin、Mysql，Impala，Oozie
主要工作：需求调研、产品设计、框架及实现方式设计，原型图设计；研发、项目管理问题跟踪排查。
2017/10 – 2019/10 数据部门从0到1
项目描述：数据部门从0到1，。
相关技术：Java，SpringBoot，Hive，Kylin
主要工作：
1.ETL处理数据，梳理数据指标，通过SQL完成所有指标和维度字段的加工生成；
2.建立Kylin的cube，对cube进行剪枝，减小膨胀率、缩短build时长50%以上；优化基础指标和复合指标查询，多指标合并查询等，多指标请求时长缩短60%以上。
小龟
大数据开发工程师 · 4年经验 · 字节跳动
0
累计接单
0
用户评价
1
被收藏
信用行为
0
接单数
0
评价数
1
收藏数
技术能力
1.大数据集群选型、搭建、维护、升级、调研、排查等；
2.大数据平台、需求分析整理、架构设计、原型图设计、项目设计、开发等工作；
3.离线、实时数仓规划、选型、架构设计、开发等；
4.公司日常离线、实时数据需求设计及开发；
5.业务系统架构设计，PHP、Java、Python开发，监控、报警、问题排查等。
2.大数据平台、需求分析整理、架构设计、原型图设计、项目设计、开发等工作；
3.离线、实时数仓规划、选型、架构设计、开发等；
4.公司日常离线、实时数据需求设计及开发；
5.业务系统架构设计，PHP、Java、Python开发，监控、报警、问题排查等。
项目经验
2023/01 – 2023/04 DMP中台建设
项目描述：管理客户的人群数据，对内面向业务方提供中台化解决方案，对外面向广告主提供一站式人群服务。
相关技术：Python、Java、Go、Spark、ES、Mysql、Kafka、Redis
主要工作：负责电商业务的链路及服务梳理；京东数据对接；各服务ipv6升级；历史问题排查、优化upload、packrule等。
2022/07 – 2022/09 云图极速版人群效果分析
项目描述：以人群包为聚合粒度，以行业、日期为维度，计算每个uid的5A转化情况；以广告、人群包为维度，查询广告投放在人群包上的投入产出情况。包括并不限：消耗、曝光、转化、点击相关参数等。
相关技术：Python、Spark、Clickhouse、Doris、Kafka、ES、Mysql
主要工作：负责项目管理、项目设计和开发工作。包括数据计算部分（百亿级别），平台交互部分。及后续优化、监控、报警等。
2019/12 – 2021/03 大数据各管理平台
项目描述：
1、数据权限系统：为大数据各平台提供产品权限、数据权限、各类业务维度权限的创建、申请及配置功能，以及对接方案；
2、即席查询平台：为用户提供即刻查询、即刻获取数据的查询平台，根据权限系统配置，为不同用户提供不同行和列的数据展示和查询；
3、元数据管理：根据Hive元数据、生产数据SQL、各类消费数据任务等，获取数据占用、变化、使用、热度、血缘、结构变化等信息；
4、集群任务监控平台：监控大数据集群的所有任务，包括：生产数据任务、即席查询任务、查询数据任务、kylin任务等，监控所有任务的时长、资源消耗等。
相关技术：Java、SpringBoot，Hive，Yarn、Kylin、Mysql，Impala，Oozie
主要工作：需求调研、产品设计、框架及实现方式设计，原型图设计；研发、项目管理问题跟踪排查。
2017/10 – 2019/10 数据部门从0到1
项目描述：数据部门从0到1，。
相关技术：Java，SpringBoot，Hive，Kylin
主要工作：
1.ETL处理数据，梳理数据指标，通过SQL完成所有指标和维度字段的加工生成；
2.建立Kylin的cube，对cube进行剪枝，减小膨胀率、缩短build时长50%以上；优化基础指标和复合指标查询，多指标合并查询等，多指标请求时长缩短60%以上。
项目描述：管理客户的人群数据，对内面向业务方提供中台化解决方案，对外面向广告主提供一站式人群服务。
相关技术：Python、Java、Go、Spark、ES、Mysql、Kafka、Redis
主要工作：负责电商业务的链路及服务梳理；京东数据对接；各服务ipv6升级；历史问题排查、优化upload、packrule等。
2022/07 – 2022/09 云图极速版人群效果分析
项目描述：以人群包为聚合粒度，以行业、日期为维度，计算每个uid的5A转化情况；以广告、人群包为维度，查询广告投放在人群包上的投入产出情况。包括并不限：消耗、曝光、转化、点击相关参数等。
相关技术：Python、Spark、Clickhouse、Doris、Kafka、ES、Mysql
主要工作：负责项目管理、项目设计和开发工作。包括数据计算部分（百亿级别），平台交互部分。及后续优化、监控、报警等。
2019/12 – 2021/03 大数据各管理平台
项目描述：
1、数据权限系统：为大数据各平台提供产品权限、数据权限、各类业务维度权限的创建、申请及配置功能，以及对接方案；
2、即席查询平台：为用户提供即刻查询、即刻获取数据的查询平台，根据权限系统配置，为不同用户提供不同行和列的数据展示和查询；
3、元数据管理：根据Hive元数据、生产数据SQL、各类消费数据任务等，获取数据占用、变化、使用、热度、血缘、结构变化等信息；
4、集群任务监控平台：监控大数据集群的所有任务，包括：生产数据任务、即席查询任务、查询数据任务、kylin任务等，监控所有任务的时长、资源消耗等。
相关技术：Java、SpringBoot，Hive，Yarn、Kylin、Mysql，Impala，Oozie
主要工作：需求调研、产品设计、框架及实现方式设计，原型图设计；研发、项目管理问题跟踪排查。
2017/10 – 2019/10 数据部门从0到1
项目描述：数据部门从0到1，。
相关技术：Java，SpringBoot，Hive，Kylin
主要工作：
1.ETL处理数据，梳理数据指标，通过SQL完成所有指标和维度字段的加工生成；
2.建立Kylin的cube，对cube进行剪枝，减小膨胀率、缩短build时长50%以上；优化基础指标和复合指标查询，多指标合并查询等，多指标请求时长缩短60%以上。
立即沟通
