诚诚
高级数据开发工程师
英威诺 · 10年经验
日薪：
￥1200/8h
地点：
广州 天河
时间：
可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟悉数据仓库建设的相关理论与方法，维度建模、范式建模、数仓分层等
2、熟悉HiveSql、SparkSql、Mysql、Impala 等平台的使用与SQL调优
3、熟悉主流大数据平台dataworks、dataphin、袋鼠云等以及开源组件的使用与开发
4、熟悉使用Springboot及相关组件进行Java Web项目的架构开发与部署
5、python 及linux shell脚本进行服务器相关任务功能的开发
2、熟悉HiveSql、SparkSql、Mysql、Impala 等平台的使用与SQL调优
3、熟悉主流大数据平台dataworks、dataphin、袋鼠云等以及开源组件的使用与开发
4、熟悉使用Springboot及相关组件进行Java Web项目的架构开发与部署
5、python 及linux shell脚本进行服务器相关任务功能的开发
项目经验
1. 时代地产
a. 数据中台 旧数仓迁移
把旧的shell hive 脚本迁移到新的可视化平台上，并改成spark sql 任务并优化。 升级后大幅优化了执行时间，并且错误任务可以及时报警处理，也更容易排错重跑， 解决了用户旧平台数据依赖混乱，任务出错难以发现排查等痛点
b. 房产质量相关业务重新梳理、建模、开发
c. 数据质量监控及自动排查错误任务重跑服务的开发 d.CDP客户中心平台数据标签体系开发，建立oneid解决集团内多个平台用户数据无法打通公用的痛点
2.唯品会数据平台
a.参与公司数据平台的建设与开发，通过维度建模、数据分层等方法理论设计dws ads层模型 并完成开发，与其他业务需求方统一公司对外数据口径，避免数据不一致给公司带来不利的 影响
b. 利用元数据系统、DQC、数据对比工具等数据治理手段及方法保证数据规范和质量 3. 任务优化，包括数据倾斜、小文件过多、执行时间过⻓等
a. 数据中台 旧数仓迁移
把旧的shell hive 脚本迁移到新的可视化平台上，并改成spark sql 任务并优化。 升级后大幅优化了执行时间，并且错误任务可以及时报警处理，也更容易排错重跑， 解决了用户旧平台数据依赖混乱，任务出错难以发现排查等痛点
b. 房产质量相关业务重新梳理、建模、开发
c. 数据质量监控及自动排查错误任务重跑服务的开发 d.CDP客户中心平台数据标签体系开发，建立oneid解决集团内多个平台用户数据无法打通公用的痛点
2.唯品会数据平台
a.参与公司数据平台的建设与开发，通过维度建模、数据分层等方法理论设计dws ads层模型 并完成开发，与其他业务需求方统一公司对外数据口径，避免数据不一致给公司带来不利的 影响
b. 利用元数据系统、DQC、数据对比工具等数据治理手段及方法保证数据规范和质量 3. 任务优化，包括数据倾斜、小文件过多、执行时间过⻓等
诚诚
高级数据开发工程师 · 10年经验 · 英威诺
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟悉数据仓库建设的相关理论与方法，维度建模、范式建模、数仓分层等
2、熟悉HiveSql、SparkSql、Mysql、Impala 等平台的使用与SQL调优
3、熟悉主流大数据平台dataworks、dataphin、袋鼠云等以及开源组件的使用与开发
4、熟悉使用Springboot及相关组件进行Java Web项目的架构开发与部署
5、python 及linux shell脚本进行服务器相关任务功能的开发
2、熟悉HiveSql、SparkSql、Mysql、Impala 等平台的使用与SQL调优
3、熟悉主流大数据平台dataworks、dataphin、袋鼠云等以及开源组件的使用与开发
4、熟悉使用Springboot及相关组件进行Java Web项目的架构开发与部署
5、python 及linux shell脚本进行服务器相关任务功能的开发
项目经验
1. 时代地产
a. 数据中台 旧数仓迁移
把旧的shell hive 脚本迁移到新的可视化平台上，并改成spark sql 任务并优化。 升级后大幅优化了执行时间，并且错误任务可以及时报警处理，也更容易排错重跑， 解决了用户旧平台数据依赖混乱，任务出错难以发现排查等痛点
b. 房产质量相关业务重新梳理、建模、开发
c. 数据质量监控及自动排查错误任务重跑服务的开发 d.CDP客户中心平台数据标签体系开发，建立oneid解决集团内多个平台用户数据无法打通公用的痛点
2.唯品会数据平台
a.参与公司数据平台的建设与开发，通过维度建模、数据分层等方法理论设计dws ads层模型 并完成开发，与其他业务需求方统一公司对外数据口径，避免数据不一致给公司带来不利的 影响
b. 利用元数据系统、DQC、数据对比工具等数据治理手段及方法保证数据规范和质量 3. 任务优化，包括数据倾斜、小文件过多、执行时间过⻓等
a. 数据中台 旧数仓迁移
把旧的shell hive 脚本迁移到新的可视化平台上，并改成spark sql 任务并优化。 升级后大幅优化了执行时间，并且错误任务可以及时报警处理，也更容易排错重跑， 解决了用户旧平台数据依赖混乱，任务出错难以发现排查等痛点
b. 房产质量相关业务重新梳理、建模、开发
c. 数据质量监控及自动排查错误任务重跑服务的开发 d.CDP客户中心平台数据标签体系开发，建立oneid解决集团内多个平台用户数据无法打通公用的痛点
2.唯品会数据平台
a.参与公司数据平台的建设与开发，通过维度建模、数据分层等方法理论设计dws ads层模型 并完成开发，与其他业务需求方统一公司对外数据口径，避免数据不一致给公司带来不利的 影响
b. 利用元数据系统、DQC、数据对比工具等数据治理手段及方法保证数据规范和质量 3. 任务优化，包括数据倾斜、小文件过多、执行时间过⻓等
立即沟通
