黄景新

数据库开发工程师
深圳市文思海辉金信有限公司 · 10年经验
黄景新
日薪: ¥1000/8h
地点: 深圳 龙华
时间: 下班后周六周日可工作日远程可工作日驻场(离职原因)
ID:222608 复制

0
接单数
0
评价数
1
收藏数

AI 技能提取 | Oracle Java Python Linux MySQL Hadoop Hive yarn
1、熟悉数据仓库及集市建设方法论,熟悉数据仓库架构和模型设计。
2、有丰富的Oracle,Mysql,PostgretSQL关系型数据库平台的编程经验,了解Oracle数据库体系结构,例如redo/undo复杂度等。擅长Oracle存储过程开发及调优,对OLAP数据仓库的性能优化有较丰富经验。
3、熟悉Control-M,Moia(先进数通)及开源LTS调度工具。了解Datastage/Kettle等ETL工具。
4、了解Hadoop生态组件,如HDFS/YARN/Hive/MapReduce/Sqoop等,有HiveQL编程开发经验。
5、熟悉Linux常用命令,了解Java,Python编程语言特点,参与过相关项目的开发工作。
6、了解SmartBI,BIEE,FineReport及开源报表工具EasyReport等。
7、熟练使用Word/Excel/PPT,有VBA编程开发经验。
8、组织过多次技术培训,编写技术及业务文档,积极促进团队知识沉淀。对交付质量、程序高可用性等有更高要求。

2019/9-2020/11数据仓库空间及程序性能优化所属公司:
文思海辉技术有限公司
项目描述:
利用多种优化技术,结合业务对数据需求的分析,实现数据仓库的空间压缩及程序性能提升。
主要技术包括:分区、索引、压缩表、拉链表、Hint、静态注入等。
解决企业痛点:
降低了存储压力,将数据仓库的使用空间由20TB降低到10TB。通过表空间迁移,节省了生产、备份、测试多套环境的磁盘空间,节约存储成本。通过SQL优化,提升程序效率,超过30min程序由100多个降低到20个以下,将数据库服务器CPU使用率由优化前的95%降低至75%。
使用了压缩表及分区表技术,将冷热数据分离,对不常用的数据压缩存储,减少了IO
根据实际业务需求,开发生命周期管理程序,实现数据总量的统一管理,保持数据量(磁盘空间)的稳定,保证了数据仓库的稳定运行。
责任描述:
制定方案,提出优化建议,代码编写,代码评审等。

2018/5-2018/8核心数据报表平台搭建与报表开发所属公司:
深圳市小佰科技有限公司
项目描述:
通过EasyReport搭建报表平台,提供给公司各部门使用。

实现流程:搭建具有ODS/DW/BI三层结构的OLAP数据仓库(Mysql),将业务系统的PostgreSQL数据库中的数据通过Kettle加载到Mysql中,开发存储过程,产出BI报表。搭建EasyReport开源报表系统,配置报表,分配访问权限,提供各部门使用。
实现难点:1)部分数据未入库,需要整理。2)各部门数据口径不一致,需要统一协调。3)各部门对报表查看维度不一致,需要按需开发。4)财务数据不提供数据接口,需要用EXCEL导出导入,且会出现账务不平,需要反复沟通。
责任描述:
报表工具调研,统筹开发进度,协调人员,检验数据准确性,数据仓库搭建及报表开发。
黄景新 ID:222608 复制

黄景新

数据库开发工程师 · 10年经验 · 深圳市文思海辉金信有限公司
城市深圳 龙华 日薪1000元/8h 时间 下班后周六周日可工作日远程可工作日驻场(离职原因)
0
累计接单
0
用户评价
1
被收藏

信用行为

0
接单数
0
评价数
1
收藏数

技术能力

AI 技能提取 | Oracle Java Python Linux MySQL Hadoop Hive yarn
1、熟悉数据仓库及集市建设方法论,熟悉数据仓库架构和模型设计。
2、有丰富的Oracle,Mysql,PostgretSQL关系型数据库平台的编程经验,了解Oracle数据库体系结构,例如redo/undo复杂度等。擅长Oracle存储过程开发及调优,对OLAP数据仓库的性能优化有较丰富经验。
3、熟悉Control-M,Moia(先进数通)及开源LTS调度工具。了解Datastage/Kettle等ETL工具。
4、了解Hadoop生态组件,如HDFS/YARN/Hive/MapReduce/Sqoop等,有HiveQL编程开发经验。
5、熟悉Linux常用命令,了解Java,Python编程语言特点,参与过相关项目的开发工作。
6、了解SmartBI,BIEE,FineReport及开源报表工具EasyReport等。
7、熟练使用Word/Excel/PPT,有VBA编程开发经验。
8、组织过多次技术培训,编写技术及业务文档,积极促进团队知识沉淀。对交付质量、程序高可用性等有更高要求。

项目经验

2019/9-2020/11数据仓库空间及程序性能优化所属公司:
文思海辉技术有限公司
项目描述:
利用多种优化技术,结合业务对数据需求的分析,实现数据仓库的空间压缩及程序性能提升。
主要技术包括:分区、索引、压缩表、拉链表、Hint、静态注入等。
解决企业痛点:
降低了存储压力,将数据仓库的使用空间由20TB降低到10TB。通过表空间迁移,节省了生产、备份、测试多套环境的磁盘空间,节约存储成本。通过SQL优化,提升程序效率,超过30min程序由100多个降低到20个以下,将数据库服务器CPU使用率由优化前的95%降低至75%。
使用了压缩表及分区表技术,将冷热数据分离,对不常用的数据压缩存储,减少了IO
根据实际业务需求,开发生命周期管理程序,实现数据总量的统一管理,保持数据量(磁盘空间)的稳定,保证了数据仓库的稳定运行。
责任描述:
制定方案,提出优化建议,代码编写,代码评审等。

2018/5-2018/8核心数据报表平台搭建与报表开发所属公司:
深圳市小佰科技有限公司
项目描述:
通过EasyReport搭建报表平台,提供给公司各部门使用。

实现流程:搭建具有ODS/DW/BI三层结构的OLAP数据仓库(Mysql),将业务系统的PostgreSQL数据库中的数据通过Kettle加载到Mysql中,开发存储过程,产出BI报表。搭建EasyReport开源报表系统,配置报表,分配访问权限,提供各部门使用。
实现难点:1)部分数据未入库,需要整理。2)各部门数据口径不一致,需要统一协调。3)各部门对报表查看维度不一致,需要按需开发。4)财务数据不提供数据接口,需要用EXCEL导出导入,且会出现账务不平,需要反复沟通。
责任描述:
报表工具调研,统筹开发进度,协调人员,检验数据准确性,数据仓库搭建及报表开发。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏