仆风尘

数据开发
天创 · 4年经验
仆风尘
日薪: ¥500/8h
地点: 其他 全区
时间: 下班后
ID:314900 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Python MySQL PostgreSQL Hadoop Hive Linux
kettle
hadoop
hive sql
python基础
linux常用命令操作
关系型数据库如mysql, postgresql, openGaussDB等
了解基本数据开发流程, 有大数据项目经验

1. 使用kettle进行人员主题, 房屋主题, 场所主题, 人员轨迹主题, 标准地址主题, 就业主题
等全量数据从汇聚层业务数据库到高斯数据库的迁移;
2. 编写`SQL`对汇聚层全量数据进行处理, 从业务数据宽表示相关主题数据的转换, 使用
高斯内置函数对数据进行初步清洗, 如特殊字符, 符号字母, 乱码数据的处理, 将处理后的
数据存储在业务层;
3. 通过`Kettle`工具配置ktr文件, 调用部级接口, 对无法确定及未核实境内人员数据进行人
员相关信息的获取, 对获取数据进行提取, 维护到业务层人员主题表中;
4. 对于业务层增量数据, 通过`Kettle`工具配置相应的`ktr`文件及`kjb`文件, 根据时间线索
过滤出增量数据, 通过查询接口新增接口维护接口将正确的数据维护到业务层相关主题表
中;在`kjb`文件运行过程中进行日志收集, 对于日志数据进行分析判断, 并根据日志数据进
行日常的维护工作, 如通过日志数据查找接口调用失败数据进行重调维护;
5. 针对人员主题, 对姓名 证件号码 联系电话 等数据进行脱敏, 并将脱敏数据输出到共享层;
仆风尘 ID:314900 复制

仆风尘

数据开发 · 4年经验 · 天创
城市其他 全区 日薪500元/8h 时间 下班后
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Python MySQL PostgreSQL Hadoop Hive Linux
kettle
hadoop
hive sql
python基础
linux常用命令操作
关系型数据库如mysql, postgresql, openGaussDB等
了解基本数据开发流程, 有大数据项目经验

项目经验

1. 使用kettle进行人员主题, 房屋主题, 场所主题, 人员轨迹主题, 标准地址主题, 就业主题
等全量数据从汇聚层业务数据库到高斯数据库的迁移;
2. 编写`SQL`对汇聚层全量数据进行处理, 从业务数据宽表示相关主题数据的转换, 使用
高斯内置函数对数据进行初步清洗, 如特殊字符, 符号字母, 乱码数据的处理, 将处理后的
数据存储在业务层;
3. 通过`Kettle`工具配置ktr文件, 调用部级接口, 对无法确定及未核实境内人员数据进行人
员相关信息的获取, 对获取数据进行提取, 维护到业务层人员主题表中;
4. 对于业务层增量数据, 通过`Kettle`工具配置相应的`ktr`文件及`kjb`文件, 根据时间线索
过滤出增量数据, 通过查询接口新增接口维护接口将正确的数据维护到业务层相关主题表
中;在`kjb`文件运行过程中进行日志收集, 对于日志数据进行分析判断, 并根据日志数据进
行日常的维护工作, 如通过日志数据查找接口调用失败数据进行重调维护;
5. 针对人员主题, 对姓名 证件号码 联系电话 等数据进行脱敏, 并将脱敏数据输出到共享层;
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏