None
数据开发工程师
北京银丰新融 · 5年经验
日薪：
￥500/8h
地点：
上海 浦东
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
2年java开发经验，半年django运维经验，熟悉easyUI,agluar.js,echarts,amcharts,Springboot，ibatis等前后端框架。使用Mysql,Orcale,postgres数据库。供职于外包公司；
1年数据管理，熟悉hive数据仓库大数据分析，DB2数据库ETL分析，熟练的用python脚本写出HQL对hive数据进行数据分析，数据挖掘，数据录入，数据下载。熟悉hadoop,hbase,mapreduce知识点。熟悉linux造作系统，会用Linux进行shell脚本的开发。负责运营管理平台整个项目的项目管理和底层因素数据、参数脚本的开发，用python脚本进行hive大数据建模，底层因素数据/参数脚本的开发，测试，部署上线。负责各个系统对接hive数据仓库,数据仓库对接运营管理平台的数据管理。测试阶段各种问题的处理，如前端页面登录超时，登录跳转到F5的地址，后台数据跑批太慢，系统调用短信，邮件接口异常，前台页面数据显示异常等问题。给出项目的评估各个系统的项目计划，开发时间，测试时间，上线时间。供职于交通银行太平洋信用卡中心。英语能力一般。
1年数据管理，熟悉hive数据仓库大数据分析，DB2数据库ETL分析，熟练的用python脚本写出HQL对hive数据进行数据分析，数据挖掘，数据录入，数据下载。熟悉hadoop,hbase,mapreduce知识点。熟悉linux造作系统，会用Linux进行shell脚本的开发。负责运营管理平台整个项目的项目管理和底层因素数据、参数脚本的开发，用python脚本进行hive大数据建模，底层因素数据/参数脚本的开发，测试，部署上线。负责各个系统对接hive数据仓库,数据仓库对接运营管理平台的数据管理。测试阶段各种问题的处理，如前端页面登录超时，登录跳转到F5的地址，后台数据跑批太慢，系统调用短信，邮件接口异常，前台页面数据显示异常等问题。给出项目的评估各个系统的项目计划，开发时间，测试时间，上线时间。供职于交通银行太平洋信用卡中心。英语能力一般。
项目经验
1，java项目前后端开发，所用技术java,argular.js,vue,redis,swagger,微服务,python。后台用到的数据库mysql，oracle，pg，数据统计显示，外围数据接口开发所用工具ecplise,idea,maven,postman,git；djang项目运维所用工具pycharm，接口开发，审批流程开发，数据处理转换，现场数据支援，数据对接，数据清洗，所用工具kettel，datax。
2，处理通用汽车公司etl数据转换，所用工具datastage，所涉及的数据库有sqlserver，oracle,mysql,lmpala等。数据显示工具bo报表。从事过项目sqe报表开发和汽车能源项目开发
3，我们开始用SAS对于数据进行处理，后来用python脚本语言对数据进行加工，使用xshell工具运行脚本，存储在hadoop集群中的hive库上，熟悉hql（hive），做过以下：
从事大数据分析
1).银行的EOM和PAN历史数据迁移
首先依照业务逻辑，整理清楚数据来源表，业务需要什么样的数据，进行python脚本数据建模，编写python脚本和数据建表文件。编写完之后，用FileZilla建立本地和目标linux服务器之间的连接,将写好的python脚本上传到目标服务器下的指定测试目录。用Xshell登录远程Linux服务器，用linux命令手动执行python脚本，如要执行命令“python data_out.py 2017-11-11”，python 脚本后面的日期是数据的跑批日期，以后脚本上线有系统指定一个日期变量进行跑批，然后将通过linux命令找到系统跑批的日志，确保脚本执行没问题，找到跑批之后的结果数据进行数据测试，如果没问题，可以进行上线，然后在脚本上表名写脚本的作者，数据来源，使用部门，输出结果。将sas集合数据用sas解压转化为txt数据文件通过FileZilla传输到linux指定路径下，通过执行.shell脚本将txt数据文件录入到hive库中，数据的建表格式与hive的建表语句保持一致。
2).银行风险basel内评模型
根据业务给的需求数据明书，在原有SAS建立basel建模，要在hive建立basel模型，负责银行银行的欺诈模型建立，中间变量的建立，如好享贷累计累计交易金额，写出python脚本，首先从交易表划分出好享贷用户，然后用表里的入账金额作为交易额，取交易日期在最新独立额度激活日期与修正后账单日之间的交易额做累加，其中最新独立额度激活日期和修正后账单日是另外2张表里的变量。用客户编号进行关联。等所有变量的python脚本写好后迁移到linux服务器进行数据跑批，跑批日期要和sas数据跑批保持一致，对hive结果数据进行测试。如果有问题，修改脚本，知道两者数据相同。
3).银行的运行管理平台数据加工
负责各个外围系统的数据对接hive数据仓库，hive数据仓库提供数据给到运营管理平台，负责各类问题的处理，如服务申请，数据库的申请安装，ESB的申请安装,F5负载均衡的申请安装，Control-M系统数据跑批服务的申请安装，短信/邮件接口对接，数据安全备份，数据建模，数据接受/处理加工/转换，底层因素/参数python脚本的开发。业务需求变更的评估，各个外围系统的对接的数据评估。
2，处理通用汽车公司etl数据转换，所用工具datastage，所涉及的数据库有sqlserver，oracle,mysql,lmpala等。数据显示工具bo报表。从事过项目sqe报表开发和汽车能源项目开发
3，我们开始用SAS对于数据进行处理，后来用python脚本语言对数据进行加工，使用xshell工具运行脚本，存储在hadoop集群中的hive库上，熟悉hql（hive），做过以下：
从事大数据分析
1).银行的EOM和PAN历史数据迁移
首先依照业务逻辑，整理清楚数据来源表，业务需要什么样的数据，进行python脚本数据建模，编写python脚本和数据建表文件。编写完之后，用FileZilla建立本地和目标linux服务器之间的连接,将写好的python脚本上传到目标服务器下的指定测试目录。用Xshell登录远程Linux服务器，用linux命令手动执行python脚本，如要执行命令“python data_out.py 2017-11-11”，python 脚本后面的日期是数据的跑批日期，以后脚本上线有系统指定一个日期变量进行跑批，然后将通过linux命令找到系统跑批的日志，确保脚本执行没问题，找到跑批之后的结果数据进行数据测试，如果没问题，可以进行上线，然后在脚本上表名写脚本的作者，数据来源，使用部门，输出结果。将sas集合数据用sas解压转化为txt数据文件通过FileZilla传输到linux指定路径下，通过执行.shell脚本将txt数据文件录入到hive库中，数据的建表格式与hive的建表语句保持一致。
2).银行风险basel内评模型
根据业务给的需求数据明书，在原有SAS建立basel建模，要在hive建立basel模型，负责银行银行的欺诈模型建立，中间变量的建立，如好享贷累计累计交易金额，写出python脚本，首先从交易表划分出好享贷用户，然后用表里的入账金额作为交易额，取交易日期在最新独立额度激活日期与修正后账单日之间的交易额做累加，其中最新独立额度激活日期和修正后账单日是另外2张表里的变量。用客户编号进行关联。等所有变量的python脚本写好后迁移到linux服务器进行数据跑批，跑批日期要和sas数据跑批保持一致，对hive结果数据进行测试。如果有问题，修改脚本，知道两者数据相同。
3).银行的运行管理平台数据加工
负责各个外围系统的数据对接hive数据仓库，hive数据仓库提供数据给到运营管理平台，负责各类问题的处理，如服务申请，数据库的申请安装，ESB的申请安装,F5负载均衡的申请安装，Control-M系统数据跑批服务的申请安装，短信/邮件接口对接，数据安全备份，数据建模，数据接受/处理加工/转换，底层因素/参数python脚本的开发。业务需求变更的评估，各个外围系统的对接的数据评估。
案例展示 全部案例 >
None
数据开发工程师 · 5年经验 · 北京银丰新融
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
2年java开发经验，半年django运维经验，熟悉easyUI,agluar.js,echarts,amcharts,Springboot，ibatis等前后端框架。使用Mysql,Orcale,postgres数据库。供职于外包公司；
1年数据管理，熟悉hive数据仓库大数据分析，DB2数据库ETL分析，熟练的用python脚本写出HQL对hive数据进行数据分析，数据挖掘，数据录入，数据下载。熟悉hadoop,hbase,mapreduce知识点。熟悉linux造作系统，会用Linux进行shell脚本的开发。负责运营管理平台整个项目的项目管理和底层因素数据、参数脚本的开发，用python脚本进行hive大数据建模，底层因素数据/参数脚本的开发，测试，部署上线。负责各个系统对接hive数据仓库,数据仓库对接运营管理平台的数据管理。测试阶段各种问题的处理，如前端页面登录超时，登录跳转到F5的地址，后台数据跑批太慢，系统调用短信，邮件接口异常，前台页面数据显示异常等问题。给出项目的评估各个系统的项目计划，开发时间，测试时间，上线时间。供职于交通银行太平洋信用卡中心。英语能力一般。
1年数据管理，熟悉hive数据仓库大数据分析，DB2数据库ETL分析，熟练的用python脚本写出HQL对hive数据进行数据分析，数据挖掘，数据录入，数据下载。熟悉hadoop,hbase,mapreduce知识点。熟悉linux造作系统，会用Linux进行shell脚本的开发。负责运营管理平台整个项目的项目管理和底层因素数据、参数脚本的开发，用python脚本进行hive大数据建模，底层因素数据/参数脚本的开发，测试，部署上线。负责各个系统对接hive数据仓库,数据仓库对接运营管理平台的数据管理。测试阶段各种问题的处理，如前端页面登录超时，登录跳转到F5的地址，后台数据跑批太慢，系统调用短信，邮件接口异常，前台页面数据显示异常等问题。给出项目的评估各个系统的项目计划，开发时间，测试时间，上线时间。供职于交通银行太平洋信用卡中心。英语能力一般。
项目经验
1，java项目前后端开发，所用技术java,argular.js,vue,redis,swagger,微服务,python。后台用到的数据库mysql，oracle，pg，数据统计显示，外围数据接口开发所用工具ecplise,idea,maven,postman,git；djang项目运维所用工具pycharm，接口开发，审批流程开发，数据处理转换，现场数据支援，数据对接，数据清洗，所用工具kettel，datax。
2，处理通用汽车公司etl数据转换，所用工具datastage，所涉及的数据库有sqlserver，oracle,mysql,lmpala等。数据显示工具bo报表。从事过项目sqe报表开发和汽车能源项目开发
3，我们开始用SAS对于数据进行处理，后来用python脚本语言对数据进行加工，使用xshell工具运行脚本，存储在hadoop集群中的hive库上，熟悉hql（hive），做过以下：
从事大数据分析
1).银行的EOM和PAN历史数据迁移
首先依照业务逻辑，整理清楚数据来源表，业务需要什么样的数据，进行python脚本数据建模，编写python脚本和数据建表文件。编写完之后，用FileZilla建立本地和目标linux服务器之间的连接,将写好的python脚本上传到目标服务器下的指定测试目录。用Xshell登录远程Linux服务器，用linux命令手动执行python脚本，如要执行命令“python data_out.py 2017-11-11”，python 脚本后面的日期是数据的跑批日期，以后脚本上线有系统指定一个日期变量进行跑批，然后将通过linux命令找到系统跑批的日志，确保脚本执行没问题，找到跑批之后的结果数据进行数据测试，如果没问题，可以进行上线，然后在脚本上表名写脚本的作者，数据来源，使用部门，输出结果。将sas集合数据用sas解压转化为txt数据文件通过FileZilla传输到linux指定路径下，通过执行.shell脚本将txt数据文件录入到hive库中，数据的建表格式与hive的建表语句保持一致。
2).银行风险basel内评模型
根据业务给的需求数据明书，在原有SAS建立basel建模，要在hive建立basel模型，负责银行银行的欺诈模型建立，中间变量的建立，如好享贷累计累计交易金额，写出python脚本，首先从交易表划分出好享贷用户，然后用表里的入账金额作为交易额，取交易日期在最新独立额度激活日期与修正后账单日之间的交易额做累加，其中最新独立额度激活日期和修正后账单日是另外2张表里的变量。用客户编号进行关联。等所有变量的python脚本写好后迁移到linux服务器进行数据跑批，跑批日期要和sas数据跑批保持一致，对hive结果数据进行测试。如果有问题，修改脚本，知道两者数据相同。
3).银行的运行管理平台数据加工
负责各个外围系统的数据对接hive数据仓库，hive数据仓库提供数据给到运营管理平台，负责各类问题的处理，如服务申请，数据库的申请安装，ESB的申请安装,F5负载均衡的申请安装，Control-M系统数据跑批服务的申请安装，短信/邮件接口对接，数据安全备份，数据建模，数据接受/处理加工/转换，底层因素/参数python脚本的开发。业务需求变更的评估，各个外围系统的对接的数据评估。
2，处理通用汽车公司etl数据转换，所用工具datastage，所涉及的数据库有sqlserver，oracle,mysql,lmpala等。数据显示工具bo报表。从事过项目sqe报表开发和汽车能源项目开发
3，我们开始用SAS对于数据进行处理，后来用python脚本语言对数据进行加工，使用xshell工具运行脚本，存储在hadoop集群中的hive库上，熟悉hql（hive），做过以下：
从事大数据分析
1).银行的EOM和PAN历史数据迁移
首先依照业务逻辑，整理清楚数据来源表，业务需要什么样的数据，进行python脚本数据建模，编写python脚本和数据建表文件。编写完之后，用FileZilla建立本地和目标linux服务器之间的连接,将写好的python脚本上传到目标服务器下的指定测试目录。用Xshell登录远程Linux服务器，用linux命令手动执行python脚本，如要执行命令“python data_out.py 2017-11-11”，python 脚本后面的日期是数据的跑批日期，以后脚本上线有系统指定一个日期变量进行跑批，然后将通过linux命令找到系统跑批的日志，确保脚本执行没问题，找到跑批之后的结果数据进行数据测试，如果没问题，可以进行上线，然后在脚本上表名写脚本的作者，数据来源，使用部门，输出结果。将sas集合数据用sas解压转化为txt数据文件通过FileZilla传输到linux指定路径下，通过执行.shell脚本将txt数据文件录入到hive库中，数据的建表格式与hive的建表语句保持一致。
2).银行风险basel内评模型
根据业务给的需求数据明书，在原有SAS建立basel建模，要在hive建立basel模型，负责银行银行的欺诈模型建立，中间变量的建立，如好享贷累计累计交易金额，写出python脚本，首先从交易表划分出好享贷用户，然后用表里的入账金额作为交易额，取交易日期在最新独立额度激活日期与修正后账单日之间的交易额做累加，其中最新独立额度激活日期和修正后账单日是另外2张表里的变量。用客户编号进行关联。等所有变量的python脚本写好后迁移到linux服务器进行数据跑批，跑批日期要和sas数据跑批保持一致，对hive结果数据进行测试。如果有问题，修改脚本，知道两者数据相同。
3).银行的运行管理平台数据加工
负责各个外围系统的数据对接hive数据仓库，hive数据仓库提供数据给到运营管理平台，负责各类问题的处理，如服务申请，数据库的申请安装，ESB的申请安装,F5负载均衡的申请安装，Control-M系统数据跑批服务的申请安装，短信/邮件接口对接，数据安全备份，数据建模，数据接受/处理加工/转换，底层因素/参数python脚本的开发。业务需求变更的评估，各个外围系统的对接的数据评估。
立即沟通
