陈克磊

爬虫开发工程师
华夏信财 · 3年经验
陈克磊
日薪: ¥500/8h
地点: 上海 浦东
时间: 下班后周六周日
ID:145324 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Java Spring Git HTTP
1熟练掌握java 语言,及js语言
2可以使用java 常见框架,spring 等
3熟悉sql的编写
4可以使用常见的代码协作工具,git 等
5了解计算机网络相关知识,如 http https tcp ip dns 等相关协议
6扎实的计算机基础知识

1.java爬虫项目,项目主体是用netty redis 加nutz(类似spring 的mvc框架)搭建的分布式项目,使用到的爬虫技术,主要是由hpptclient htmlunit 和wedriver进行自我封装的爬虫框架,业务主要是根据用户提供的账户,即时爬取其账号信息,我们是一个大的风控项目的一小部分,除了提供爬虫执行引擎以外,还有自己的管理后台页面,以及对接上游系统的前端页面,前端主要是用原生js 和angular 去实现。
我在项目中负责具体网站爬虫的编写,以及对接上游系统的前端页面的编写,还涉及过chrome 插件(自动生成需求文档),代码发布校验功能的编写(本系统为热加载系统,发布前对java代码进行解析,识别其是否我们的要求)


2.车险保单系统,基于hadoop平台搭建,主要使用spark sql hbase hive 类似数据仓库,对上游数据进行结构化入库,并按需发给下游系统
我在项目中负责数据下发,和数据治理
陈克磊 ID:145324 复制

陈克磊

爬虫开发工程师 · 3年经验 · 华夏信财
城市上海 浦东 日薪500元/8h 时间 下班后周六周日
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Java Spring Git HTTP
1熟练掌握java 语言,及js语言
2可以使用java 常见框架,spring 等
3熟悉sql的编写
4可以使用常见的代码协作工具,git 等
5了解计算机网络相关知识,如 http https tcp ip dns 等相关协议
6扎实的计算机基础知识

项目经验

1.java爬虫项目,项目主体是用netty redis 加nutz(类似spring 的mvc框架)搭建的分布式项目,使用到的爬虫技术,主要是由hpptclient htmlunit 和wedriver进行自我封装的爬虫框架,业务主要是根据用户提供的账户,即时爬取其账号信息,我们是一个大的风控项目的一小部分,除了提供爬虫执行引擎以外,还有自己的管理后台页面,以及对接上游系统的前端页面,前端主要是用原生js 和angular 去实现。
我在项目中负责具体网站爬虫的编写,以及对接上游系统的前端页面的编写,还涉及过chrome 插件(自动生成需求文档),代码发布校验功能的编写(本系统为热加载系统,发布前对java代码进行解析,识别其是否我们的要求)


2.车险保单系统,基于hadoop平台搭建,主要使用spark sql hbase hive 类似数据仓库,对上游数据进行结构化入库,并按需发给下游系统
我在项目中负责数据下发,和数据治理
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏