ID：120371
赵洪
爬虫工程师
- 公司信息：
- 上海你我贷互联网金融信息服务有限公司
- 工作经验：
- 7年
- 兼职日薪：
- 800元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 上海
- 全区
技术能力
1.用JAVA编写爬虫框架，优化爬虫性能。
2.用爬虫实现对各个网站数据的实时抓取，完成网站数据接口
3.解决爬取过程中的难点，如：模拟登陆，验证码识别，IP代理策略，页面内容加密，集群并发抓取。
4.图片中的文字识别。
5.根据实际需要，将解析后的数据进行初步清洗，写入hbase,hadoop,mysql,sqlserver,excel等，并对数据进行初步的清洗。
6.在LINUX下部属自动化运行程序,实现对数据的实时更新或持久抓取。
7.改进爬虫相关技术
项目经验
项目名称： 舆情监控
项目时间： 2016 年 8 月 至 2017 年 1 月
公司名称： 上海你我贷金融信息服务有限公司
职位名称： 数据工程师
项目描述： 通过对金融相关平台的监控，使用分词等技术手段，对最近出现的相关的热词，进行全方位的监控。
项目职责： 负责项目规划，设计，责任划分，项目沟通
工作业绩及成果： 1.实时监控最近的舆情状况，可以通过配置对某些内容进行重点昨监控。
2.对监控到的内容，进行邮件，短信等方式进行预警，可以对近期的舆情状况分析，查看走势。
3.关键字搜索相关内容。
相似人才推荐
-
500元/天高级c软件开发工程师创昱达概要：1.拥有扎实的C编程功底和良好的编码习惯，熟悉常用的数据结构和算法 2.掌握linux C编程，掌 -
500元/天项目开发主管贵州源思创科技有限公司概要：html，css，js等前端技术bootstrap框架。php,mysql,等后端技术，熟练thin
-
500元/天软件开发工程师苏州安硕软科软件有限公司概要：能够熟练使用C、C++、JAVA等编程语言，有比较好的面向对象思想 能够熟练使用Linux系统，L
-
600元/天系统软件部门副经理上海飞田通信股份有限公司概要：1.熟悉java核心技术，Java NIO 多线程并发。 2.熟悉oralce mongodb、r
-
1200元/天研发工程师阿里巴巴概要：熟练掌握Java技术栈 熟悉了解Spring相关技术 熟悉Java并发编程、NIO，熟悉Java
-
500元/天技术指导广州上游互联网科技有限公司概要：熟悉nodejs，HTML5，JavaScript,php，了解CSS，C/C++，设计模式，coc
-
800元/天资深研发工程师阿里巴巴概要：大厂工作6年+，2年+管理经验，熟练掌握后端技能，在Devops领域持续耕耘多年，可以根据企业的实际
-
500元/天全栈工程师（有完整团队）虎扑概要：多年全栈开发经验，项目数量 30 +，可根据需求做定制开发 前端：小程序 / HTML / C
