ID：249841
w
爬虫开发兼数据开发
- 公司信息：
- 同花顺
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 可工作日驻场（离职原因）
- 可工作日驻场（自由职业原因）
- 所在区域：
- 杭州
- 拱墅
技术能力
1、爬虫：负责公司数据需求采集，存入 ES或 PG 数据库中.
2、数据开发：
3、数据打标：写 spark 脚本对关键字段进行提取，或利用配置表打标.
4、数据迁移，写 spark 脚本将数据从 ES 拉取至 pg。
5、逆向加密:破解网址加密参数
1 使用正则表达式、xpath等提取数据
2 写sql对pg库数据进行规则化处理：增删查改
项目经验
1、爬虫：负责公司数据需求采集，存入 ES或 PG 数据库中.
2、数据开发：
3、数据打标：写 spark 脚本对关键字段进行提取，或利用配置表打标.
4、数据迁移，写 spark 脚本将数据从 ES 拉取至 pg。
5、逆向加密:破解网址加密参数，专攻瑞数
相似人才推荐
-
500元/天无无概要：熟悉python，了解python的pygame、io，re等库，以及aiohttp，asyncio
-
500元/天软件开发工程师广州某软件公司概要：QT界面，图像处理，C/C+小型账号管理系统，LINUX环境下交叉编译arm芯片，移植部分开源库（讯
-
500元/天网络工程师重庆九方科技有限公司概要：1.电脑办公周边的运维维护（5年从事经验） 2.对学校的教育机房有独立搭建的经验（4年从事经验）
-
800元/天全栈工程师达芬奇工作室概要：1.深入理解 java 虚拟机,深入理解 mysql 锁与事务隔离级别以及 mvcc 机制,熟悉 j
-
500元/天大数据开发工程师 & 爬虫工程师腾讯概要：掌握大数据相关的技术栈：Hadoop、spark、hive、kafka、hdfs等，有过海量数据处理
-
500元/天无无概要：本人一名大一学生，计算机专业，有系统培训过测试相关课程，掌握jjmeter，fidder,数据库，m
-
600元/天全栈开发工程师软景中心概要：1.PC、H5、Nodejs、小程序、移动端，掌握大前端所有技术栈 2.能够实现类Elemen
-
1000元/天高级软件工程师马勒汽车技术有限公司概要：我从事搞汽车电子软件开发，尤其是底层软件开发。熟悉autosar及其配置工具，如vector的dav
