Parasol
数据工程师
上海帕米尔信息科技有限公司 · 5年经验
日薪：
￥800/8h
地点：
上海 静安
时间：
可工作日远程可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
精通Python语言，熟练java语言，具备良好的编码习惯
熟悉常见的反爬虫策略及应对方案，有丰富的反爬虫作战经验
熟悉Hadoop、Spark、clickhouse等大数据处理框架，具备数据处理和分析能力
熟悉VUE前端框架，熟练应用element-ui、bootstrap、layui等web端UI框架
熟悉windows/Linux操作系统，熟悉docker容器化技术、熟悉shell编程
熟悉MySQL、Mongo、redis等数据库技术，具备数据存储和管理经验
熟悉Flask、Django等WEB框架，了解Tornado框架
熟悉numpy、pandas、matplotlib等数据分析常用模块
具备良好的团队协作精神和沟通能力，能够快速融入团队并开展工作
熟悉常见的反爬虫策略及应对方案，有丰富的反爬虫作战经验
熟悉Hadoop、Spark、clickhouse等大数据处理框架，具备数据处理和分析能力
熟悉VUE前端框架，熟练应用element-ui、bootstrap、layui等web端UI框架
熟悉windows/Linux操作系统，熟悉docker容器化技术、熟悉shell编程
熟悉MySQL、Mongo、redis等数据库技术，具备数据存储和管理经验
熟悉Flask、Django等WEB框架，了解Tornado框架
熟悉numpy、pandas、matplotlib等数据分析常用模块
具备良好的团队协作精神和沟通能力，能够快速融入团队并开展工作
项目经验
微信机器人
项目描述：实时监控目标微信群中的消息记录，记录解析标记内容，并整理交付给客户
项目职责：
（1）将微信机器人所在群聊中的消息进行收集
（2）参与对不同消息类型的实时解析，标准化入库
（3）根据数据规划需求，清洗标记相关内容
（4）为需求客户提供准确及时的数据交付
舆情分析系统
项目描述：定时抓取各渠道的舆情数据，拟合关键词的热度趋势与股价变化的关系，为客户提供数据参考
项目职责：
（1）抓取各渠道指定关键词的舆情数据，整合入库
（2）根据产品提供的算法，实现ETL工程，分析数据
（3）及时维护关键词数据、抓取需要的必要参数数据
（4）为需求客户提供准确及时的数据交付
研究报告系统
项目描述：定时高频抓取各个渠道的研究报告，数据标准化清洗入库，让客户及行业研究员能够及时、高效的洞察行业
项目职责：
（1）抓取研报来源中的研究报告
（2）各个来源的不同结构数据标准化清洗
（3）根据产品及后端同事需求，将数据结构化解析，并标记相应标签
（4）为需求客户提供准确及时的数据交付
项目描述：实时监控目标微信群中的消息记录，记录解析标记内容，并整理交付给客户
项目职责：
（1）将微信机器人所在群聊中的消息进行收集
（2）参与对不同消息类型的实时解析，标准化入库
（3）根据数据规划需求，清洗标记相关内容
（4）为需求客户提供准确及时的数据交付
舆情分析系统
项目描述：定时抓取各渠道的舆情数据，拟合关键词的热度趋势与股价变化的关系，为客户提供数据参考
项目职责：
（1）抓取各渠道指定关键词的舆情数据，整合入库
（2）根据产品提供的算法，实现ETL工程，分析数据
（3）及时维护关键词数据、抓取需要的必要参数数据
（4）为需求客户提供准确及时的数据交付
研究报告系统
项目描述：定时高频抓取各个渠道的研究报告，数据标准化清洗入库，让客户及行业研究员能够及时、高效的洞察行业
项目职责：
（1）抓取研报来源中的研究报告
（2）各个来源的不同结构数据标准化清洗
（3）根据产品及后端同事需求，将数据结构化解析，并标记相应标签
（4）为需求客户提供准确及时的数据交付
Parasol
数据工程师 · 5年经验 · 上海帕米尔信息科技有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
精通Python语言，熟练java语言，具备良好的编码习惯
熟悉常见的反爬虫策略及应对方案，有丰富的反爬虫作战经验
熟悉Hadoop、Spark、clickhouse等大数据处理框架，具备数据处理和分析能力
熟悉VUE前端框架，熟练应用element-ui、bootstrap、layui等web端UI框架
熟悉windows/Linux操作系统，熟悉docker容器化技术、熟悉shell编程
熟悉MySQL、Mongo、redis等数据库技术，具备数据存储和管理经验
熟悉Flask、Django等WEB框架，了解Tornado框架
熟悉numpy、pandas、matplotlib等数据分析常用模块
具备良好的团队协作精神和沟通能力，能够快速融入团队并开展工作
熟悉常见的反爬虫策略及应对方案，有丰富的反爬虫作战经验
熟悉Hadoop、Spark、clickhouse等大数据处理框架，具备数据处理和分析能力
熟悉VUE前端框架，熟练应用element-ui、bootstrap、layui等web端UI框架
熟悉windows/Linux操作系统，熟悉docker容器化技术、熟悉shell编程
熟悉MySQL、Mongo、redis等数据库技术，具备数据存储和管理经验
熟悉Flask、Django等WEB框架，了解Tornado框架
熟悉numpy、pandas、matplotlib等数据分析常用模块
具备良好的团队协作精神和沟通能力，能够快速融入团队并开展工作
项目经验
微信机器人
项目描述：实时监控目标微信群中的消息记录，记录解析标记内容，并整理交付给客户
项目职责：
（1）将微信机器人所在群聊中的消息进行收集
（2）参与对不同消息类型的实时解析，标准化入库
（3）根据数据规划需求，清洗标记相关内容
（4）为需求客户提供准确及时的数据交付
舆情分析系统
项目描述：定时抓取各渠道的舆情数据，拟合关键词的热度趋势与股价变化的关系，为客户提供数据参考
项目职责：
（1）抓取各渠道指定关键词的舆情数据，整合入库
（2）根据产品提供的算法，实现ETL工程，分析数据
（3）及时维护关键词数据、抓取需要的必要参数数据
（4）为需求客户提供准确及时的数据交付
研究报告系统
项目描述：定时高频抓取各个渠道的研究报告，数据标准化清洗入库，让客户及行业研究员能够及时、高效的洞察行业
项目职责：
（1）抓取研报来源中的研究报告
（2）各个来源的不同结构数据标准化清洗
（3）根据产品及后端同事需求，将数据结构化解析，并标记相应标签
（4）为需求客户提供准确及时的数据交付
项目描述：实时监控目标微信群中的消息记录，记录解析标记内容，并整理交付给客户
项目职责：
（1）将微信机器人所在群聊中的消息进行收集
（2）参与对不同消息类型的实时解析，标准化入库
（3）根据数据规划需求，清洗标记相关内容
（4）为需求客户提供准确及时的数据交付
舆情分析系统
项目描述：定时抓取各渠道的舆情数据，拟合关键词的热度趋势与股价变化的关系，为客户提供数据参考
项目职责：
（1）抓取各渠道指定关键词的舆情数据，整合入库
（2）根据产品提供的算法，实现ETL工程，分析数据
（3）及时维护关键词数据、抓取需要的必要参数数据
（4）为需求客户提供准确及时的数据交付
研究报告系统
项目描述：定时高频抓取各个渠道的研究报告，数据标准化清洗入库，让客户及行业研究员能够及时、高效的洞察行业
项目职责：
（1）抓取研报来源中的研究报告
（2）各个来源的不同结构数据标准化清洗
（3）根据产品及后端同事需求，将数据结构化解析，并标记相应标签
（4）为需求客户提供准确及时的数据交付
案例展示
立即沟通
相似人才推荐：
