CR7
后端开发工程师
京东 · 1年经验
日薪：
￥500/8h
地点：
成都 高新
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟悉JAVA，熟悉集合、JUC等知识；
2、熟悉JVM内存结构，类加载机制，垃圾回收等知识；
3、熟悉MySQL数据库，Redis数据库，了解非关系型数据库MongoDB；
4、了解消息中间件RabbitMQ和全文搜索引擎Elasticsearch并能够使用；
5、了解Spring IOC、AOP机制，了解SpringBoot自动装配原理；
6、了解docker，熟悉git和基本的linux命令。
2、熟悉JVM内存结构，类加载机制，垃圾回收等知识；
3、熟悉MySQL数据库，Redis数据库，了解非关系型数据库MongoDB；
4、了解消息中间件RabbitMQ和全文搜索引擎Elasticsearch并能够使用；
5、了解Spring IOC、AOP机制，了解SpringBoot自动装配原理；
6、了解docker，熟悉git和基本的linux命令。
项目经验
项目名称：某单位数据采集系统
项目概述：该项目通过消息队列和缓存机制控制爬虫端来实现了对多个目标网站的文本数据采集，将采集到的数据进行持久化，并实现了对数据的快速检索、数据分析（维度分析、热度分析、词频统计）等功能。
主要工作：
1、架构设计：根据架构设计原则，将项目整体架构划分为用户控制域、中央控制域、数据存储域、爬虫通信域、爬虫执行域、爬虫数据清洗域和数据分析域；
2、用户权限控制：主要分为单点登录和权限验证，基于JWT+Redis+MySQL；
3、快速全文检索：将采集到的文本信息存入MongoDB进行持久化，并将MongoDB数据通过Monstache导入ElasticSearch中，实现快速全文检索；
4、数据分析：在第三点的基础上，对采集到的数据进行处理，包括增删改查和聚合统计等操作，利用MongDB聚合操作实现热度分析、维度分析等功能；
5、数据同步：为了满足用户在不同场景下对数据一致性的需求，通过设置双源MongoDB实现远程服务器到本地服务器的数据同步；
6、双端通信：实现后端服务器对爬虫脚本的启停，通过使用RabbitMQ+Redis的方式，并且后期优化了双端的通信流程。
项目概述：该项目通过消息队列和缓存机制控制爬虫端来实现了对多个目标网站的文本数据采集，将采集到的数据进行持久化，并实现了对数据的快速检索、数据分析（维度分析、热度分析、词频统计）等功能。
主要工作：
1、架构设计：根据架构设计原则，将项目整体架构划分为用户控制域、中央控制域、数据存储域、爬虫通信域、爬虫执行域、爬虫数据清洗域和数据分析域；
2、用户权限控制：主要分为单点登录和权限验证，基于JWT+Redis+MySQL；
3、快速全文检索：将采集到的文本信息存入MongoDB进行持久化，并将MongoDB数据通过Monstache导入ElasticSearch中，实现快速全文检索；
4、数据分析：在第三点的基础上，对采集到的数据进行处理，包括增删改查和聚合统计等操作，利用MongDB聚合操作实现热度分析、维度分析等功能；
5、数据同步：为了满足用户在不同场景下对数据一致性的需求，通过设置双源MongoDB实现远程服务器到本地服务器的数据同步；
6、双端通信：实现后端服务器对爬虫脚本的启停，通过使用RabbitMQ+Redis的方式，并且后期优化了双端的通信流程。
团队情况
整包服务：
微信公众号开发微信小程序开发PC网站开发
负责人：
后端开发工程师
团队成员：
后端工程师
CR7
有团队 · 可整包
后端开发工程师 · 1年经验 · 京东
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟悉JAVA，熟悉集合、JUC等知识；
2、熟悉JVM内存结构，类加载机制，垃圾回收等知识；
3、熟悉MySQL数据库，Redis数据库，了解非关系型数据库MongoDB；
4、了解消息中间件RabbitMQ和全文搜索引擎Elasticsearch并能够使用；
5、了解Spring IOC、AOP机制，了解SpringBoot自动装配原理；
6、了解docker，熟悉git和基本的linux命令。
2、熟悉JVM内存结构，类加载机制，垃圾回收等知识；
3、熟悉MySQL数据库，Redis数据库，了解非关系型数据库MongoDB；
4、了解消息中间件RabbitMQ和全文搜索引擎Elasticsearch并能够使用；
5、了解Spring IOC、AOP机制，了解SpringBoot自动装配原理；
6、了解docker，熟悉git和基本的linux命令。
项目经验
项目名称：某单位数据采集系统
项目概述：该项目通过消息队列和缓存机制控制爬虫端来实现了对多个目标网站的文本数据采集，将采集到的数据进行持久化，并实现了对数据的快速检索、数据分析（维度分析、热度分析、词频统计）等功能。
主要工作：
1、架构设计：根据架构设计原则，将项目整体架构划分为用户控制域、中央控制域、数据存储域、爬虫通信域、爬虫执行域、爬虫数据清洗域和数据分析域；
2、用户权限控制：主要分为单点登录和权限验证，基于JWT+Redis+MySQL；
3、快速全文检索：将采集到的文本信息存入MongoDB进行持久化，并将MongoDB数据通过Monstache导入ElasticSearch中，实现快速全文检索；
4、数据分析：在第三点的基础上，对采集到的数据进行处理，包括增删改查和聚合统计等操作，利用MongDB聚合操作实现热度分析、维度分析等功能；
5、数据同步：为了满足用户在不同场景下对数据一致性的需求，通过设置双源MongoDB实现远程服务器到本地服务器的数据同步；
6、双端通信：实现后端服务器对爬虫脚本的启停，通过使用RabbitMQ+Redis的方式，并且后期优化了双端的通信流程。
项目概述：该项目通过消息队列和缓存机制控制爬虫端来实现了对多个目标网站的文本数据采集，将采集到的数据进行持久化，并实现了对数据的快速检索、数据分析（维度分析、热度分析、词频统计）等功能。
主要工作：
1、架构设计：根据架构设计原则，将项目整体架构划分为用户控制域、中央控制域、数据存储域、爬虫通信域、爬虫执行域、爬虫数据清洗域和数据分析域；
2、用户权限控制：主要分为单点登录和权限验证，基于JWT+Redis+MySQL；
3、快速全文检索：将采集到的文本信息存入MongoDB进行持久化，并将MongoDB数据通过Monstache导入ElasticSearch中，实现快速全文检索；
4、数据分析：在第三点的基础上，对采集到的数据进行处理，包括增删改查和聚合统计等操作，利用MongDB聚合操作实现热度分析、维度分析等功能；
5、数据同步：为了满足用户在不同场景下对数据一致性的需求，通过设置双源MongoDB实现远程服务器到本地服务器的数据同步；
6、双端通信：实现后端服务器对爬虫脚本的启停，通过使用RabbitMQ+Redis的方式，并且后期优化了双端的通信流程。
团队情况
服务范围：
团队构成：
负责人(后端开发工程师)
|
核心队员：后端工程师
立即沟通
