龙彬
软件开发 · 4年经验 · 新炬网络有限公司
0
累计接单
0
用户评价
0
被收藏
技术能力
熟悉spring、mybatis。
熟悉前端框架Bootstrap，jquery
熟悉hadoop相关框架，有HBase、flume 、Zookeeper、elasticsearch 、Kafka 开发经验。熟悉redis等其他开源项目；
熟悉linux操作以及Shell脚本的应用
熟悉前端框架Bootstrap，jquery
熟悉hadoop相关框架，有HBase、flume 、Zookeeper、elasticsearch 、Kafka 开发经验。熟悉redis等其他开源项目；
熟悉linux操作以及Shell脚本的应用
项目经验
该系统主要通过分布式hadoop集群处理抓取各大电商网站的数据，建立索引，在前端展示以及商品价格、
性能的比较。项目主要用httpclient抓取网页数据，htmlcleaner对数据解析。将解析后的数据存储到hbase中
以及redis中。用solr对数据建立索引。针对于数据的爬取能力，用flume收集日志，kafka对数据的订阅，
storm及时对日志信息处理，处理后的结果存储到mysql中。在前台页面中使用推荐算法对商品进行推荐
主要负责1.集群搭建及日常维护； 2.网页的解析； 3.hbase数据存储； 4.Storm实时处理日志信息
性能的比较。项目主要用httpclient抓取网页数据，htmlcleaner对数据解析。将解析后的数据存储到hbase中
以及redis中。用solr对数据建立索引。针对于数据的爬取能力，用flume收集日志，kafka对数据的订阅，
storm及时对日志信息处理，处理后的结果存储到mysql中。在前台页面中使用推荐算法对商品进行推荐
主要负责1.集群搭建及日常维护； 2.网页的解析； 3.hbase数据存储； 4.Storm实时处理日志信息
立即沟通
