盖
高级搜索工程师 · 10年经验 · 优酷
0
累计接单
0
用户评价
0
被收藏
技术能力
10年搜索引擎开发经验,熟悉搜索引擎的基本原理和分布式搜索引擎的基本结构.熟练掌握SolrCloud,ES.Lucene,Spring,Ibatis等开源工具的使用,研究过Lucene源码,熟悉Memcache，Redis等缓存系统.擅长处理大数据搜索和高并发程序开发.研究过Lire图片内容分析,Terreract图片特征提取,搜索等工作.熟悉Linux系统,日常Shell脚本的开发维护,精通爬虫开发,利用爬虫采集过近百万图片。熟悉hadoop, flume,zookeeper,rocketmq，hbase等大数据开发框架并在项目中予以应用,利用Mahout做过个性化推荐方面工作..
项目经验
1)
项目功能:该项目电影电视剧检索项目根据用户的搜索词语检索当下最流行的影视节目
技术:solrcloud+java
挑战:并发比较大.搜索效果的不断优化.通过资源调配和搜索算法的持续优化
2)
项目背景:该项目是进行数据采集的主要工具,基本上能采集目前互联网所有的媒体数据,对于每个不同的数据源,只需更改配置文件即可,同时支持对一个数据源的定期和定时采集. 负责索引模块,正则表达式的解析插件和媒体文件下载插件
技术:lucene+java+xpath+正则表达式
3
分布式日志收集系统; (2016.08-2016.12) 项目负责人
项目背景:每个产品线都有自己的日志,为了统一管理和使用日志数据, 同时方便产品开发负责人实时定位系统异和异常报警
技术:flume+kafka+hdfs+ Elasticsearch
项目功能:该项目电影电视剧检索项目根据用户的搜索词语检索当下最流行的影视节目
技术:solrcloud+java
挑战:并发比较大.搜索效果的不断优化.通过资源调配和搜索算法的持续优化
2)
项目背景:该项目是进行数据采集的主要工具,基本上能采集目前互联网所有的媒体数据,对于每个不同的数据源,只需更改配置文件即可,同时支持对一个数据源的定期和定时采集. 负责索引模块,正则表达式的解析插件和媒体文件下载插件
技术:lucene+java+xpath+正则表达式
3
分布式日志收集系统; (2016.08-2016.12) 项目负责人
项目背景:每个产品线都有自己的日志,为了统一管理和使用日志数据, 同时方便产品开发负责人实时定位系统异和异常报警
技术:flume+kafka+hdfs+ Elasticsearch
立即沟通
