项目1:移动商城智能推荐引擎和搜索引擎
功能:
【1】移动商城管理端和客户端
【2】搜索和推荐部分 webUI
【3】以 ES 和 MySQL 搜索引擎
【4】智能商品推荐引擎系统(根据用户点击商品能够实时推荐用户感兴趣其他商品)
技术框架:
平台部分:springBoot、vue、mysql、redis
大数据部分:大数据通用平台项目的任务插件编写
Spark Core、sparSQL、Hive、Hdfs、HBASE、mySql、python、Java,jieba(中文分词)
商 品 推 荐 机 器 学 习 部 分 : sparkMLib、Redis、python
工作内容:
1、通过 thrift , glog,flume, kafka,hbase 对用户行为日志收集
2、在项目一大数据通用平台编写任务插件、完成数据采集、数据存贮、数据计算、数据挖掘最后结果推送到 redis 库,详细见 3、4、5、6、7
3、对用户访问 session 分析模块编码包括 session 的聚合指标计算(用 JAVA 进行 spark core 和 spark sql 编程)
4、建立推荐引擎,基于内容 CB 和基于协同过滤 CF 两种算法对商品召回,把商品pair对批量导入 redis。(用 Python 处理)
5、对用户进行画像、挖掘用户特征、对商品进行中文分词建立各项特征,把特征批量导入 redis 库。
6、基于 LR(逻辑回归) 或 DNN(神经网络)算法 建立用户偏好预估的Ranking Model 建模放入 redis (用 Python 处理)
7、根据用户点击商品行为记录从 redis 库召回相似度比较高 100 个商品,并根据特征库和 Ranking Model 对这些商品进行预测打分排序,以 topN 形式实时推荐给用户。(用 Python 处理)
项目2:辽宁移动大数据共享平台、DNS 和netflow 运维监控平台
功能:以SpringBoot\SpringCloud\vue 搭建和开发移动大数据业务各种监控运维通用 WebUI 平台。
【1】平台能够JMX 方式获取Hadoop 集群各个节点cpu 和内存信息,进行图形监控、异常报警;
【2】能够在平台通过Azkaban 制定调度策略和编排各种工作流任务,以插件形式完成对各种移动海量数据进行数据采集、数据汇总、数据计算、数据可视化、数据挖掘等Job。
【3】能够通过Ranger 组件对各类数据进行统一管理,对用户访问HDFS
和hive 进行目录和字段级别控制。
【4】能够对 DM 数据进行可视化,比如集成 tablelu 和以Echart 进行展示
技术框架:
平台框架:SpringBoot、Spring CLoud 、spring security、Quartz、MySQL、Mybatis、 echart、vue、freemarker、layui、websocket
集成大数据组件\插件:Flume、Kafka、Ranger、AzKaban、SparkSQL、Spark Streaming、Hbase、Hive
工作内容:软件架构平台搭建和关键代码前后端编写、集成工作流AzKaban,对各种大数据组件的 API 封装、各种任务插件 spark、python、shell 编写、各种报表图形显示(tablelu 嵌套在web 网页)、实时数据监控显
示、spring security 整合。
项目3: EHR(人力资源、OA)产品开发和各个项目的实施(中国银行 EHR、水利部 EHR、武汉国家电网 EHR)
软件架构: spring+strut+hibernate+oracle 开发环境: eclipse ,jira
职责: 前台和后台代码编写。
涉及相关技术:oracle 存贮过程编写,自定义报表开发
熙康网 www.xikang.com
软件架构: spring+springmvc+mybatis+jeecms+MQ+mysql+JQUERY 开发环境&相关软件: Linux,myeclipse ,maven,svn,jira,jenkins
职责: 从事健康预警,CAS,体检报告,会员管理,健康报告打印,健康关爱,生化三项工具等模块设计和代码编写。
涉及相关技术:jeecms、lodop、echars、hchars、MQ、RESTFUL API、cxf、OAUTH、表水平拆分、JVM 优化、前端优化