拉萨电网数据迁移及系统部署(二期)
参与时间:2017/11 - 2018/01
项目描述:负责大数据平台组件的完善及维护,基于电网大数据平台,部署用生产管理系统、用电采集系统、营销业务系统、调度系统,构建配变状态监测分析和客户用电行为两个统推大数据应用场景以及非结构化数据与大数据平台的迁移改造。
本人角色:大数据开发工程师
基站运营数据实时分析处理系统
参与时间:2017/03 –2017/9
项目描述:数据源通过ftp服务获取文件形式基站数据,利用flume对该文件目录进行实时采集,然后采用flume通过kafka保证容错性与sparkStreaming对接,sparkStreaming通过设置每个批处理的间隔时间,将流式计算分解成一系列批处理作业,实时的交给sparkStreaming清洗处理,获得实时的基站告警数据以及基站流量数据展示并存储到HDFS上,对保存在HDFS的数据利用hive建立外部分区表,通过定时任务执行,统计一天的基站告警信息;利用sqoop工具将结果存入MySQL,供前端展示。
本人角色:大数据开发工程师
使用技术:hdfs+spark+hive+mysql+sqoop+flume
责任描述:参与需求分析,平台环境搭建 ,基站告警统计 ,基站流量监控。
NetStore网上购物管理系统
参与时间:2016/5-2016/8
项目描述:该系统分为首页、用户管理、购物车管理、订单管理、退出5个模块。首页模块实现了模糊分页查询、分类分页查询等功能;用户管理模块实现了登录、注册、修改、查看信息等功能;购物车模块实现了查看、购买、修改商品数量等功能;订单模块实现了查看、删除等功能.
责任描述:此系统中我主要实现用户管理功能,包括用户的登录 注册 个人信息修改的个人管理和管理员的增加和删除以及管理员对普通用户的暂停登录和删除功能
本人角色:J2EE开发工程师
技术选型:Spring、Struts、Hibernate、mysql