时空大数据平台
此系统分位三大块,javaWeb端用SSM搭建,中间件springboot搭建restfull负责数据
传递,底层使用elasticsearch跟HDFS作为存储及搜索引擎;使用logstash或flume接入
海量数据,通过kafka吞吐量,再通过logstash分析挖掘需要的数据存储到elasticsearch或
HDFS;webservice端使用es sql,hive或者spark sql获取数据,由java web端调用
webservice调用接口返回前段,展示告警信息。本人主要负责底层平台开发包
括数据接入,数据解析,数据提取,集群管理,后期负责spark sql性能优化,spark运算优
化
广州职教网(http://www.gzzj.org/) Java软件工程师
广州职教网有27个子系统,由内外网,SSH搭建,Oracle作为存储数据库,结合querz定时框
架,echarts报表,存储过程,触发器,视图,POI,jetty作为发布容器,shiro权限管
理,AjaxUloca等技术;参与核心功能开发教学管理、师资管理、学生管理;参与系统需求分
析与设计,以及表结构,项目构建,数据库优化,产品优化; 负责Oracle数据库sql优化,
功能文档,需求文档,测试用例,技术文档编写。