猿急送>

北京Java兼职程序员

ID：204838

John Lee

Java+大数据开发

公司信息：
北京吉荣数科技有限公司

工作经验：
5年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
朝阳

技术能力

1、熟练掌握JavaSE，springboot，mybatis等开发技术，深刻理解面向对象设计思想，熟练使用IO流操作和集合框架；
2、熟悉Oracle，MySQL，PostgreSQL等关系型数据库技术，擅长SQL语句的编写；
3、熟练使用MongoDB，HBase等NoSQL数据库；
4、掌握Redis数据库的基本原理和使用；
5、熟练运用Hive处理数据，并且有一定的数据优化经验；
6、熟练使用Flume做数据采集，使用Sqoop做数据迁移，掌握Kafka、zookeeper，ElasticSearch，oozie等相关组件；
8、熟练操作Linux系统，编写shell脚本。
9、掌握Storm集群架构及其工作原理，能够使用Storm对数据进行纯实时统计分析；

项目经验

项目名称：统一变量标准化平台
项目描述：
统一变量标准化平台旨在打造一个能使操作人员通过简单的配置，就可以实现数据源接入到标准化变量输出的便捷，高效的平台，从而避免大量人员介入，提高工作效率。该平台主要是通过界面简单配置接入数据源的必要信息，及标准化产品的信息，将配置数据保存在XML中。在使用时，先将配置信息保存在缓存中，再解析XML，调取数据源，对远程返回的原始数据进行标准化处理，将最终的标准数据返回给相关系统直接用作指标，亦或是当作参数继续运算。
责任描述：
1、负责前期数据库表的设计：字段的设计，外键的设计，各个数据库表之间的相互关联，使用图表设计软件，来实现各个表格之间的关联。
2、实现了产品模块中数据源的成本和产品的统计计费功能。
3、制定了一套标准的XML格式模板，通过解析XML获取数据，再进行标准化。
4、嵌入MVEL表达式，对复杂类型映射，数值数据按指定规则做标准化处理。
主要技术：
1、采用Maven项目管理工具将项目拆分成多个子模块，提供中央仓库，便于自动下载所需构件。
2、使用了Redis缓存技术将产品信息及数据源配置信息储存在redis缓存中，提高再次查询时的效率。
3、用MongoDB存储非结构化的原始数据和标准化数据，离线配置信息存入MySQL。
4、数据源计费模块采用消息中间件kafka +zookeeper实现，从而保证了数据的低延迟和完整性。
5、使用Java SPI机制解决了数据源鉴权多样性的问题，使得鉴权模块与项目主体解耦合，实现了项目的热更新。