在细雨中呼喊

大数据开发工程师
太极计算机股份有限公司 · 5年经验
在细雨中呼喊
日薪: ¥500/8h
地点: 西安 全区
时间: 下班后周六周日可工作日远程
有团队 · 可整包 ID:199289 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Java Spring MyBatis MySQL Oracle SVN Maven Kafka Elasticsearch Solr Python Redis Hadoop Spark HBase
有关键独立模块设计、开发和维护经验;
1.熟悉大数据hadoop环境掌握必要的开源组件例如:hbase,kafka,flume,yarn,ElasticSearch,spark,hive,zookeeper等熟悉基本的脚本语言Python,shell,可进行自动化测试脚本编写,熟悉CDH云,华为云
熟练应用Struts2+Spring+Hibernate和SpringMVC+Spring+Mybatis及其他主
流JavaEE开发框架
熟悉XML和JSON解析,数据存储方式
熟练应用Eclipse,MyEclipse,SVN,Maven,WebStorm,IDEA等开发工具
熟练应用JSP/Servlet/JDBC/JavaBean等用MVC模式开发项目
熟练Java编程 ,熟悉常见设计模式,熟悉软件设计开发流程
熟悉EasyUI,Bootstrap, AngularJS等前段框架
能够运用PowerDesigner等建模工具进行需求分析和模型设计
熟练使用MySQL、Oracle等数据库的常用操作
扎实JAVA基础知识,熟悉面向对象编程思想,具有良好的编码习惯
熟悉Nginx,Solr,Redis等服务器的安装、能够搭建开发环境
熟悉Linux操作系统,能够搭建开发环境。

DBE产品的开发与维护
该款产品属于安防行业交付件,数据量较大,性能规格要求高,所以使用的多款组件,数据接入方面,利用Thrift的RPC远程跨语言的优势搭载kafka缓存功能,实现数据大规模入库,数据消费方面,利用flume高可用,高可靠的分布式的海量日志采集、聚合和传输的系统,实现数据的消费,数据落盘方面,以hadoop和hdfs文件为基准,使用分布式面向列的HBASE作为数据库+ElasticSearch分词检索系统便于数据的秒级检索,使用spark的parquet文件+ElasticSearch对海量数据进行分析,将分析结果存入postgreSQL,为了便于第三方调取使用,使用Jetty+Nginx反向代理的方式实现负载均衡,为了便于资源统一调度和管理,使用restful风格的设计模式方式,以便第三方的调取使用,该产品使用shell脚本和Python实现了产品的升级和维护 该系统包含如下模块:基本组件模块/研判业务/布控业务/流量统计业务/视图库业务/积分业务/HA等

整包服务: H5网站开发文档原型图
负责人: 大数据开发工程师
团队成员: 产品经理 前端工程师 后端工程师 
在细雨中呼喊 ID:199289 复制

在细雨中呼喊

有团队 · 可整包
大数据开发工程师 · 5年经验 · 太极计算机股份有限公司
城市西安 全区 日薪500元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Java Spring MyBatis MySQL Oracle SVN Maven Kafka Elasticsearch Solr Python Redis Hadoop Spark HBase
有关键独立模块设计、开发和维护经验;
1.熟悉大数据hadoop环境掌握必要的开源组件例如:hbase,kafka,flume,yarn,ElasticSearch,spark,hive,zookeeper等熟悉基本的脚本语言Python,shell,可进行自动化测试脚本编写,熟悉CDH云,华为云
熟练应用Struts2+Spring+Hibernate和SpringMVC+Spring+Mybatis及其他主
流JavaEE开发框架
熟悉XML和JSON解析,数据存储方式
熟练应用Eclipse,MyEclipse,SVN,Maven,WebStorm,IDEA等开发工具
熟练应用JSP/Servlet/JDBC/JavaBean等用MVC模式开发项目
熟练Java编程 ,熟悉常见设计模式,熟悉软件设计开发流程
熟悉EasyUI,Bootstrap, AngularJS等前段框架
能够运用PowerDesigner等建模工具进行需求分析和模型设计
熟练使用MySQL、Oracle等数据库的常用操作
扎实JAVA基础知识,熟悉面向对象编程思想,具有良好的编码习惯
熟悉Nginx,Solr,Redis等服务器的安装、能够搭建开发环境
熟悉Linux操作系统,能够搭建开发环境。

项目经验

DBE产品的开发与维护
该款产品属于安防行业交付件,数据量较大,性能规格要求高,所以使用的多款组件,数据接入方面,利用Thrift的RPC远程跨语言的优势搭载kafka缓存功能,实现数据大规模入库,数据消费方面,利用flume高可用,高可靠的分布式的海量日志采集、聚合和传输的系统,实现数据的消费,数据落盘方面,以hadoop和hdfs文件为基准,使用分布式面向列的HBASE作为数据库+ElasticSearch分词检索系统便于数据的秒级检索,使用spark的parquet文件+ElasticSearch对海量数据进行分析,将分析结果存入postgreSQL,为了便于第三方调取使用,使用Jetty+Nginx反向代理的方式实现负载均衡,为了便于资源统一调度和管理,使用restful风格的设计模式方式,以便第三方的调取使用,该产品使用shell脚本和Python实现了产品的升级和维护 该系统包含如下模块:基本组件模块/研判业务/布控业务/流量统计业务/视图库业务/积分业务/HA等

团队情况

服务范围:
H5网站开发文档原型图
团队构成:
负责人(大数据开发工程师) | 核心队员:产品经理 · 前端工程师 · 后端工程师
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏