*寒*

智能应用开发工程师
厦门市美亚柏科信息股份有限公司 · 5年经验
*寒*
日薪: ¥600/8h
地点: 广州 海珠
时间: 下班后周六周日
ID:264481 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Java Spark 分布式 Spring Boot MyBatis Kafka ActiveMQ Elasticsearch Hadoop MySQL Redis Oracle Vue JavaScript jQuery
1、擅长 java 编程以及jvm虚拟机
2、 熟悉 javaWeb并掌握 springmvc、Springboot、mybatis、maven、git、svn 等技术
3、 熟悉 oracle/mysql/Greenplum 等数据库的 SQL 和优化、函数,以及 redis 内存数据库的使用
4、 掌握 kafka、ActiveMQ 消息队列的使用
5、 掌握前端 JavaScript 编程,以及 jQuery、vue 框架的使用
6、理解 hadoop 的分布式文件系统,掌握 hadoop 集群的搭建,对业务完成 Map/Reduce 编程8、熟悉 Elasticsearch+logstash+kibana(ELK)实时日志分析平台使用
7、理解 spark 工作机制。掌握 spark 任务的执行流程,掌握 Spark Streaming/Struct Streaming 流式处理技术, 利用 Spark SQL 进行数据处理、查询、统计

项目一:数据接入平台
开发环境: IDED+maven+jdk1.8+Linux+git
系统架构: springboot+dubbo+mybatis+mysql+redis+python
项目描述:对各个不同的异构数据源的数据进行搬运以及接入,包括关系型数据库如mysql、oracle、libra、greenplum、hive、SqlServer等,以及文本型数据库elasticsearch、MongoDB,消息队列kafka,文件系统Hadoop、ftp(文件包括csv、Excel、txt、json等),对源头数据进行探查其数据量、表字段名称描述、字段类型,并在目标数据库生成表结构,然后进行搬运(IDU,全部成功获取全部失败),搬运成功后对数据进行对账;
主要有三大模块:
1、库探查、表探查、字段探查;
2、数据搬运;
3、数据量对账。
项目二:da-workbench 大数据管理平台
开发环境: IDEA+ PyCharm+maven+jdk1.8+Linux+git
系统架构: springboot+mybatis+spark+Elasticsearch+logstash+kibana+kafka+mysql+redis+python_pandas 项目描述:数据管理平台主要有四大模块:1.基于 ELK 对业务日志数据进行采集、清洗转换、入库;2.python 离线统计汇总(如缓冲率、加载时长等指标),并存储到 es 以及 mysql,为 dmp 模块提供数据支持;3.spark 在线统计模块,主要实现在线人数统计、当前流量统计等,为用户提供实时统计数据;4.dmp 汇总数据以及指标查询模块。工作职责: 1、直播点播视频二次缓冲率以及首屏加载时长统计以及 echart 图表生成(python 编程);
2、通过 Struct Streaming 统计实时在线人数(java 编程);
3、ELK 平台使用,采集业务日志、清洗入库后,供技术支持快速定位问题;
4、功能需求方案设计以及编写。
项目三:智能语音质检分析系统
开发环境: IDEA+ Gradle+jdk1.8+Linux+git
系统架构: spring+springmvc+ mybatis+redis+ Elasticsearch 文本搜索引擎+ kafka+mysql+spark
项目描述:智能质检分析系统主要分为三部分:1.科大引擎对语音的转译成文本和入库;2.系统结合转译文本实现对录音进行人工质检和智能质检;3.系统基于语音的业务进行数据分析。通过智能质检分析能有效地改善呼叫中心的服务质量,质检模块主要实现了人工抽样质检、系统抽样、系统自动评分、定时任务监控、坐席申诉;分析模块偏向算法分析,实现了综合查询、热点分析、交叉分析、聚类规则、语音特征分析等功能。
工作职责: 1、负责系统部分需求文档的编写以及部分功能的设计;
2、前后台代码的开发和 bug 修复,主要为对数据清洗并入库,文本质检以及分析三大模块;
3、进行单元测试、功能接口的测试;
4、系统的在测试以及正式环境的部署以及维护。
*寒* ID:264481 复制

*寒*

智能应用开发工程师 · 5年经验 · 厦门市美亚柏科信息股份有限公司
城市广州 海珠 日薪600元/8h 时间 下班后周六周日
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Java Spark 分布式 Spring Boot MyBatis Kafka ActiveMQ Elasticsearch Hadoop MySQL Redis Oracle Vue JavaScript jQuery
1、擅长 java 编程以及jvm虚拟机
2、 熟悉 javaWeb并掌握 springmvc、Springboot、mybatis、maven、git、svn 等技术
3、 熟悉 oracle/mysql/Greenplum 等数据库的 SQL 和优化、函数,以及 redis 内存数据库的使用
4、 掌握 kafka、ActiveMQ 消息队列的使用
5、 掌握前端 JavaScript 编程,以及 jQuery、vue 框架的使用
6、理解 hadoop 的分布式文件系统,掌握 hadoop 集群的搭建,对业务完成 Map/Reduce 编程8、熟悉 Elasticsearch+logstash+kibana(ELK)实时日志分析平台使用
7、理解 spark 工作机制。掌握 spark 任务的执行流程,掌握 Spark Streaming/Struct Streaming 流式处理技术, 利用 Spark SQL 进行数据处理、查询、统计

项目经验

项目一:数据接入平台
开发环境: IDED+maven+jdk1.8+Linux+git
系统架构: springboot+dubbo+mybatis+mysql+redis+python
项目描述:对各个不同的异构数据源的数据进行搬运以及接入,包括关系型数据库如mysql、oracle、libra、greenplum、hive、SqlServer等,以及文本型数据库elasticsearch、MongoDB,消息队列kafka,文件系统Hadoop、ftp(文件包括csv、Excel、txt、json等),对源头数据进行探查其数据量、表字段名称描述、字段类型,并在目标数据库生成表结构,然后进行搬运(IDU,全部成功获取全部失败),搬运成功后对数据进行对账;
主要有三大模块:
1、库探查、表探查、字段探查;
2、数据搬运;
3、数据量对账。
项目二:da-workbench 大数据管理平台
开发环境: IDEA+ PyCharm+maven+jdk1.8+Linux+git
系统架构: springboot+mybatis+spark+Elasticsearch+logstash+kibana+kafka+mysql+redis+python_pandas 项目描述:数据管理平台主要有四大模块:1.基于 ELK 对业务日志数据进行采集、清洗转换、入库;2.python 离线统计汇总(如缓冲率、加载时长等指标),并存储到 es 以及 mysql,为 dmp 模块提供数据支持;3.spark 在线统计模块,主要实现在线人数统计、当前流量统计等,为用户提供实时统计数据;4.dmp 汇总数据以及指标查询模块。工作职责: 1、直播点播视频二次缓冲率以及首屏加载时长统计以及 echart 图表生成(python 编程);
2、通过 Struct Streaming 统计实时在线人数(java 编程);
3、ELK 平台使用,采集业务日志、清洗入库后,供技术支持快速定位问题;
4、功能需求方案设计以及编写。
项目三:智能语音质检分析系统
开发环境: IDEA+ Gradle+jdk1.8+Linux+git
系统架构: spring+springmvc+ mybatis+redis+ Elasticsearch 文本搜索引擎+ kafka+mysql+spark
项目描述:智能质检分析系统主要分为三部分:1.科大引擎对语音的转译成文本和入库;2.系统结合转译文本实现对录音进行人工质检和智能质检;3.系统基于语音的业务进行数据分析。通过智能质检分析能有效地改善呼叫中心的服务质量,质检模块主要实现了人工抽样质检、系统抽样、系统自动评分、定时任务监控、坐席申诉;分析模块偏向算法分析,实现了综合查询、热点分析、交叉分析、聚类规则、语音特征分析等功能。
工作职责: 1、负责系统部分需求文档的编写以及部分功能的设计;
2、前后台代码的开发和 bug 修复,主要为对数据清洗并入库,文本质检以及分析三大模块;
3、进行单元测试、功能接口的测试;
4、系统的在测试以及正式环境的部署以及维护。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏