蛮妖覃同学
有团队 · 可整包
大数据架构 · 15年经验 · 平安科技
0
累计接单
0
用户评价
0
被收藏
技术能力
1.精通java核心，有良好的算法和编码能力
2.熟悉面向对象编程并已构建厚实知识体系并灵活运用所学知识
3.精通JVM，JMM内存模型，GC收集器
4.精通常见算法和数据结构并灵活运用在项目开发中
5.精通微服务spring cloud框架，精读spring cloud源码
6.精读经典框架源码，如JUC并发框架源码。
7.精通各种调优：JVM调优策略、GC调优、tomcat线程池调优、mysql调优.
8.精通JDK中各种集合、队列、锁、多线程、高并发及NIO相关的底层结构及原理
9.精通redis,包括redis的内存持久化方案、压测、io多路复用器、worker处理请求、5大value类型的使用原理及适用的场景，分布式集群
10.熟悉大数据框架相关的技术，熟悉HDFS,spark, storm, flume, sqoop,flink,ZK,HBase,kafka, ELK等，能够在预估企业处理数据量及需求的前提下，对根据相关技术栈的特性进行选型，以及在有可能的发生性能瓶颈的地方做性能调优和优化；
11.熟读hdfs源码，熟悉HDFS并发文件系统调优策略；
12.了解集群下的并发解决方案，支持HA高可用（采用nginx, apache, lvs, KeepAlive等技术）
13.对于构建分布式、高吞吐，低延迟，实时并发处理，利用大数据分析预测方面有丰富的经验。
14.长期担任公司最核心的架构设计以及代码编写者。
14.了解一些机器学习算法，如分类算法、聚类算法、线性回归、逻辑回归、K均值算法等。了解机器学习框架如paddlepaddle, tensorflow, pytorch, matlab等。能够以pytorch框架完成农田图片边界识别工作，完成酒店评论内容自然语言处理、文字识别自动搜索等机器学习工作。
15.了解HTTP的7层网络协议
16.熟悉linux常用命令
17.熟悉svn cvs版本控制工具、git,maven项目管理
18.熟悉Jenkins，linux shell及Ant脚本来实现可持续集成自动化部署
19.熟练使用Eclipse,IDEA,SVN,git,maven项目管理构建工具
曾获奖项及自学能力：
20.大学时背了4本大学英语，1本环境科学专业英语，1本6级英语。英语阅读写作听力能力一流
2.熟悉面向对象编程并已构建厚实知识体系并灵活运用所学知识
3.精通JVM，JMM内存模型，GC收集器
4.精通常见算法和数据结构并灵活运用在项目开发中
5.精通微服务spring cloud框架，精读spring cloud源码
6.精读经典框架源码，如JUC并发框架源码。
7.精通各种调优：JVM调优策略、GC调优、tomcat线程池调优、mysql调优.
8.精通JDK中各种集合、队列、锁、多线程、高并发及NIO相关的底层结构及原理
9.精通redis,包括redis的内存持久化方案、压测、io多路复用器、worker处理请求、5大value类型的使用原理及适用的场景，分布式集群
10.熟悉大数据框架相关的技术，熟悉HDFS,spark, storm, flume, sqoop,flink,ZK,HBase,kafka, ELK等，能够在预估企业处理数据量及需求的前提下，对根据相关技术栈的特性进行选型，以及在有可能的发生性能瓶颈的地方做性能调优和优化；
11.熟读hdfs源码，熟悉HDFS并发文件系统调优策略；
12.了解集群下的并发解决方案，支持HA高可用（采用nginx, apache, lvs, KeepAlive等技术）
13.对于构建分布式、高吞吐，低延迟，实时并发处理，利用大数据分析预测方面有丰富的经验。
14.长期担任公司最核心的架构设计以及代码编写者。
14.了解一些机器学习算法，如分类算法、聚类算法、线性回归、逻辑回归、K均值算法等。了解机器学习框架如paddlepaddle, tensorflow, pytorch, matlab等。能够以pytorch框架完成农田图片边界识别工作，完成酒店评论内容自然语言处理、文字识别自动搜索等机器学习工作。
15.了解HTTP的7层网络协议
16.熟悉linux常用命令
17.熟悉svn cvs版本控制工具、git,maven项目管理
18.熟悉Jenkins，linux shell及Ant脚本来实现可持续集成自动化部署
19.熟练使用Eclipse,IDEA,SVN,git,maven项目管理构建工具
曾获奖项及自学能力：
20.大学时背了4本大学英语，1本环境科学专业英语，1本6级英语。英语阅读写作听力能力一流
项目经验
项目一：COSMOPlat工业操作系统大数据平台
项目职位：大数据负责人
项目职责和业绩：卡奥斯智研院大数据项目负责人，参与企业业务战略会议，调查企业业务核心目标，基于dataops可持续改进的数据平台0到1构建，负责业务分析数据链路，围绕工业互联网业务战略进行数据湖架构设计、技术选型，云原生容器调度，性能参数设计，入湖读写性能优化，指标数据可视化监测，搭建基于结构化和非结构化数据的读写的离线和实时数仓， code review。参与apache paimon数据湖开源项目开发，申请数据湖数据接入新方案的技术专利。
制定数据管理流程和行业标准，构建数据平台主数据和参考数据，元数据管理体系，数据溯源，数据治理，数据质量管理，数据安全，指标数据建模等内容。构建数据驱动dataops平台，实现数据治理自动化，极大的提高了AI模型的效率。
项目二：supos工业操作系统数仓平台
项目职位：大数据架构师
项目描述：浙江蓝卓依托浙大教学优势，其自研的OS工业互联网操作系统是工业互联网领域的领头羊，在OS操作系统的基础上，构建数据中 台项目、数仓平台项目。包含有数据的采集、数据同步、数据预处理、数据建模、数据计算等功能模块；大数据模型包括通用的AI算法 ，如线性回归、逻辑回归、决策树等 ，可对数据进行拟合；实时和离线计算、数据溯源、主数据、参考数据构建、指标计算等；数仓ODS/EDS/DW分层设计，每一层的数据质量、统计粒度、算法分析、统计维度的上卷下钻等的设计；对原有数据平台的数据进行检测，包括采用搭建星型模型、雪花模型、星座模型进行数据模型的构建，检测原有的数据平台的计算口径 ，计算数据的准确性 ，实时和离线计算的能力；构建数仓主数据模块、元数据模块、搜集和整理行业数据标准、数据质量标准 ，在对业务数据进行数据计算之前 ，进行相关的数据治理 ，数据溯源。
项目职责和业绩：
1、负责蓝卓工业互联网平台OS操作系统中数据中台项目的整体架构设计 ，搭建以及指导开发人员进行开发;
2、负责领导蓝卓自研平台的数据中台的技术选型、架构设计和实现 ，优化后端分布式系统的性能瓶颈与技术难题
3、负责出差内蒙中煤蒙大并与实施人员及用户对接 ，探索平台上的服务及应用场景 ，设计App应用 ，推动项目落地与实施;
4、负责调研并跟踪工业互联网业界最新技术;
5、负责和产品经理、项目经理紧密配合协调团队日常开发 ，管理与推进技术组件选型及规范
6、参与构建基础数据仓库、计算和传输平台 ，流式计算 ，离线挖掘系统等
7、参与在线架构设计和优化 ，支撑实时、大规模高可靠系统的研发；采用springcloud微服务框架、docker、分布式系统 ，大数据分析等
完成浙江统计局、内蒙中煤蒙大及京博石化的数据中台项目的开发
8、支持内蒙中煤蒙大MES系统、京博石化MES等系统的上线。支持包括以下方面的子系统上线
9、对公司员工、部门同事进行大数据技术、数据建模等相关培训
9、对新技术持有敏感性 ，善于学习 ，比如用AI模型算法解决公司内部遗留了很久的问题(用AI模型完成京博石化项目设备异常导致数据丢失的
数据拟合问题)
环境：
java12+IDEA + git + maven + jenkins；JUC
架构：springcloud+ mongodb + mysql + docker + k8s + ES + Vue + nodejs
项目三：平安科技系统监控平台
项目概述：
实时监控包括平安银行、陆金所、平安证券、平安好房、好医生等平安集团旗下40+家子公司的系统业务数据及性能指标数据。
架构：flume + sqoop + kafka + spark streaming + scala + spring cloud + ES + Vue + nodejs
数据采集和处理采用Hadoop大数据框架：系统采用Apache Flume采集实时日志，用Apache Sqoop采集数据库性能数据和业务数据，并用Kafka分布式消息集群作为数据的缓冲。数据的实时分析处理采用Spark和scala。经过Spark处理的数据通过spring cloud微服务模块实现更具体的功能，如告警计算、告警消息推送、告警查询和数据总线等；同时Kafka消息系统写入内存数据库MongoDB，当天凌晨MongoDB中的数据被写入HBase中。指标数据的配置信息会被存储到MySQL中。每日数据处理量为八九百万条数据，2G多的数据量，实时并发处理的数据量为280条。
项目中承担的角色：
1）带领java开发团队进行后端微服务架构开发，参与并设计项目框架，根据预计的接入数据量和处理的并发量计算和构建分布式系统的
项目职位：大数据负责人
项目职责和业绩：卡奥斯智研院大数据项目负责人，参与企业业务战略会议，调查企业业务核心目标，基于dataops可持续改进的数据平台0到1构建，负责业务分析数据链路，围绕工业互联网业务战略进行数据湖架构设计、技术选型，云原生容器调度，性能参数设计，入湖读写性能优化，指标数据可视化监测，搭建基于结构化和非结构化数据的读写的离线和实时数仓， code review。参与apache paimon数据湖开源项目开发，申请数据湖数据接入新方案的技术专利。
制定数据管理流程和行业标准，构建数据平台主数据和参考数据，元数据管理体系，数据溯源，数据治理，数据质量管理，数据安全，指标数据建模等内容。构建数据驱动dataops平台，实现数据治理自动化，极大的提高了AI模型的效率。
项目二：supos工业操作系统数仓平台
项目职位：大数据架构师
项目描述：浙江蓝卓依托浙大教学优势，其自研的OS工业互联网操作系统是工业互联网领域的领头羊，在OS操作系统的基础上，构建数据中 台项目、数仓平台项目。包含有数据的采集、数据同步、数据预处理、数据建模、数据计算等功能模块；大数据模型包括通用的AI算法 ，如线性回归、逻辑回归、决策树等 ，可对数据进行拟合；实时和离线计算、数据溯源、主数据、参考数据构建、指标计算等；数仓ODS/EDS/DW分层设计，每一层的数据质量、统计粒度、算法分析、统计维度的上卷下钻等的设计；对原有数据平台的数据进行检测，包括采用搭建星型模型、雪花模型、星座模型进行数据模型的构建，检测原有的数据平台的计算口径 ，计算数据的准确性 ，实时和离线计算的能力；构建数仓主数据模块、元数据模块、搜集和整理行业数据标准、数据质量标准 ，在对业务数据进行数据计算之前 ，进行相关的数据治理 ，数据溯源。
项目职责和业绩：
1、负责蓝卓工业互联网平台OS操作系统中数据中台项目的整体架构设计 ，搭建以及指导开发人员进行开发;
2、负责领导蓝卓自研平台的数据中台的技术选型、架构设计和实现 ，优化后端分布式系统的性能瓶颈与技术难题
3、负责出差内蒙中煤蒙大并与实施人员及用户对接 ，探索平台上的服务及应用场景 ，设计App应用 ，推动项目落地与实施;
4、负责调研并跟踪工业互联网业界最新技术;
5、负责和产品经理、项目经理紧密配合协调团队日常开发 ，管理与推进技术组件选型及规范
6、参与构建基础数据仓库、计算和传输平台 ，流式计算 ，离线挖掘系统等
7、参与在线架构设计和优化 ，支撑实时、大规模高可靠系统的研发；采用springcloud微服务框架、docker、分布式系统 ，大数据分析等
完成浙江统计局、内蒙中煤蒙大及京博石化的数据中台项目的开发
8、支持内蒙中煤蒙大MES系统、京博石化MES等系统的上线。支持包括以下方面的子系统上线
9、对公司员工、部门同事进行大数据技术、数据建模等相关培训
9、对新技术持有敏感性 ，善于学习 ，比如用AI模型算法解决公司内部遗留了很久的问题(用AI模型完成京博石化项目设备异常导致数据丢失的
数据拟合问题)
环境：
java12+IDEA + git + maven + jenkins；JUC
架构：springcloud+ mongodb + mysql + docker + k8s + ES + Vue + nodejs
项目三：平安科技系统监控平台
项目概述：
实时监控包括平安银行、陆金所、平安证券、平安好房、好医生等平安集团旗下40+家子公司的系统业务数据及性能指标数据。
架构：flume + sqoop + kafka + spark streaming + scala + spring cloud + ES + Vue + nodejs
数据采集和处理采用Hadoop大数据框架：系统采用Apache Flume采集实时日志，用Apache Sqoop采集数据库性能数据和业务数据，并用Kafka分布式消息集群作为数据的缓冲。数据的实时分析处理采用Spark和scala。经过Spark处理的数据通过spring cloud微服务模块实现更具体的功能，如告警计算、告警消息推送、告警查询和数据总线等；同时Kafka消息系统写入内存数据库MongoDB，当天凌晨MongoDB中的数据被写入HBase中。指标数据的配置信息会被存储到MySQL中。每日数据处理量为八九百万条数据，2G多的数据量，实时并发处理的数据量为280条。
项目中承担的角色：
1）带领java开发团队进行后端微服务架构开发，参与并设计项目框架，根据预计的接入数据量和处理的并发量计算和构建分布式系统的
团队情况
服务范围：
团队构成：
负责人(大数据架构)
|
核心队员：产品经理 ·
UI设计师 ·
前端工程师 ·
后端工程师
立即沟通
