李孟
数据架构
仙翁科技 · 7年经验
日薪：
￥500/8h
地点：
北京 海淀
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
技术架构方向：熟悉大数据产品和技术，对数据采集及集成、数据建模、数据开发、数据资产管理、数据分析等大数据领域或机器学习等人工智能领域有实战经验。
算法应用方向：熟悉Java/python语言编程，对数据结构和算法设计有较为深刻的理解，熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，可熟练运用机器学习、分类聚类等相关技术，针对海量信息建模，挖掘和发现数据价值与规律。
平台技术方向：熟悉开源大数据产品生态圈包括但不限于HDFS、YARN、Hive、HBase、Spark、flink、TSDB等，善于容量规划、架构设计和性能优化并有实战经验，了解分布式平台运行的原理并有实际部署管理经验。
具有良好的逻辑思维能力和快速解决问题能力，能够在复杂的客户场景中迅速帮助客户定位问题并提出可行的解决方案。
具有良好的项目落地与团队协作能力，能够组织跨团队协作、推动项目落地
5年以上大数据平台、数据仓库项目咨询、设计和实施经验
算法应用方向：熟悉Java/python语言编程，对数据结构和算法设计有较为深刻的理解，熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，可熟练运用机器学习、分类聚类等相关技术，针对海量信息建模，挖掘和发现数据价值与规律。
平台技术方向：熟悉开源大数据产品生态圈包括但不限于HDFS、YARN、Hive、HBase、Spark、flink、TSDB等，善于容量规划、架构设计和性能优化并有实战经验，了解分布式平台运行的原理并有实际部署管理经验。
具有良好的逻辑思维能力和快速解决问题能力，能够在复杂的客户场景中迅速帮助客户定位问题并提出可行的解决方案。
具有良好的项目落地与团队协作能力，能够组织跨团队协作、推动项目落地
5年以上大数据平台、数据仓库项目咨询、设计和实施经验
项目经验
2016-02---2016-06:株洲市公共建筑节能信息平台第一期
软件环境：Oracle 11g/SpringMvc/Spring/Spring-Security-Oauth2/JPA/echarts
责任描述：本人负责开发能耗监测，统计分析等功能开发
开发内容：基于SOA株洲市城市建设管理及公共信息平台展示中心装修、家具、显示、控制、扩声后台设备等建设。株洲市城市建设管理及公共信息平台展示、管控、支撑建设。株洲市节能减排评价与推广平台建设。株洲市建筑工地安监应用平台建设。
技术描述：netty采集器，假设能耗建筑有X栋，每栋建筑有Y个数据采集点，每10分钟采集1次，每个点采集1次的数据量约为200个字节（Byte），那么1天的最大能耗数据量约为（X*Y*6*24*200）字节,sso授权码模式。
2019年10月-2021年2月：数据中台
软件环境：微服务+spark+hive+flink+mysql+Hadoop+tez
责任描述：针对企业需要的中台脉络，设计与二次开发，当前阶段ETL梳理与迁移到dss平台上。
开发内容：1.两套环境测试和线上部署（linkis版本0.9.3）
2.执行用户权限改造
3.hive元数据放开
4.数据交换datax es版本兼容 5,6,7，与beam整合
5.hive引擎修复，linkis hive on tez
6.shell定义变量
7.解决hadoop3兼容问题，因为当时为了跟线上统一，降级用cdh5版本
8.调度邮件警告
9.spark yarn cluster 修复
10.spark 流计算修复
11.linkis flink 引擎扩展
12.dss工作流信号有问题组件（发送和接收直接报错）
13.dss与数据交换整合（非工作流整合）
14.hive兼容问题
15.代理服务ldap
16.引擎并发问题
17.工作空间解析文件，授权共享文件夹nfs
18. publicservice(增加存储开发中)
软件环境：Oracle 11g/SpringMvc/Spring/Spring-Security-Oauth2/JPA/echarts
责任描述：本人负责开发能耗监测，统计分析等功能开发
开发内容：基于SOA株洲市城市建设管理及公共信息平台展示中心装修、家具、显示、控制、扩声后台设备等建设。株洲市城市建设管理及公共信息平台展示、管控、支撑建设。株洲市节能减排评价与推广平台建设。株洲市建筑工地安监应用平台建设。
技术描述：netty采集器，假设能耗建筑有X栋，每栋建筑有Y个数据采集点，每10分钟采集1次，每个点采集1次的数据量约为200个字节（Byte），那么1天的最大能耗数据量约为（X*Y*6*24*200）字节,sso授权码模式。
2019年10月-2021年2月：数据中台
软件环境：微服务+spark+hive+flink+mysql+Hadoop+tez
责任描述：针对企业需要的中台脉络，设计与二次开发，当前阶段ETL梳理与迁移到dss平台上。
开发内容：1.两套环境测试和线上部署（linkis版本0.9.3）
2.执行用户权限改造
3.hive元数据放开
4.数据交换datax es版本兼容 5,6,7，与beam整合
5.hive引擎修复，linkis hive on tez
6.shell定义变量
7.解决hadoop3兼容问题，因为当时为了跟线上统一，降级用cdh5版本
8.调度邮件警告
9.spark yarn cluster 修复
10.spark 流计算修复
11.linkis flink 引擎扩展
12.dss工作流信号有问题组件（发送和接收直接报错）
13.dss与数据交换整合（非工作流整合）
14.hive兼容问题
15.代理服务ldap
16.引擎并发问题
17.工作空间解析文件，授权共享文件夹nfs
18. publicservice(增加存储开发中)
团队情况
整包服务：
微信公众号开发PC网站开发文档原型图运维类开发
负责人：
数据架构
团队成员：
产品经理 前端工程师 后端工程师
李孟
有团队 · 可整包
数据架构 · 7年经验 · 仙翁科技
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
技术架构方向：熟悉大数据产品和技术，对数据采集及集成、数据建模、数据开发、数据资产管理、数据分析等大数据领域或机器学习等人工智能领域有实战经验。
算法应用方向：熟悉Java/python语言编程，对数据结构和算法设计有较为深刻的理解，熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，可熟练运用机器学习、分类聚类等相关技术，针对海量信息建模，挖掘和发现数据价值与规律。
平台技术方向：熟悉开源大数据产品生态圈包括但不限于HDFS、YARN、Hive、HBase、Spark、flink、TSDB等，善于容量规划、架构设计和性能优化并有实战经验，了解分布式平台运行的原理并有实际部署管理经验。
具有良好的逻辑思维能力和快速解决问题能力，能够在复杂的客户场景中迅速帮助客户定位问题并提出可行的解决方案。
具有良好的项目落地与团队协作能力，能够组织跨团队协作、推动项目落地
5年以上大数据平台、数据仓库项目咨询、设计和实施经验
算法应用方向：熟悉Java/python语言编程，对数据结构和算法设计有较为深刻的理解，熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，可熟练运用机器学习、分类聚类等相关技术，针对海量信息建模，挖掘和发现数据价值与规律。
平台技术方向：熟悉开源大数据产品生态圈包括但不限于HDFS、YARN、Hive、HBase、Spark、flink、TSDB等，善于容量规划、架构设计和性能优化并有实战经验，了解分布式平台运行的原理并有实际部署管理经验。
具有良好的逻辑思维能力和快速解决问题能力，能够在复杂的客户场景中迅速帮助客户定位问题并提出可行的解决方案。
具有良好的项目落地与团队协作能力，能够组织跨团队协作、推动项目落地
5年以上大数据平台、数据仓库项目咨询、设计和实施经验
项目经验
2016-02---2016-06:株洲市公共建筑节能信息平台第一期
软件环境：Oracle 11g/SpringMvc/Spring/Spring-Security-Oauth2/JPA/echarts
责任描述：本人负责开发能耗监测，统计分析等功能开发
开发内容：基于SOA株洲市城市建设管理及公共信息平台展示中心装修、家具、显示、控制、扩声后台设备等建设。株洲市城市建设管理及公共信息平台展示、管控、支撑建设。株洲市节能减排评价与推广平台建设。株洲市建筑工地安监应用平台建设。
技术描述：netty采集器，假设能耗建筑有X栋，每栋建筑有Y个数据采集点，每10分钟采集1次，每个点采集1次的数据量约为200个字节（Byte），那么1天的最大能耗数据量约为（X*Y*6*24*200）字节,sso授权码模式。
2019年10月-2021年2月：数据中台
软件环境：微服务+spark+hive+flink+mysql+Hadoop+tez
责任描述：针对企业需要的中台脉络，设计与二次开发，当前阶段ETL梳理与迁移到dss平台上。
开发内容：1.两套环境测试和线上部署（linkis版本0.9.3）
2.执行用户权限改造
3.hive元数据放开
4.数据交换datax es版本兼容 5,6,7，与beam整合
5.hive引擎修复，linkis hive on tez
6.shell定义变量
7.解决hadoop3兼容问题，因为当时为了跟线上统一，降级用cdh5版本
8.调度邮件警告
9.spark yarn cluster 修复
10.spark 流计算修复
11.linkis flink 引擎扩展
12.dss工作流信号有问题组件（发送和接收直接报错）
13.dss与数据交换整合（非工作流整合）
14.hive兼容问题
15.代理服务ldap
16.引擎并发问题
17.工作空间解析文件，授权共享文件夹nfs
18. publicservice(增加存储开发中)
软件环境：Oracle 11g/SpringMvc/Spring/Spring-Security-Oauth2/JPA/echarts
责任描述：本人负责开发能耗监测，统计分析等功能开发
开发内容：基于SOA株洲市城市建设管理及公共信息平台展示中心装修、家具、显示、控制、扩声后台设备等建设。株洲市城市建设管理及公共信息平台展示、管控、支撑建设。株洲市节能减排评价与推广平台建设。株洲市建筑工地安监应用平台建设。
技术描述：netty采集器，假设能耗建筑有X栋，每栋建筑有Y个数据采集点，每10分钟采集1次，每个点采集1次的数据量约为200个字节（Byte），那么1天的最大能耗数据量约为（X*Y*6*24*200）字节,sso授权码模式。
2019年10月-2021年2月：数据中台
软件环境：微服务+spark+hive+flink+mysql+Hadoop+tez
责任描述：针对企业需要的中台脉络，设计与二次开发，当前阶段ETL梳理与迁移到dss平台上。
开发内容：1.两套环境测试和线上部署（linkis版本0.9.3）
2.执行用户权限改造
3.hive元数据放开
4.数据交换datax es版本兼容 5,6,7，与beam整合
5.hive引擎修复，linkis hive on tez
6.shell定义变量
7.解决hadoop3兼容问题，因为当时为了跟线上统一，降级用cdh5版本
8.调度邮件警告
9.spark yarn cluster 修复
10.spark 流计算修复
11.linkis flink 引擎扩展
12.dss工作流信号有问题组件（发送和接收直接报错）
13.dss与数据交换整合（非工作流整合）
14.hive兼容问题
15.代理服务ldap
16.引擎并发问题
17.工作空间解析文件，授权共享文件夹nfs
18. publicservice(增加存储开发中)
团队情况
服务范围：
团队构成：
负责人(数据架构)
|
核心队员：产品经理 ·
前端工程师 ·
后端工程师
立即沟通
