程少亭
集成运维
天源迪科信息技术有限公司 · 1年经验
日薪：
￥700/8h
地点：
北京 丰台
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
一．主机资源的日常维护，实现性能优化，增强系统的可用性
二. 精通linux操作系统命令,有较强的Shell编写能力,熟悉系统优化调优
三．对线上项目进行优化，提升服务效率、性能
四．数据库日常巡检，SQL优化，索引优化
五．维护公司Redis ,Mysql, Elasticsearch数据库
六．协助开发进行新代码上线
七. 定期进行数据库备份的可用性检查及恢复演练
八. 熟悉Sqoop、HBase、Phoenix 、Redis、ES、Zookeeper、Kafka 、MQ等原理
九. 了解Oozie、DolphinScheduler调度工具,能够使用工具进行任务的定时调度
二. 精通linux操作系统命令,有较强的Shell编写能力,熟悉系统优化调优
三．对线上项目进行优化，提升服务效率、性能
四．数据库日常巡检，SQL优化，索引优化
五．维护公司Redis ,Mysql, Elasticsearch数据库
六．协助开发进行新代码上线
七. 定期进行数据库备份的可用性检查及恢复演练
八. 熟悉Sqoop、HBase、Phoenix 、Redis、ES、Zookeeper、Kafka 、MQ等原理
九. 了解Oozie、DolphinScheduler调度工具,能够使用工具进行任务的定时调度
项目经验
项目一: 中国移动新零售数仓项目
项目背景:
中国移动新零售项目依托广泛用户群体与遍布线下的商圈,拥有多类客户端,在长期经营过程中产生了海量的数据,特与公司达成和作,对其自有的数据进行运营指标分析。中国移动新零售项目中MySQL与Oracle数据库产生的数据,通过Sqoop导入到数据仓库,对数仓建模、分层,通过HBase对用户点击日志进行存储。项目数据量在30T左右,集群规划24台服务器。数仓中有销售主题、商品主题、用户主题、促销主题等，表报层数据通过阿里云Data-v进行数据大屏展示
解决过程:
1. 搭建CDH集群,使用Hadoop的HDFS对业务数据进行存储,并规划副本数
2. 通过Sqoop将数据库中用户、商品、订单、支付等系统的业务数据,导入到Hive数仓中。
3. 参与构建DW层数据清洗去重。
4. 将RPT层指标数据(环比、同比、单日成交额等)提前导出MYSQL,用于协助BI同事做大屏展示
5. 使用flume故障转移的方式实现flume高可用,将埋点日志通过Taildir采集到Channel
6. 通过flume关联Kafka消费者将数据存入HBase中,结合开发同学给到的jar包,对数据进行加盐分区,减少单个region产生热数据的几率
价值体现:
1. 增强了公司在大数据方向的技术储备
2. 为大数据组件容器化提供了方向
3. CDH集群减少了运维监控负担,与集成负担
项目二: Devops流程设计与部署
项目描述
项目背景：
公司接手某国企的项目,需要使用k8s微服务架构,已有的一套服务是由tomcat部署的,没有容器监控,也没做代码审计
解决过程：
1. 与开发同学制定方案，拉取分支，获取jar包，确定需要编译父工程
2. 规划master节点与node节点，安装k8s服务、规划harbor镜像仓库、创建命名空间。
3. 在jenkins上进行编译,将编译的jar打成镜像,推送到镜像仓库,由yml文件生成pod资源。
4. 调试jenkins脚本，增加编译参数，后端代理配置，并将实践结果整理文档交付
5. 增加Prometheus+Grafana容器监控平台对系统与业务进行监控,故障进行钉钉告警
6. 通过Skywalking对服务调用链进行分析,找到堆栈或链路过长的代码,反馈给开发优化
7. 通过sonar对编译代码进行审计,
项目总结：
1. 提高了业务稳定性，K8s的自我修复特性和横向拓展的功能为业务的稳定性提供了保障。
2. 各个岗位间不会出现互相干扰，命名空间专职专用开发、运维、测试之间互不影响
3. 节约时间，减轻了运维工作的压力，可以更快地更新最新版本，打包应用，更新不中断服务，服务器故障不用停机，部署方便
项目背景:
中国移动新零售项目依托广泛用户群体与遍布线下的商圈,拥有多类客户端,在长期经营过程中产生了海量的数据,特与公司达成和作,对其自有的数据进行运营指标分析。中国移动新零售项目中MySQL与Oracle数据库产生的数据,通过Sqoop导入到数据仓库,对数仓建模、分层,通过HBase对用户点击日志进行存储。项目数据量在30T左右,集群规划24台服务器。数仓中有销售主题、商品主题、用户主题、促销主题等，表报层数据通过阿里云Data-v进行数据大屏展示
解决过程:
1. 搭建CDH集群,使用Hadoop的HDFS对业务数据进行存储,并规划副本数
2. 通过Sqoop将数据库中用户、商品、订单、支付等系统的业务数据,导入到Hive数仓中。
3. 参与构建DW层数据清洗去重。
4. 将RPT层指标数据(环比、同比、单日成交额等)提前导出MYSQL,用于协助BI同事做大屏展示
5. 使用flume故障转移的方式实现flume高可用,将埋点日志通过Taildir采集到Channel
6. 通过flume关联Kafka消费者将数据存入HBase中,结合开发同学给到的jar包,对数据进行加盐分区,减少单个region产生热数据的几率
价值体现:
1. 增强了公司在大数据方向的技术储备
2. 为大数据组件容器化提供了方向
3. CDH集群减少了运维监控负担,与集成负担
项目二: Devops流程设计与部署
项目描述
项目背景：
公司接手某国企的项目,需要使用k8s微服务架构,已有的一套服务是由tomcat部署的,没有容器监控,也没做代码审计
解决过程：
1. 与开发同学制定方案，拉取分支，获取jar包，确定需要编译父工程
2. 规划master节点与node节点，安装k8s服务、规划harbor镜像仓库、创建命名空间。
3. 在jenkins上进行编译,将编译的jar打成镜像,推送到镜像仓库,由yml文件生成pod资源。
4. 调试jenkins脚本，增加编译参数，后端代理配置，并将实践结果整理文档交付
5. 增加Prometheus+Grafana容器监控平台对系统与业务进行监控,故障进行钉钉告警
6. 通过Skywalking对服务调用链进行分析,找到堆栈或链路过长的代码,反馈给开发优化
7. 通过sonar对编译代码进行审计,
项目总结：
1. 提高了业务稳定性，K8s的自我修复特性和横向拓展的功能为业务的稳定性提供了保障。
2. 各个岗位间不会出现互相干扰，命名空间专职专用开发、运维、测试之间互不影响
3. 节约时间，减轻了运维工作的压力，可以更快地更新最新版本，打包应用，更新不中断服务，服务器故障不用停机，部署方便
程少亭
集成运维 · 1年经验 · 天源迪科信息技术有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
一．主机资源的日常维护，实现性能优化，增强系统的可用性
二. 精通linux操作系统命令,有较强的Shell编写能力,熟悉系统优化调优
三．对线上项目进行优化，提升服务效率、性能
四．数据库日常巡检，SQL优化，索引优化
五．维护公司Redis ,Mysql, Elasticsearch数据库
六．协助开发进行新代码上线
七. 定期进行数据库备份的可用性检查及恢复演练
八. 熟悉Sqoop、HBase、Phoenix 、Redis、ES、Zookeeper、Kafka 、MQ等原理
九. 了解Oozie、DolphinScheduler调度工具,能够使用工具进行任务的定时调度
二. 精通linux操作系统命令,有较强的Shell编写能力,熟悉系统优化调优
三．对线上项目进行优化，提升服务效率、性能
四．数据库日常巡检，SQL优化，索引优化
五．维护公司Redis ,Mysql, Elasticsearch数据库
六．协助开发进行新代码上线
七. 定期进行数据库备份的可用性检查及恢复演练
八. 熟悉Sqoop、HBase、Phoenix 、Redis、ES、Zookeeper、Kafka 、MQ等原理
九. 了解Oozie、DolphinScheduler调度工具,能够使用工具进行任务的定时调度
项目经验
项目一: 中国移动新零售数仓项目
项目背景:
中国移动新零售项目依托广泛用户群体与遍布线下的商圈,拥有多类客户端,在长期经营过程中产生了海量的数据,特与公司达成和作,对其自有的数据进行运营指标分析。中国移动新零售项目中MySQL与Oracle数据库产生的数据,通过Sqoop导入到数据仓库,对数仓建模、分层,通过HBase对用户点击日志进行存储。项目数据量在30T左右,集群规划24台服务器。数仓中有销售主题、商品主题、用户主题、促销主题等，表报层数据通过阿里云Data-v进行数据大屏展示
解决过程:
1. 搭建CDH集群,使用Hadoop的HDFS对业务数据进行存储,并规划副本数
2. 通过Sqoop将数据库中用户、商品、订单、支付等系统的业务数据,导入到Hive数仓中。
3. 参与构建DW层数据清洗去重。
4. 将RPT层指标数据(环比、同比、单日成交额等)提前导出MYSQL,用于协助BI同事做大屏展示
5. 使用flume故障转移的方式实现flume高可用,将埋点日志通过Taildir采集到Channel
6. 通过flume关联Kafka消费者将数据存入HBase中,结合开发同学给到的jar包,对数据进行加盐分区,减少单个region产生热数据的几率
价值体现:
1. 增强了公司在大数据方向的技术储备
2. 为大数据组件容器化提供了方向
3. CDH集群减少了运维监控负担,与集成负担
项目二: Devops流程设计与部署
项目描述
项目背景：
公司接手某国企的项目,需要使用k8s微服务架构,已有的一套服务是由tomcat部署的,没有容器监控,也没做代码审计
解决过程：
1. 与开发同学制定方案，拉取分支，获取jar包，确定需要编译父工程
2. 规划master节点与node节点，安装k8s服务、规划harbor镜像仓库、创建命名空间。
3. 在jenkins上进行编译,将编译的jar打成镜像,推送到镜像仓库,由yml文件生成pod资源。
4. 调试jenkins脚本，增加编译参数，后端代理配置，并将实践结果整理文档交付
5. 增加Prometheus+Grafana容器监控平台对系统与业务进行监控,故障进行钉钉告警
6. 通过Skywalking对服务调用链进行分析,找到堆栈或链路过长的代码,反馈给开发优化
7. 通过sonar对编译代码进行审计,
项目总结：
1. 提高了业务稳定性，K8s的自我修复特性和横向拓展的功能为业务的稳定性提供了保障。
2. 各个岗位间不会出现互相干扰，命名空间专职专用开发、运维、测试之间互不影响
3. 节约时间，减轻了运维工作的压力，可以更快地更新最新版本，打包应用，更新不中断服务，服务器故障不用停机，部署方便
项目背景:
中国移动新零售项目依托广泛用户群体与遍布线下的商圈,拥有多类客户端,在长期经营过程中产生了海量的数据,特与公司达成和作,对其自有的数据进行运营指标分析。中国移动新零售项目中MySQL与Oracle数据库产生的数据,通过Sqoop导入到数据仓库,对数仓建模、分层,通过HBase对用户点击日志进行存储。项目数据量在30T左右,集群规划24台服务器。数仓中有销售主题、商品主题、用户主题、促销主题等，表报层数据通过阿里云Data-v进行数据大屏展示
解决过程:
1. 搭建CDH集群,使用Hadoop的HDFS对业务数据进行存储,并规划副本数
2. 通过Sqoop将数据库中用户、商品、订单、支付等系统的业务数据,导入到Hive数仓中。
3. 参与构建DW层数据清洗去重。
4. 将RPT层指标数据(环比、同比、单日成交额等)提前导出MYSQL,用于协助BI同事做大屏展示
5. 使用flume故障转移的方式实现flume高可用,将埋点日志通过Taildir采集到Channel
6. 通过flume关联Kafka消费者将数据存入HBase中,结合开发同学给到的jar包,对数据进行加盐分区,减少单个region产生热数据的几率
价值体现:
1. 增强了公司在大数据方向的技术储备
2. 为大数据组件容器化提供了方向
3. CDH集群减少了运维监控负担,与集成负担
项目二: Devops流程设计与部署
项目描述
项目背景：
公司接手某国企的项目,需要使用k8s微服务架构,已有的一套服务是由tomcat部署的,没有容器监控,也没做代码审计
解决过程：
1. 与开发同学制定方案，拉取分支，获取jar包，确定需要编译父工程
2. 规划master节点与node节点，安装k8s服务、规划harbor镜像仓库、创建命名空间。
3. 在jenkins上进行编译,将编译的jar打成镜像,推送到镜像仓库,由yml文件生成pod资源。
4. 调试jenkins脚本，增加编译参数，后端代理配置，并将实践结果整理文档交付
5. 增加Prometheus+Grafana容器监控平台对系统与业务进行监控,故障进行钉钉告警
6. 通过Skywalking对服务调用链进行分析,找到堆栈或链路过长的代码,反馈给开发优化
7. 通过sonar对编译代码进行审计,
项目总结：
1. 提高了业务稳定性，K8s的自我修复特性和横向拓展的功能为业务的稳定性提供了保障。
2. 各个岗位间不会出现互相干扰，命名空间专职专用开发、运维、测试之间互不影响
3. 节约时间，减轻了运维工作的压力，可以更快地更新最新版本，打包应用，更新不中断服务，服务器故障不用停机，部署方便
案例展示
立即沟通
相似人才推荐：
