猿急送>

北京后端兼职程序员

ID：217498

山哥

资深研发工程师

公司信息：
网宿科技

工作经验：
8年

兼职日薪：
800元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

- 开发语言：C/C++（8年+）、golang （1年+）、Perl、Python
- 服务器：Lighttpd（二次开发）、Nginx(二次开发)、OpenResty
- 分布式文件系统：MooseFS、Ceph
- 数据库相关：Elasticsearch
- 其他：构建分布式大数据处理系统

项目经验

### 2018-至今用户画像平台技术负责人

主导整个用户画像平台架构和建设，通过分析日志，提取有效信息，搭建一套分布式用户画像平台，整个数据处理涉及数据采集、过滤、扩展、标准化、用户ID唯一化、用户标签化、数据存储、查询等

- 使用kafka作为中间数据存储组件
- 自研数据计算组件（Golang），采用多层MapReduce，通过配置方式实现99%以上需求，支撑300w/s数据量
- 自研用户ID体系组件（C/C++），采用无锁哈希表技术，实现单机50w+/s并发
- 存储采用moosefs和elasticsearch
- 总用户数规模10亿+

### 2017-2018 低时延流式计算日志系统

随着市场竞争激烈，客户要求日志的时延越来越低，现有的时延不能满足客户需求，在短时间内搭建一套低时延日志系统

- 负责整体架构设计、工作任务拆分、以及整个项目的进度把控
- 在开发测试过程中对一些比较难问题进行讨论分析，保证项目顺利进行
- 后期期优化当中，努力推进各组件功能优化、补充运营数据，监控整个系统的健康程度
- 日志时延由原来的15分钟提升到2分钟
- 基于该系统基础上，后续衍生出不同业务类型系统

### 2016-2017 集群组件优化重构项目

作为虚拟小组负责人,分析集群组件性能瓶颈、业务组件冗余现状，制定开发计划，完成集群组件改造

- 整合已有冗余组件，抽象出通用业务的组件

- 基于lighttpd 进行二次开发，诞生出消息队列组件(MQ)、集群锁组件(LK)

- 利用MQ 作为组件间消息传递、LK作为组件间事务锁，大大降低集群系统IO

### 2015-2016 日志系统组件开发

熟悉日志系统业务和组件，负责日志系统各组件的维护和开发，涉及的组件包括计算、调度、集群等

- 接手组件后，不断完善新功能，加强监控运营，实现运营自动化，极大的减少线上问题比率

- 为调度组件新增等级功能，按客户优先级划分资源规模，实现资源隔离

### 2012-2015 网关功能开发

负责公司车辆系统、物联网系统网关的开发