猿急送>

北京后端兼职程序员

ID：317389

ivan

高级软件研发工程师

公司信息：
字节跳动

工作经验：
4年

兼职日薪：
1200元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
海淀

技术能力

熟悉Go语言, 熟悉channel和goroutinue, GMP模型, 常用第三方库（规则引擎cel-go，抓包分析go-packet），熟悉常用数据结构, 算法, 设计模式
熟悉Python（高阶函数、装饰器、迭代器与生成器、面向对象、常用第三方库），熟悉Django, Flask框架，爬虫（requests、xpath、beautifulsoup,re, selenium）, 数据分析，熟悉AI业务，熟悉AI系统后端架构设计，熟悉opencv，熟悉AI产品交互，在人工智能平台、自然语言处理、计算机视觉等领域有实际项目开发和架构设计经验，熟悉PyTorch等深度学习框架的基本原理及概念，并有过相关开发经验
熟悉TCP,UDP,DNS,HTTP,HTTPS, SSH各类网络协议等, DCQCN等相关拥塞控制算法，熟悉cdn原理与调度方式, 有网络优化, 网络故障排查,网络工具（SNAT，DNAT，vlan，traceroute，iptables，tcpdump，wireshark，nmap，wan, lan，veth）, 协议解析，网络模拟（tc），网络渗透测试，网卡（aws，mellanox智能网卡，DPU），网络库rdma，数据中心网络架构Superpod，NPM网络性能管理平台开发经验
熟悉hadoop，java flink，spark，hive等大数据处理技术，对运维领域有过大数据处理以及数据中台建设经验
熟悉流媒体业务，熟悉流媒体后端架构设计，音视频h264，h265，aac编解码原理，熟悉rtmp，rtsp，rtp，flv，hls等流媒体传输协议，熟悉SIP, GB28181，webrtc协议, 熟悉开源项目 zlmediakit, ffmpeg
深入理解Linux系统与各类命令, 熟悉运维命令，会排除linux系统疑难问题，熟悉shell编程与python脚本，能够将日常操作脚本化,流程化,自动化，熟悉LAMP和LNMP架构并能独立部署，掌握LVS、nginx负载均衡和keepalive高可用集群，熟悉raid，lvm，iptables，nfs，nginx, mysql, redis, kafaka，elk，k8s，docker，prometheus
熟悉MySQL及linux下的编译安装、增删改查、备份、还原、索引、

项目经验

运维数据中台
小米公司当前存在数十个运维相关的系统，这些系统生产的数据缺乏统一的管理，没有一个全局数据中心，对数据进行资产化，用户经常面临“找数难”、“取数难”、“用数难”的问题, 因此运维数据中台孕育而出, 做到对数据资产统一管理，做到数据资产的安全、可见、可靠、可用和可运营，这也是对AIops的一个探索，作为AIops的数据底座，为AIops模型训练提供运维数据来源，实现AIops的异常检测、根因分析、故障自愈等
技术栈: java1.8, go1.17, 维度建模, mysql5.7, redis, grafana, 分布式系统, python3.8, Django1.12.11,飞书小程序，flink1.12, spark, talos(小米自研消息队列), doris, iceberg, presto, whale(小米自研BI报表平台), k8s, docker, fds(小米自研对象存储), loki，elk，elasticsearch
工作职责:
1.负责对各部门的需求跟踪, 沟通和对接, 确保新需求顺利接入
2.负责项目核心服务的开发, 提供技术解决方案, 跟踪用户场景, 评估数据价值
3.运维数仓建设：负责在数据联接层构建关联关系, 对各主题下的数据维度打通,形成图模型, 多维模型, 标签模型, 指标模型, 算法模型等各种数据模型, 并用One-Service提供提稳定, 可靠的对外api
数据域建设：
（1）服务域建设: 打通从data-switch->talos topic1->flink->talos topic2 -> flink sql的数据清洗链路,实现garm系统的清洗,设计基础变更系统表结构,为基础变更大屏的基础设施变更层的变更数据做支撑,实现实时数仓
（2）成本域建设: 用spark把资源与成本中心的成本数仓合并到运维数仓, 实现离线数仓
（3）容器域建设: 对接容器平台, 将容器数据同步到数仓, 并用whale对容器资源制作报表展示进行olap分析
4.Data-Switch服务：运维数据中台自研ETL框架。负责项目的总体架构设计, 以及任务调度, 任务状态系统, 任务编排, 定时同步, 状态监控, 数据清洗, 任务面板等核心功能的开发, 使该框架拥有了秀的海量数据处理能力, Data-Switch是运维数据中台统一数仓层的分布式系统项目, 将源系统数据通过etl同步到ods层, dim层和dwd层,并对源数据做一些标准化处理，输出一篇专利《一种基于分布式技术的API动态流式ETL方法与装置》
5.One-Service服务：运维数据中台对外统一出口。1.负责SQL解析引擎的开发, 将DSL通过词法分析与语法分析解析成go结构体，并将结构体调度到elasticsearch和druid以及falcon，2.负责服务全链路建设，打通One-Service->midun->mife-alb->httpd
->grafana的全链路, 通过类SQL查询对接入层网络拓扑实时查询和分析，为grafana官方提交一个issue，修复graphX前端问题，目前已经合并到官方分支
6.日志系统：MIFE海量日志系统。负责项目架构调研与设计, 每日全机房数据量600TB/day, 时延Latentcy 40s, QPS 1000w/s，前期架构使用es+druid on grafana + fds方式进行工作, 后期等loki支持etl之后改成 loki on grafana + fds， topic日志分流功能开发
7.SRERobot：运维数据中台智能机器人。SRERobot是运维数据中台对外的服务组件之一, 在小米办公中通过用户输入指令的方式来实时查询数仓的数据以及封装一些工作中一些日常操作,例如查询域名,主机,lvs,oncall,job,norns信息, 群组操作,域名续费操作,通知管理,主机权限授权,故障录入等

NPM网络性能管理平台
字节跳动全系产品（tiktok、抖音、西瓜、头条、飞书等）需要做网络调优工作，但是由于网络调优配置复杂，配置参数理解成本高，业务需求当前只能网络BP同学人工配置，所以希望通过一个平台能够沉淀网络调优能力提供给用户自主操作，减少网络BP团队重复性工作，NPM致力于提供一站式端到端高性能网络解决方案，主要功能包括网络洞察，策略中心，网络模拟，协议解析
技术栈: go1.18,DDD,ebpf,kitex,hertz,mysql,redis,bmq,hive,spark,clickhouse,flink
工作职责:
1.网络洞察服务：负责核心功能的开发包括网络监

案例展示

运维数据中台

运维数据中台小米公司当前存在数十个运维相关的系统，这些系统生产的数据缺乏统一的管理，没有一个全局数据中心，对数据进行资产化，用户经常面临“找数难”、“取数难”、“用数难”的问题, 因此运维数据中台孕育而出, 做到对数据资产统一管理，做到数据资产的安全、可见、可靠、可用和可运营
NPM网络性能管理平台

字节跳动全系产品（tiktok、抖音、西瓜、头条、飞书等）需要做网络调优工作，但是由于网络调优配置复杂，配置参数理解成本高，业务需求当前只能网络BP同学人工配置，所以希望通过一个平台能够沉淀网络调优能力提供给用户自主操作，减少网络BP团队重复性工作，NPM致力于提供一站式端到端高