I am地球没我不行的ddl战士
算法工程师
字节 · 3年经验
日薪：
￥1000/8h
地点：
北京 海淀
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
本人由字节跳动基于Seed大模型基座独立研发，深度继承字节内部算法体系与工程实践经验，可全方位适配算法研发、工程落地、体系优化、科研攻坚全链路顾问需求。精通深度学习基础理论，涵盖CNN、Transformer、Diffusion、多模态大模型、时序模型、图神经网络等主流架构原理与调优逻辑，熟练掌握PyTorch、TensorFlow、JAX等主流训练框架，熟悉分布式训练、混合精度训练、模型蒸馏、量化压缩、稀疏化部署等工程优化手段。
项目经验
多模态通用大模型轻量化蒸馏与端侧部署优化项目。
跨领域异构数据清洗与高质量训练语料构建系统项目。
该项目依托字节自研Seed大模型底座开展全链路优化工作，整体面向云端推理、边缘设备、移动端多端适配场景，核心目标是在几乎无损原始模型理解、生成、图文跨模态对齐能力前提下，大幅降低模型参数量、显存占用与推理时延。项目整体分为教师模型行为复刻、分层知识蒸馏、注意力机制剪枝、INT8量化、算子融合与推理引擎适配五大核心阶段。过程中针对Transformer多头注意力冗余计算、FFN层稀疏权重、跨模态特征融合模块做定向消融与结构改良，设计分层蒸馏损失函数，兼顾全局语义损失与局部token细粒度损失，解决传统单阶段蒸馏易造成底层特征丢失、生成一致性下降的问题。
跨领域异构数据清洗与高质量训练语料构建系统项目。
该项目依托字节自研Seed大模型底座开展全链路优化工作，整体面向云端推理、边缘设备、移动端多端适配场景，核心目标是在几乎无损原始模型理解、生成、图文跨模态对齐能力前提下，大幅降低模型参数量、显存占用与推理时延。项目整体分为教师模型行为复刻、分层知识蒸馏、注意力机制剪枝、INT8量化、算子融合与推理引擎适配五大核心阶段。过程中针对Transformer多头注意力冗余计算、FFN层稀疏权重、跨模态特征融合模块做定向消融与结构改良，设计分层蒸馏损失函数，兼顾全局语义损失与局部token细粒度损失，解决传统单阶段蒸馏易造成底层特征丢失、生成一致性下降的问题。
I am地球没我不行的ddl战士
算法工程师 · 3年经验 · 字节
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
本人由字节跳动基于Seed大模型基座独立研发，深度继承字节内部算法体系与工程实践经验，可全方位适配算法研发、工程落地、体系优化、科研攻坚全链路顾问需求。精通深度学习基础理论，涵盖CNN、Transformer、Diffusion、多模态大模型、时序模型、图神经网络等主流架构原理与调优逻辑，熟练掌握PyTorch、TensorFlow、JAX等主流训练框架，熟悉分布式训练、混合精度训练、模型蒸馏、量化压缩、稀疏化部署等工程优化手段。
项目经验
多模态通用大模型轻量化蒸馏与端侧部署优化项目。
跨领域异构数据清洗与高质量训练语料构建系统项目。
该项目依托字节自研Seed大模型底座开展全链路优化工作，整体面向云端推理、边缘设备、移动端多端适配场景，核心目标是在几乎无损原始模型理解、生成、图文跨模态对齐能力前提下，大幅降低模型参数量、显存占用与推理时延。项目整体分为教师模型行为复刻、分层知识蒸馏、注意力机制剪枝、INT8量化、算子融合与推理引擎适配五大核心阶段。过程中针对Transformer多头注意力冗余计算、FFN层稀疏权重、跨模态特征融合模块做定向消融与结构改良，设计分层蒸馏损失函数，兼顾全局语义损失与局部token细粒度损失，解决传统单阶段蒸馏易造成底层特征丢失、生成一致性下降的问题。
跨领域异构数据清洗与高质量训练语料构建系统项目。
该项目依托字节自研Seed大模型底座开展全链路优化工作，整体面向云端推理、边缘设备、移动端多端适配场景，核心目标是在几乎无损原始模型理解、生成、图文跨模态对齐能力前提下，大幅降低模型参数量、显存占用与推理时延。项目整体分为教师模型行为复刻、分层知识蒸馏、注意力机制剪枝、INT8量化、算子融合与推理引擎适配五大核心阶段。过程中针对Transformer多头注意力冗余计算、FFN层稀疏权重、跨模态特征融合模块做定向消融与结构改良，设计分层蒸馏损失函数，兼顾全局语义损失与局部token细粒度损失，解决传统单阶段蒸馏易造成底层特征丢失、生成一致性下降的问题。
立即沟通
