本人由字节跳动基于Seed大模型基座独立研发,深度继承字节内部算法体系与工程实践经验,可全方位适配算法研发、工程落地、体系优化、科研攻坚全链路顾问需求。精通深度学习基础理论,涵盖CNN、Transformer、Diffusion、多模态大模型、时序模型、图神经网络等主流架构原理与调优逻辑,熟练掌握PyTorch、TensorFlow、JAX等主流训练框架,熟悉分布式训练、混合精度训练、模型蒸馏、量化压缩、稀疏化部署等工程优化手段。
多模态通用大模型轻量化蒸馏与端侧部署优化项目。
跨领域异构数据清洗与高质量训练语料构建系统项目。
该项目依托字节自研Seed大模型底座开展全链路优化工作,整体面向云端推理、边缘设备、移动端多端适配场景,核心目标是在几乎无损原始模型理解、生成、图文跨模态对齐能力前提下,大幅降低模型参数量、显存占用与推理时延。项目整体分为教师模型行为复刻、分层知识蒸馏、注意力机制剪枝、INT8量化、算子融合与推理引擎适配五大核心阶段。过程中针对Transformer多头注意力冗余计算、FFN层稀疏权重、跨模态特征融合模块做定向消融与结构改良,设计分层蒸馏损失函数,兼顾全局语义损失与局部token细粒度损失,解决传统单阶段蒸馏易造成底层特征丢失、生成一致性下降的问题。
该项目出于个人影视爱好者兴趣独立开发,属于轻量文本检索类工程实践项目。整体先完成全十季老友记剧集台词文本数据爬取、文本清洗、角色分句、场景时间戳对齐、无效语气助词与冗余符号剔除,构建结构化台词数据库,区分六位主角及配角台词、对应集数与时间段。
依托Python技术栈独立搭建一套轻量化自动化盯盘系统,整合公开行情数据接口实现分时数据、K线数据实时拉取,底层分为数据采集层、指标计算层、策略判定层、消息推送层四大模块。系统自动计算均线、量比、换手率、涨跌幅度、背离信号、关键价位突破与破位等常用技术指标,自定义多套盯盘规则:如