奶茶Julie
后端工程师 · 3年经验 · 平安产险
0
累计接单
0
用户评价
0
被收藏
技术能力
领域：搜索引擎、推荐系统、智能问答、大模型
语言：精通python、了解scala
--常用框架：
建模：pytorch/deepspeed/peft/pyMC3/sklearn/spark ml
数据处理：dask/vaex/pandas/pyspark
矩阵分析：cupy/numpy
图数据处理：spark graphx/neo4j algo
算法工程化：vllm/kafka/fastAPI/flask/Django/streamlit/gradio
算法加速：optimum/GPTQ/flash attention/vllm/xformers
数据库：mysql/hive/pg/mongo/neo4j
个人实验：sympy/Autograd/jax
--常用算法：
DL: CNN、RNN(LSTM/GRU)、Attention/transformer
ML: LSA/PLAS/LDA、fasttext/word2vector、CRF
LM：BERT/ALBERT/simcse/robert/T5/GPT/llama/bloom/GLM
rank：lambdaRank/ListNet
CTR: LR/FM/FFM/D&W/DeepFM
xgboost/lightgbm/catboost
语言：精通python、了解scala
--常用框架：
建模：pytorch/deepspeed/peft/pyMC3/sklearn/spark ml
数据处理：dask/vaex/pandas/pyspark
矩阵分析：cupy/numpy
图数据处理：spark graphx/neo4j algo
算法工程化：vllm/kafka/fastAPI/flask/Django/streamlit/gradio
算法加速：optimum/GPTQ/flash attention/vllm/xformers
数据库：mysql/hive/pg/mongo/neo4j
个人实验：sympy/Autograd/jax
--常用算法：
DL: CNN、RNN(LSTM/GRU)、Attention/transformer
ML: LSA/PLAS/LDA、fasttext/word2vector、CRF
LM：BERT/ALBERT/simcse/robert/T5/GPT/llama/bloom/GLM
rank：lambdaRank/ListNet
CTR: LR/FM/FFM/D&W/DeepFM
xgboost/lightgbm/catboost
项目经验
【自研大模型】
模型迭代预训练：
1. 一期：足量训练deepspeed+megatron，llama 7B-65B、bloom 7B
2. 二期：训练加速：flash attention triton 适应attention mask && alibi attention bias
3. 三期：采样优化：样本学科分类、模型弱势学科分析
多任务微调SFT：
1. 一期：deepspeed，包含收集的分任务语料以及克隆数据
2. 二期：采样优化，分析任务转移矩阵，根据下游任务决定采样
下游应用：协作客户端群聊摘要，LoRA+deepspeed，时间段抽取+总结（可主题筛选）
应用部署：合并权重，利用ray/vllm分布式部署
【智能问答中台】
算法研发
--检索式：
召回：BM25/fasttext/simcse
排序：bert cls (Interaction)
--任务型：
话题识别：与检索式相同
会话记忆：打断话题进行记忆，完成一个话题进行遗忘
会话管理：利用有向无环图数据结构管理
--知识图谱：
实体识别：bert+CRF
实体链接：fasttext
意图识别：与检索式相同
--文档问答：
段落分割：segmentation
文本向量化：M3E
数据库：ES、Milvus
长度延申：Interpolation
模型迭代预训练：
1. 一期：足量训练deepspeed+megatron，llama 7B-65B、bloom 7B
2. 二期：训练加速：flash attention triton 适应attention mask && alibi attention bias
3. 三期：采样优化：样本学科分类、模型弱势学科分析
多任务微调SFT：
1. 一期：deepspeed，包含收集的分任务语料以及克隆数据
2. 二期：采样优化，分析任务转移矩阵，根据下游任务决定采样
下游应用：协作客户端群聊摘要，LoRA+deepspeed，时间段抽取+总结（可主题筛选）
应用部署：合并权重，利用ray/vllm分布式部署
【智能问答中台】
算法研发
--检索式：
召回：BM25/fasttext/simcse
排序：bert cls (Interaction)
--任务型：
话题识别：与检索式相同
会话记忆：打断话题进行记忆，完成一个话题进行遗忘
会话管理：利用有向无环图数据结构管理
--知识图谱：
实体识别：bert+CRF
实体链接：fasttext
意图识别：与检索式相同
--文档问答：
段落分割：segmentation
文本向量化：M3E
数据库：ES、Milvus
长度延申：Interpolation
立即沟通
