猿急送>

北京后端兼职程序员

ID：298360

Kawhi 身份已认证

算法工程师

公司信息：
京东

工作经验：
1年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

熟悉c/c++、python，了解Java
熟悉常用算法和数据结构
熟悉机器学习基础算法和自然语言处理基础
熟悉Transformer以及BERT、GPT-2等预训练语言模型的使用
熟悉pytorch框架，了解TensorFlow

项目经验

京东集团-京东零售
算法工程师岗广告架构部-营销技术组
2022年05月 - 2022年09月
完成工作：
行为序列建模：百家计划模型优化，提升AUC指标，从而为广告主精准推送人群包
引入transformer，建模用户浏览过的品牌+三级类目序列，应用于营销云策略算法平台中基于用户行为序列的高转化人群挖
掘策略生产任务
取每个品牌品类对应的graph embedding作为用户行为序列的初始表征，预测高转化人群
复现经典CTR预估模型DIN，引入用户画像特征和加购特征，设计单序列和双序列两种方式，与基准GRU对比，多case实验中
auc指标获得大幅提升
基于消耗占比和ROI观察跟进百家计划周客户投放情况表现
候选人群挖掘：
技术栈：spark，hadoop
数据重复计算check功能测试，已上线
在多case上测试，基于类目、转化率排序、转化率和转化人数相乘排序、转化率排序+转化人数排序、graph embedding相
似度等方案获取前序品牌品类，计算前序品牌品类到目标品牌品类的转化人数和转化率，进行候选人群方案分析与优化
国家科技资源共享服务工程技术研究中心
开发工程师仪器平台部
2021年03月 - 2021年06月
完成工作：
参与科研仪器服务管理平台部分功能的前后端开发工作：包括“项目委托记录”模块的前后端设计，实现仪器管理员对用户委托
记录的新增，删除，修改等
在“用户综合管理”模块新增删除用户功能，实现非物理删除

研究方向
面向结构化数据的逻辑文本生成算法的研究与实现
研究内容：面向结构化数据的逻辑文本生成是指根据结构化表格数据推理生成流畅且逻辑正确的文本
研究方案：
基于数据增强的面向结构化数据的逻辑文本生成模型numericGPT-TabGen：构造数值数据集numericNLG，囊括6大类数值运
算操作，通过在该数据集上的预训练，为预训练语言模型GPT-2注入数值推理能力，而后在面向结构化数据的逻辑文本生成任务
上进一步微调
基于推理感知预训练的面向结构化数据的逻辑文本生成模型reasonGPT-TabGen：提出一项数值预测的预训练任务，即通过掩
盖例句中的数字并和表格内容一起输入到GPT-2模型中，期望模型正确预测被掩盖的数字并输出标准的例句
引入轻量化微调技术，减少模型训练参数量，降低存储开销，提出两阶段的前缀优化（prefix-tuning）的解决方案
采用基于Python的Web应用框架Django进行可视化系统的开发，实现模型的部署
实验结果：
numericGPT-TabGen模型在机器评估指标和人工评估指标中均优于基线模型，表面级评估结果BLEU-1 10.7% ↑，BLEU-2
19.6% ↑，BLEU-3 54.9% ↑，逻辑保真度指标NLI-Acc得分提升0.8%
reasonGPT-TabGen模型表现效果进一步优于numericGPT-TabGen，逻辑保真度指标SP-Acc提升1.8%，NLI-Acc得分则获
得了82.3的高分表现，提升7.0%
前缀优化方式下保存的模型大小仅为fine-tuning下的7.25%，约为99.5MB，且取得了相当的实验效果

案例展示

面向结构化数据的逻辑文本生成展示系统

本文采用工业界广泛使用的基于 Python 的 Web 应用框架 Django 进行可视化系统的开发。之所以选用 Django 进行开发，是因为它不仅具有应用较为广泛、技术成熟、开发速度快，易于维护的优点，同时能和基于 Python 的 Pytorch 深度学习相关的代
面向结构化数据的逻辑文本生成

本节详细介绍了推理感知预训练方法以及预训练的模型结构，并设计提出了针对预训练任务的数字掩盖算法。之后介绍了预训练阶段的模型结构和损失函数，最后在应用到本文研究任务即结构化数据到逻辑文本生成时提出了两阶段 Prefix-tuning 的方案，大大减少训练的参数量以及模型