Adrian的案例列表

爬虫监控分布式系统

企业服务-数据服务 Adrian

本项目在 Celery 分布式爬虫的基础上构建监控方案 Demo,在编写 Statsd + InfluxDB 方案代码进行调研过程中,转向了 Prometheus 的怀抱 ,使用 Grafana 对监控序列进行可视化,爬虫部分完成对下载和解析进行简单解耦 ...

爬虫监控分布式系统
爬虫监控分布式系统

NLP自然语言处理论文复现

人工智能-其他 Adrian

使用tensorflow复现抽取式摘要论文 熟悉NLP深度学习的各个任务下的主流模型 熟悉深度学习框架的使用 包括keras,pytorch,tensorflow 和常见的自然语言处理包 包括gensim,sklearn等 和常见数据分析包 包括pandas,numpy等 主要技能:关键词挖掘,文本分类,命名实体识别,文本摘要,语义等价问题 ...

NLP自然语言处理论文复现
NLP自然语言处理论文复现
NLP自然语言处理论文复现

虚假新闻挑战赛top分享

人工智能-其他 Adrian

智源&计算所虚假新闻挑战赛的task1 False News Text Detection 初赛成绩 top-4,复赛成绩 top-12 模型无特别之处,直接用的LM base (roBERTa 和 XLNet),科大讯飞训练的版本 用large的batchsize太小效果不如base,机器好的请忽略 在保证截断长度能覆盖大部分数据的情况下,batchsize越大越好,这里截断长度192,batchsize24,差不多11G显存跑满 大部分模型evaluate的情况都是FN比FP要高几倍,投票策略单纯五五开的话效果不理想(10折单模初赛线上只有0.89左右) ...

虚假新闻挑战赛top分享
虚假新闻挑战赛top分享
------ 加载完毕 ------
联系聘用方端客服