抖音直播弹幕爬虫

项目总价 500元
预估日薪 500/天
合作方式: 项目制
预估工时: 1天
发布位置: 远程
参与范围: 全国远程
欧阳枫落
欧阳枫落
职位ID: 154157复制

发布方信用行为

发布项目
3
订单总数
2
退款单数

需求描述

要求:语言python web接口框架fastapi 爬虫尽量使用异步爬虫和节省性能消耗方案,如果业务上只能使用非异步那么使用非异步爬虫,保证可以在linux服务器上运行,我会提供相应服务器
功能说明:
http调用该接口,创建两个文件基于时间戳+用户id+直播间id命名的excel文件,一个用于存储弹幕,一个用于存储用户信息,返回路径,后台建立一个采集进程/线程/协程(采集完要关闭),实时采集弹幕和用户信息,写入excel文件
弹幕excel列名:用户id,弹幕内容,弹幕时间
用户excel列名:用户id,用户昵称,年龄等(当前能看到的信息所有)
用户excel要保证非重复,即写入前进行判重,如果重复则不写入
接口说明:
接口名称: /get_douyin_danmu
请求方式: post
请求参数 :
{
"url":"抖音直播间链接",
"user_id":"用户id,开发阶段为0",
}
返回参数:
{
"code": 200,
"data": {
"room_id": "680980",
"room_name": "抖音直播间",
"danmu_path":"弹幕excel路径",
"users_path":"用户excel路径"
}

抖音直播弹幕爬虫

合作方式 项目制
预估日薪 500
预估总价 500元
预估工时 1天
发布位置 远程
可参与范围 全国远程
职位ID 154157复制

需求描述

要求:语言python web接口框架fastapi 爬虫尽量使用异步爬虫和节省性能消耗方案,如果业务上只能使用非异步那么使用非异步爬虫,保证可以在linux服务器上运行,我会提供相应服务器
功能说明:
http调用该接口,创建两个文件基于时间戳+用户id+直播间id命名的excel文件,一个用于存储弹幕,一个用于存储用户信息,返回路径,后台建立一个采集进程/线程/协程(采集完要关闭),实时采集弹幕和用户信息,写入excel文件
弹幕excel列名:用户id,弹幕内容,弹幕时间
用户excel列名:用户id,用户昵称,年龄等(当前能看到的信息所有)
用户excel要保证非重复,即写入前进行判重,如果重复则不写入
接口说明:
接口名称: /get_douyin_danmu
请求方式: post
请求参数 :
{
"url":"抖音直播间链接",
"user_id":"用户id,开发阶段为0",
}
返回参数:
{
"code": 200,
"data": {
"room_id": "680980",
"room_name": "抖音直播间",
"danmu_path":"弹幕excel路径",
"users_path":"用户excel路径"
}

发布方信用行为

发布项目 4
订单总数 3
退款单数 2

完善简历

工程师完善技术能力和项目经验,更易接到订单

完善人才简历

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。
该职位已结束,当前不可继续投递。
已完成