抖查查
案例介绍
抖查查
案例介绍
项目描述 : 对D音的全方位的数据的挖掘，主要包括人物、视频、话题、音乐、商品、直播（弹幕、基础数据、大赏、 福袋、广告）等单日数据突破20亿以上。更新百万量级采用的是python协程分布式获取，千万量级采用的golang高并发采 集。队列系统采用的是SSDB、pika、redis进行去重和设计，数据统一放到kafka进行，大数据进行处理。日常也会协助大 数据开发进行处理 所有爬虫服务统一放到docker里面，结合rancher对docker进行监控 技术架构：Python + Golang + spark 数据库： ES、kafka、mysql、redis、mongodb、oss、ssdb、pika、clickhouse、adb-mysql、polarDB WEB服务：golang Gin框架 + python flask框架 + java spring boot API服务 + PHP swoft框架 I P服务：拨号搭建IP服务
案例图片
相似案例推荐
-
数字化运营管理系统
数字化运营管理系统是以营业厅为立足点，从人、设备、环境三方面
-
MES系统
一、项目管理系统 系统使用springboot后台框架，v
-
爬虫
精通爬虫，js逆向，可以写接口，精通爬虫，js逆向，可以写接
-
学生综合素质评价管理小程序
负责小程序的开发 记录学生在校成长发展过程中的日常表现，随看
-
课题管理后台
基于jeeplue开发的管理后台开发 在项目中负责前端功能实
-
换流站数字孪生二次回路系统
项目介绍：具备二次光纤链路运行状态的三维化展示（逻辑联系关系
1小时精推人才
需求方专属客服，免费梳理匹配
