抖查数据
案例介绍
抖查数据
案例介绍
项目描述 : 对D音的全方位的数据的挖掘，主要包括人物、视频、话题、音乐、商品、直播（弹幕、基础数据、大赏、 福袋、广告）等单日数据突破20亿以上。更新百万量级采用的是python协程分布式获取，千万量级采用的golang高并发采 集。队列系统采用的是SSDB、pika、redis进行去重和设计，数据统一放到kafka进行，大数据进行处理。日常也会协助大 数据开发进行处理 所有爬虫服务统一放到docker里面，结合rancher对docker进行监控 技术架构：Python + Golang + spark 数据库： ES、kafka、mysql、redis、mongodb、oss、ssdb、pika、clickhouse、adb-mysql、polarDB WEB服务：golang Gin框架 + python flask框架 + java spring boot API服务 + PHP swoft框架 I P服务：拨号搭建IP服务
案例图片
相似案例推荐
-
车险理赔
1、该项目主要是简化理赔流程与索赔手续，推行小额快速理赔。方
-
灵西后台程序
灵西后台管理系统基于经典技术组合（Spring Boot、A
-
会议室预定管理系统
责任描述：设计、实现系统整体页面，使用HTML，CSS，JS
-
信号机管理
信控管理 包括配置项（灯组，相位，配时，调度等配置），实时
-
webservices接口压力测试
用Soapui对终端安全系统的webservices接口进行
-
统一监控运维(安卓、ios)
1.系统主要实现监控、地图、路线规划、报警、报表、工单、知识
1小时精推人才
需求方专属客服，免费梳理匹配
