案例介绍
项目描述 : 对D音的全方位的数据的挖掘，主要包括人物、视频、话题、音乐、商品、直播（弹幕、基础数据、大赏、 福袋、广告）等单日数据突破20亿以上。更新百万量级采用的是python协程分布式获取，千万量级采用的golang高并发采 集。队列系统采用的是SSDB、pika、redis进行去重和设计，数据统一放到kafka进行，大数据进行处理。日常也会协助大 数据开发进行处理 所有爬虫服务统一放到docker里面，结合rancher对docker进行监控 技术架构：Python + Golang + spark 数据库： ES、kafka、mysql、redis、mongodb、oss、ssdb、pika、clickhouse、adb-mysql、polarDB WEB服务：golang Gin框架 + python flask框架 + java spring boot API服务 + PHP swoft框架 I P服务：拨号搭建IP服务
案例图片
相似案例推荐
其他人才的相似案例推荐
-
车险理赔
1、该项目主要是简化理赔流程与索赔手续，推行小额快速理赔。方
-
灵西后台程序
灵西后台管理系统基于经典技术组合（Spring Boot、A
-
会议室预定管理系统
责任描述：设计、实现系统整体页面，使用HTML，CSS，JS
-
信号机管理
信控管理 包括配置项（灯组，相位，配时，调度等配置），实时
-
webservices接口压力测试
用Soapui对终端安全系统的webservices接口进行
-
统一监控运维(安卓、ios)
1.系统主要实现监控、地图、路线规划、报警、报表、工单、知识
-
自动化测试平台
本人负责后端以及对应工具开发 支持功能：用例管理、用例自动
-
检察院三维集控平台
项目周期：6-10 个月 担任角色：开发工程师、项目经理
-
VT320燃气报警控制器
燃气报警控制器，采用LPC1788作为主控芯片，800*48
-
长沙烟草温湿度管理系统
该项目采用三层架构和MVC结合开发，前端使用css+Java
-
ACE游戏安全专家
在IEG业务安全部，担任产品经理，主要负责游戏安全业务的To
-
ACE游戏安全专家国际站
在IEG业务安全部，担任产品经理，主要负责游戏安全业务的To
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
