项目背景 广告投放平台存在刷量、Cloaking 伪装作弊,原有 Java 服务高峰期 CPU 满载,每日千万曝光数据实时校验超时,人工筛查作弊成本高。 技术栈 Go、Redis 集群、MySQL、Canal、Docker、Linux CentOS 落地内容 独立从零开发实时作弊识别微服务;基于 IP、UA、设备指纹多维度风控规则;用 Singleflight 防缓存击穿,Canal 同步业务库数据;编写批量离线数据分析脚本。 项目成果 单实例支撑峰值 QPS1.8w,接口耗时从 120ms 优化至 18ms;作弊拦截率提升 42%,客户广告无效损耗降低 35%;缩减 2 台应用
项目背景 客户需要全平台商品价格监控,原有单机爬虫频繁被风控封禁,每日爬取量不足 2w,数据去重、清洗全靠人工 Excel 处理。 技术栈 Python3.10、Scrapy、Redis 去重池、Proxy 代理池、MySQL、Docker 落地内容 搭建分布式爬虫集群,代理 IP 动态轮换 + 请求指纹反爬;开发自动数据清洗脚本,异常商品自动标记入库;定时任务全量增量抓取。 项目成果 单日抓取量 2w→35w,爬虫存活率 28% 提升至 94%;省去每日 3 小时人工整理,人力成本下降 90%。 配图:爬虫调度后台、数据统计报表
项目背景 广告投放平台存在刷量、Cloaking 伪装作弊,原有 Java 服务高峰期 CPU 满载,每日千万曝光数据实时校验超时,人工筛查作弊成本高。 技术栈 Go、Redis 集群、MySQL、Canal、Docker、Linux CentOS 落地内容 独立从零开发实时作弊识别微服务;基于 IP、UA、设备指纹多维度风控规则;用 Singleflight 防缓存击穿,Canal 同步业务库数据;编写批量离线数据分析脚本。 项目成果 单实例支撑峰值 QPS1.8w,接口耗时从 120ms 优化至 18ms;作弊拦截率提升 42%,客户广告无效损耗降低 35%;缩减 2 台应用...
项目背景 客户需要全平台商品价格监控,原有单机爬虫频繁被风控封禁,每日爬取量不足 2w,数据去重、清洗全靠人工 Excel 处理。 技术栈 Python3.10、Scrapy、Redis 去重池、Proxy 代理池、MySQL、Docker 落地内容 搭建分布式爬虫集群,代理 IP 动态轮换 + 请求指纹反爬;开发自动数据清洗脚本,异常商品自动标记入库;定时任务全量增量抓取。 项目成果 单日抓取量 2w→35w,爬虫存活率 28% 提升至 94%;省去每日 3 小时人工整理,人力成本下降 90%。 配图:爬虫调度后台、数据统计报表...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人