项目经验 1:企业工商信息批量采集与结构化系统 项目背景:为某金融风控公司采集全国企业工商信息(注册资本、经营范围、失信记录等),用于企业信用评估模型训练。 技术实现: 多源采集:爬取天眼查、企查查等平台,通过BeautifulSoup解析静态 HTML 页面,对动态加载的 “变更记录” 等内容,用Chrome DevTools分析 AJAX 接口,直接请求 JSON 数据。 反爬策略:针对平台的 IP 封禁机制,搭建自建代理集群(100 + 云服务器节点),通过Redis实现代理存活检测与权重调度(优先使用响应时间 < 200ms 的节点)。 数据结构化:设计统一数据模型(2...
小微书 项目介绍: 2025年03月 小微书是一个尝试模仿小红书的应用,包含有帖子,点赞,评论,收藏,聊天,榜单等基本功能,项目采用微服务架构,并且对高并发,高可 用,高性能进行全方位思考和实践,并且接入日志监控和链路追踪。 主要工作内容: 项目采用微服务架构,支持帖子发布、评论、聊天、收藏、点赞等社交功能 编写用户登录、发帖、点赞等核心业务逻辑,使用 Gin + Gorm 实现接口开发与数据库操作 集成基于 Redis + Lua 脚本的滑动窗口限流方案,用于控制接口访问频率;并通过调研限流算法深入理解滑动窗口机制,提高系统抗压能 力 编写 Dockerfile...
小微书 项目介绍: 2025年03月 小微书是一个尝试模仿小红书的应用,包含有帖子,点赞,评论,收藏,聊天,榜单等基本功能,项目采用微服务架构,并且对高并发,高可 用,高性能进行全方位思考和实践,并且接入日志监控和链路追踪。 主要工作内容: 项目采用微服务架构,支持帖子发布、评论、聊天、收藏、点赞等社交功能 编写用户登录、发帖、点赞等核心业务逻辑,使用 Gin + Gorm 实现接口开发与数据库操作 集成基于 Redis + Lua 脚本的滑动窗口限流方案,用于控制接口访问频率;并通过调研限流算法深入理解滑动窗口机制,提高系统抗压能 力 编写 Dockerfile...
一款直播应用程序,主打连麦、PK交友与兴趣社交,通过虚拟社交场景提升用户表达真实性。 1. 采用RTMP/HTTP-FLV 协议结合腾讯云直播SDK,实现端到端平均延迟<800ms的超低延迟直播,支持千万级并发观看。 2. 支持主播与观众连麦时的实时画面切换,通过腾讯云实时混流技术动态调整布局,连麦接入时间<2秒,实现美颜滤镜及贵族等级联动动画。 3. 集成弹幕系统、评论互动、分享功能(微信/QQ)。...