项目经验 1：企业工商信息批量采集与结构化系统
项目背景：为某金融风控公司采集全国企业工商信息（注册资本、经营范围、失信记录等），用于企业信用评估模型训练。
技术实现：
多源采集：爬取天眼查、企查查等平台，通过BeautifulSoup解析静态 HTML 页面，对动态加载的 “变更记录” 等内容，用Chrome DevTools分析 AJAX 接口，直接请求 JSON 数据。
反爬策略：针对平台的 IP 封禁机制，搭建自建代理集群（100 + 云服务器节点），通过Redis实现代理存活检测与权重调度（优先使用响应时间 < 200ms 的节点）。
数据结构化：设计统一数据模型（20 + 字段），通过正则表达式提取 “注册资本”“成立日期” 等非结构化文本，用pandas处理数据格式转换（如统一日期格式为 YYYY-MM-DD）。
合规处理：严格遵守robots.txt协议，对频繁访问的页面设置 10 秒延迟，避免对目标网站造成服务器压力。
成果：累计采集企业数据 100 万 + 条，字段完整率 96%，数据误差率≤0.5%，为客户的信用评估模型提供了高质量训练数据。
项目经验 2：学术论文文献批量下载爬虫工具
项目背景：为某高校实验室开发文献爬虫，需从 IEEE Xplore、Springer 等平台下载指定关键词的论文 PDF，并提取摘要、作者信息。
技术实现：
身份认证：通过校园网 IP 白名单 + 账号密码登录，用requests.Session()保持会话，自动处理验证码（调用第三方 OCR 接口识别简单图形验证码）。
分页爬取：解析文献列表页的分页参数（如startPage、pageSize），构建循环请求逻辑，支持按 “被引量”“发表时间” 排序筛选。
PDF 处理：使用Selenium模拟点击 “Download PDF” 按钮，将文件保存至本地，并通过PyPDF2提取文本内容，提取关键词（如摘要中的 “machine learning”“algorithm”）。
断点续爬：通过SQLite记录已下载论文的 DOI 号，程序重启后自动跳过已完成任务，避免重复下载。
成果：支持 5 大数据库文献批量下载，单小时可获取 200 + 篇 PDF，帮助实验室节省 80% 的手动检索时间