py爬取双色球遗漏数据并入库MySQL

项目是一个基于 Python + Requests + lxml 的数据采集与入库脚本，专门用于自动化抓取彩票网站双色球红球的历史遗漏数据。支持自动解析复杂的 HTML 表格，提取红球号码、出现次数、理论出现次数、出现频率、平均遗漏、最大遗漏等11个核心字段，并在数据清洗后批量存入 MySQL 数据库

我扮演的角色：
网页请求与解析：使用 requests 发送请求，通过 apparent_encoding 自动解决网页中文乱码问题；利用 lxml 的 XPath 精准定位表格节点，并添加 len(tds) >= 11 的逻辑判断，防止空行导致程序崩溃。

数据清洗与转换：编写了安全的 safe_int 和 safe_float 转换函数，特别处理了网页数据中带有百分号（如 12.3%）和空值的非规范数据，确保入库数据格式准确无误。

数据库设计与持久化：设计了 MySQL 表结构（含字段类型、注释、更新时间戳），使用 pymysql 建立连接，并通过 executemany 实现批量插入，大幅提升了写入性能。加入了 try-except 和 db.rollback() 回滚机制，保证数据写入的稳定性。