Python爬虫自动化采集知网文献数据

项目是基于 Python + Selenium 的动态网页数据采集工具，专门用于自动化提取学术文献数据。支持在高级检索页面自定义搜索关键词、切换检索字段（如主题、篇名、全文），并能实现自动翻页抓取（且支持一键存入 MySQL 数据库）
我扮演的角色：网页元素定位与交互：利用 WebDriverWait 显式等待解决异步加载难题，通过 CSS 选择器与 XPath 精准定位下拉菜单和输入框。

反爬机制突破：配置浏览器 Options 参数，结合 CDP 协议注入 JS 篡改 navigator.webdriver 属性，并采用 random.uniform 随机延时模拟真人操作，成功绕过目标网站检测。

数据清洗与容错：使用 try-except 捕获解析异常，利用 pandas 对数据进行去空格清洗，确保长时间运行稳定不崩溃。