知乎心脏用药爬取结果

医疗健康 专业细分服务 案例ID:182671
hugh崔
9 年经验· 黑龙江省建工集团
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

此作品对知乎的心脏用药的相关结果做了一个总结,一共10页,每页20条信息。我是开发者角色,其中我使用selenium的动态网页爬取技术打开知乎网页,然后又使用beautifulsoup进行了页面解析。然后我又使用了前端的vue框架和bootstrap的技术给获取的信息进行了分页处理,在每个详情页又使用了js技术获取下一条或者上一条信息和返回列表功能.
1. 通过webdriver实例化一个浏览器对象【谷歌浏览器】
2.遇到selenium能被知乎识别的反爬问题,使用自己打开的一个浏览器,绕开反爬
再用selenium接管这个浏览器这样就可以完成反爬的处理。
3. 通过urllib模块输入相关问题,然后直接通过selenium,下拉网页到最后
4. 通过beautifulsoup的语法获取相关超链接和标题
5. 通过requests模块向这些超链接发送请求,然后获取返回页面的源码后用xpath语法获取需要的数据,
然后存入mysql数据库
6.建立前端的vue-cli脚手架,通过bootstrap和vue的相关指令生成前端页面
7.通过pdo和数据库连接返回所需的数据,然后和vue框架进行前后端的交互
8.将相关的vue框架和后端的php文件上传到阿里云服务器

知乎心脏用药爬取结果

医疗健康 · 专业细分服务 案例ID:182671
联系该工程师
微信扫码,建群沟通
作者: hugh崔 - 9年经验- 黑龙江省建工集团

案例介绍

此作品对知乎的心脏用药的相关结果做了一个总结,一共10页,每页20条信息。我是开发者角色,其中我使用selenium的动态网页爬取技术打开知乎网页,然后又使用beautifulsoup进行了页面解析。然后我又使用了前端的vue框架和bootstrap的技术给获取的信息进行了分页处理,在每个详情页又使用了js技术获取下一条或者上一条信息和返回列表功能.
1. 通过webdriver实例化一个浏览器对象【谷歌浏览器】
2.遇到selenium能被知乎识别的反爬问题,使用自己打开的一个浏览器,绕开反爬
再用selenium接管这个浏览器这样就可以完成反爬的处理。
3. 通过urllib模块输入相关问题,然后直接通过selenium,下拉网页到最后
4. 通过beautifulsoup的语法获取相关超链接和标题
5. 通过requests模块向这些超链接发送请求,然后获取返回页面的源码后用xpath语法获取需要的数据,
然后存入mysql数据库
6.建立前端的vue-cli脚手架,通过bootstrap和vue的相关指令生成前端页面
7.通过pdo和数据库连接返回所需的数据,然后和vue框架进行前后端的交互
8.将相关的vue框架和后端的php文件上传到阿里云服务器

相似案例推荐

  • 云芯管家

    云芯管家

    我的职责:负责个人中心页面及功能,设备信息页面及功能,sim

  • 3D应用

    3D应用

    负责的角色:前端开发工程师(独立负责) 主要完成项目搭建、

  • trialos

    trialos

    这是帮一个门户网站+产品平台。门户采用ssr做的服务端渲染,

  • 客户管理系统

    客户管理系统

    一、样本数据模块 主要是通过网络或者串口接收仪器端发送过来的

  • 女性健康类工具产品

    女性健康类工具产品

    女性健康类工具,为用户提供生理健康自检、健康报告汇总、生理检

  • devops部署

    devops部署

    1.负责整套流程的搭建和部署。 2.服务部署的高可用。

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×