多线程网页爬虫

企业服务 数据服务 案例ID:136684
大dua
2 年经验· 北京掌上先机网络科技有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

1.读取excel文件中的公司名称,通过网页搜索找到对应的url.
2.以多线程(线程池)完成下载及压缩保存功能,完成解压,解析,保存json文件,保存至数据库功能.
3.使用mysql做为数据持久化载体,使用jdbc完成数据操作
4.程序打成jar包(配置与jar分离),以console方式运行

多线程网页爬虫

企业服务 · 数据服务 案例ID:136684
联系该工程师
微信扫码,建群沟通
作者: 大dua - 2年经验- 北京掌上先机网络科技有限公司

案例介绍

1.读取excel文件中的公司名称,通过网页搜索找到对应的url.
2.以多线程(线程池)完成下载及压缩保存功能,完成解压,解析,保存json文件,保存至数据库功能.
3.使用mysql做为数据持久化载体,使用jdbc完成数据操作
4.程序打成jar包(配置与jar分离),以console方式运行

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×