文档爬虫

金融 理财 案例ID：125657
断流水
4 年经验· 广州锐格科技信息有限公司
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

批量的解析txt文档,从中提取有价值的字段信息,找出每行数据关联的资源下载链接,
解决方案一 同步下载资源, 每行数据等待相关下载资源完成后再将保存文件的本地路径与数据行同步到数据库.
解决方案二 异步下载资源, 由于下载资源所需要的时间跟向数据库中插入一条链接的所需的时间严重不成正比, 所以先保存数据字段, 再开启多线程从数据库中读取下载链接异步下载
涉及技术点httpClentPool,sqlserver数据库,dbcp(sqlConnectionPool ),ThreadPool, bat脚本,Tika文件类型检查. 开发用时四天, 长期维护, 未使用框架的情况下程序压缩包只有5.*m, 小巧玲珑,性能优异

案例图片

共 4 张
文档爬虫 文档爬虫 文档爬虫 文档爬虫
查看该工程师的更多案例 >

相似案例推荐

爬虫平台，大数据平台
爬虫平台，大数据平台
There is a problem with this w
珞狮金融管理系统
珞狮金融管理系统
该项目是一个P2P 金融类项目，通过移动互联网使用率最高的微
惠兼职APP
惠兼职APP
1、惠兼职app，是一款网赚兼职类型的APP，用户可在app
柒乐俱乐部
柒乐俱乐部
h5+公众号项目（类似期货网站）； 前台：登录、注册、二维
国王金融
国王金融
网站项目（对接期货公司接口，处理用户的注册以及资金出入）
乌当农商银行
乌当农商银行
1、是一款银行APP，主要内容有用户使用手机号进行注册，注册

文档爬虫

金融 · 理财 案例ID：125657
联系该工程师
微信扫码，建群沟通
作者： 断流水 - 4年经验- 广州锐格科技信息有限公司

案例介绍

批量的解析txt文档,从中提取有价值的字段信息,找出每行数据关联的资源下载链接,
解决方案一 同步下载资源, 每行数据等待相关下载资源完成后再将保存文件的本地路径与数据行同步到数据库.
解决方案二 异步下载资源, 由于下载资源所需要的时间跟向数据库中插入一条链接的所需的时间严重不成正比, 所以先保存数据字段, 再开启多线程从数据库中读取下载链接异步下载
涉及技术点httpClentPool,sqlserver数据库,dbcp(sqlConnectionPool ),ThreadPool, bat脚本,Tika文件类型检查. 开发用时四天, 长期维护, 未使用框架的情况下程序压缩包只有5.*m, 小巧玲珑,性能优异

案例图片

文档爬虫

文档爬虫

文档爬虫

文档爬虫

查看该工程师的更多案例

相似案例推荐

发布任务

企业点击发布任务，工程师会在任务下报名，招聘专员也会在 1 小时内与您联系确认。
点击发布任务

1小时精推人才

需求方专属客服，免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了？客服帮你 1 小时对接沟通 → ×