开源情报大数据平台
联系该工程师
微信扫码，建群沟通
案例介绍
该产品通过对海量信息的采集、处理与解释，分析特定技术领域的发展现状和未来发展方向，为科技政策决策者提供咨询参考。
-主要使用python的requests库，开发各数据源的爬虫以及爬虫API，其中遇到了各种反爬问题，例如ip封锁，账号限制等等，都使用了相应的反爬手段解决问题。
-负责设计、开发大数据源搜索功能，将30+数据源搜索规整到一个搜索入口。
-开发搜索引擎接口，集合elasticsearch数据库，redis缓存数据库，提升搜索效率。
案例图片
1小时精推人才
需求方专属客服，免费梳理匹配
扫码加微信 · 客服人工对接
