laity的案例列表

作者：laity · 共 2 个案例

拼多多数据采集

企业服务数据服务 laity

通过拼多多网页版点击网页商品信息,抓取网站实时发送的http包,通过模拟发包的方式获取商品信息(包括商品价格、商品库存) 聪儿筛选出指定的商品

企业服务数据服务 laity

100多亿的数据存储与检索.对于大数据使用clickhouse可以大大加开页面的查询效率,ceph分布式文件系统可以存储大量资源文件,并且易迁移,针对大数据存储性能比minio要好

通过拼多多网页版点击网页商品信息,抓取网站实时发送的http包,通过模拟发包的方式获取商品信息(包括商品价格、商品库存) 聪儿筛选出指定的商品...

100多亿的数据存储与检索.对于大数据使用clickhouse可以大大加开页面的查询效率,ceph分布式文件系统可以存储大量资源文件,并且易迁移,针对大数据存储性能比minio要好...