剩闲扒儿扒小说网

文化娱乐在线阅读案例ID：151815

韩志卫

15 年经验· 浙江齐聚科技有限公司/指点无限(北京)科技有限公司

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

网站：用的 springboot、webflux、hibernate、 thymeleaf、mysql。纯响应式编程，以jar的形式发布，用netty作为底层通，没有其它servlet容器。现在有小说3000部，全部章节460万条（每天还在增加），数据库52G（小说内容被压缩gzip格式存储）。我线上的服务器磁盘40G，所以线上数据库中没有小说具体章节内容，只有章节目录。系统再从第三方网站上抓取小说内容。对方服务器限制一个ip在一秒内只能访问1-2次，所以会导致本网站在打开小说具体章节内容时，有延时。本网站在小并发访问时，这个延时体验不明显；但大并非访问时，肯定会受影响。
数据抓取爬虫：编写了一个通用的数据提取工具（通过json配置就可以把业务数据从页面中提取出来）。可以抓各种数据。用到的技术： java 线程池、jdbc 、jsoup 。以jar形式发布运行
手机H5刚开始写，用到了：angularjs、Vue、springboot、webflux、hibernate。
网站中各个列表、推荐等等都可以配置长度，每个列表中具体位置上的小说都可以配置，也可以当做广告位来销售。