1 应收应付大数据平台
平台收录用户(个人或者企业)的应收和应付的数据,通过计算得出相应的数据模型,以此模型来解决多个用户之间应收应付的问题。
平台web框架选用ssm,前端使用bootstrap。
数据库使用mysql以及neo4j,mysql负责数据的存储及读取,neo4j负责计算。
后台图表显示基于echart处理。
2 电商网站抓取系统
此项目是针对主流电商的数据抓取,包括京东、淘宝、天猫,以及亚马逊、ebay等国外的电商网站。
按照品类抓取。抓取当前品类下的所有商品的信息,包括商品名、价格、ping评论等。
抓取前后分别用java和python两种语言进行。页面的解析主要通过xpath和正则的方式的处理。
java爬虫系统是可视化配置规则的,不同的网站只需要在可视化页面配置不同的规则即可快速进行爬取。