案例介绍
此项目是2018年年底公司做批发的一个需求，需要在自己的商城爬取数据源，主要爬取的站点是”51go“、”广州搜款“、”参茸汇“，爬取的内容有商品售价、图片、标题、销量、库存、属性、详情、店铺信息等商品相关信息；我主要负责整个项目的规划推进和解决技术难点，由于前期开发资源有限，故将爬虫和商城的商品模块业务逻辑耦合一起，录入mysql库，使爬取回来的数据可以直接展示在自营商城，后期公司有了开发资源，我推进了项目解耦，python工程师将爬取回来的数据按照指定的json格式存入kafka队列，php处理商品模块业务逻辑，使用脚本消费消息；项目用到的技术有Python3.6、python-scrpay框架、xpath、mysql、oss存储、kafka。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
天音移动CBS系统
前端： 主要负责用户登录、工单查询、工单处理、商品管理等页面
-
淘粉吧
主要是商城类App，面向淘宝用户的返利软件。 独立完成改项
-
圣美汇
项目描述：星美国际影城的官方售票平台，综合掌声生活服务平台，
-
基于web的机票管理系统
项目名称：基于web的机票管理系统 本系统使用Ecli
-
云医院
这也是一个购药的网站这也是一个购药的网站这也是一个购药的网站
-
阿康大药房
这个项目是一个购药网站这个项目是一个购药网站这个项目是一个购
-
shallchic
主导开发跨境电商商城https://m.shallchic.
-
shallchic
跨境电商商城https://shallchic.com（服务
-
惠久久
该APP主要是导购，用于领取淘宝、京东、拼多多等第三方购物软
-
酒店订单类结算
因涉及相关结算类真实数据隐私性，故截取几张图已表真实性。
-
酒店结算对账端
同上一个业务一样，此部分业务是给与酒店人员使用的项目，用以酒
-
一加手机官网
主要负责主要负责一加手机海外商城（www.oneplus.c
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
