Python开发项目描述:
VIP客户需要开发一款在线网购商城平台。该商城是一家以黄酒为主附加绍兴特色小食品的综合性网络销售平台,主要包括前端 商品商城系统、后端管理系统。前端包括:首页、商品搜索页、商品详情页、注册&登陆、购物车页面、订单页面、支付页面、帮助中心等;后端包括:会员管理、商品分类管理、商品管理、订单管理等。
责任描述:
1.负责参与项目的需求分析、功能代码模块实现,编写设计文档。
2.根据项目的需求分析设计商品分类信息、商品信息和用户信息数据model。
3.商品的分类管理,实现商品的多级分类,以及动态的增加和删改。
4.商品信息管理,实现新商品录入,和商品上下架管理。
5.个人信息管理,实现用户基本信息,个人订单信息,收获地址信息的管理。
6.使用uWSGI + Nginx将项目部署到服务器上。
Python爬虫项目描述:
因客户需要大量体育类新闻数据,所以根据公司需求,对虎扑上的体育类新闻内容以及新闻素材、新闻时间、新闻来源数据进行采集,制定定时任务,固定时间采集最新新闻,并对数据进行筛选和去重。
责任描述:
1.负责分析其网页结构以及参数验证机制,制定爬取策略。
2.负责使用 Scrap框架编写爬虫,对每天的新闻内容,时间,来源数据进行采集。
3.负责使用Redis部署分布式爬虫任务,充分利用服务器资源,提高爬取效率。
4.负责使用 BloomFilter做去重工作,优化去重任务,提高空间利用率。
5.负责编写she脚本,定时开启爬虫任务。 6.负责爬虫项目的维护和优化。