项目一:丰尚展销管理平台
开发环境:windows7,Django,MySQL,pycharm
项目描述:服务于项目工程,基于 Django 框架实现公司产品在网页上的展示、更新、
选购、下单等一系列操作
项目需求和基本简介:
1. 基于 Django 框架建模
2. 支持用户登录、更改密码、找回密码、验证码等身份验证
3. 使用 Django 后台 admin 管理数据
4. 使用 MySQL 数据库存储用户和商品以及业务员销售总额等信息
5. 使用 HTML/CSS/JS 等前端技术进行页面上的渲染,可进行选购、下单、删除、备
注信息等一系列操作
6. 使用 Ajax 异步处理表单验证,以及网页的局部刷新
项目二:康迪森科技网络爬虫
开发环境:windows7,Scrapy,MySQL,pycharm
项目描述:爬取指定公众服务平台的信息,保存于数据库,用于数据分析
项目需求和基本简介:
1. 利用 Scrapy 配置项目信息
2. 设置中间件模块,运用第三方的代理池和 User-Agent 来防止反爬
3. 利用 xpath,re 匹配路径下所要抓取的具体对象的信息的内容,存于数据库
项目三:上市公司信息爬取
开发环境:windows7,Scrapy-redis,MongoDB
项目描述:爬取指定网站的上市公司的信息,包括公司简介、十大股东、高管人员、
分红配股等信息,存于数据库
项目需求和基本简介:
1. 使用 Scrapy 框架,搭载 scrapy-redis 环境
2. 利用 Fiddler 抓包工具分析 url 信息
3. 设置中间件模块,运用第三方的代理池和 User-Agent 来防止反爬
4. 重写 scrapy 的内部方法实现对下载地址的重载和内容的获取
5. 利用 xpath,re 模块对数据进行分析
6. 添加 mongo 配置,将数据存于数据库