项目1：
项目名称： 天猫淘宝图片采集小工具（pyqt软件定制）
项目技能：django + mysql + pyqt5 + 微信开放平台 +阿布云代理ip + 2012 window server 服务器等
项目描述：定制一个天猫淘宝的图片采集工具，需要微信扫描登陆和分享的功能，界面需美化并需要展示图片等数据
开发过程：
1.使用pyqt包携带的designer.exe设计pyqt软件的界面，有启动爬虫，登陆，分享等功能
2.客户申请微信开放平台的账号和创建网站app，获得appid等信息，便于之后的登陆功能开发
3.设计和编写爬虫，淘宝详情页的数据可以直接在淘宝网站爬取，买家秀和评论等需要调用99api的接口
4.由于爬取过程中容易被淘宝/天猫网站封ip，所以为了保障爬取的数据的质量而采用了阿布云代理ip
5.爬虫和pyqt界面结合，使用Qthread解决软件界面动态显示数据时卡死问题，美化pyqt界面
6.客户购买服务器，并申请域名，在客户的服务器上配置环境，安装mysql，配置python环境等
7.使用django来写后台，在get请求中携带一个参数区分登陆和分享功能的数信息据处理和存储
8.打包软件，在服务器部署后台，并测试登陆分享等功能及分享功能的权限等，保留充值功能在第二期


项目2：
项目名称： 爱将二期web网站开放（web开发）
项目技能: django +mysql+ elasticsearch + js + css + html + linux服务器 + nginx等
项目描述：爱将网站是关于法律的网站，该网站网页是app版，有英文版和法释版，法律数据是通过爬虫爬取下来的
开发过程：
1.由于爬下来的数据是无规则的，必须先使用后台app的功能去修改爬下来的数据，才能正常在展示app上面展示
2.后台app读取存储在elasticsearch 数据库里的数据，js实现动态增删数据的操作，保存发布按钮的功能实现等
3.修改的数据做上的标记保存到elasticsearch，便于区分已修改和未修改，后台需要用admin账号登录才能访问
4.展示app分为十多个网页，主要有首页，详情页，搜索页，法律版和英文版等，大部分都有加载更多功能
5.加载更多功能使用js的Ajax传参，后台编写elasticsearch 相应的查询语句，并构建相应部分的html
6.在linux服务器部署项目，将debug给为False,启动elasticsearch 和nginx等进程，后期维护


项目3：
项目名称： 美团500万数据爬取 （数据的爬取）
项目技能：Mysql +scrapy + 阿布云代理ip
项目描述：根据16个关键词，爬取全国的店铺信息，并做统计，将出现次数最多的前30个店铺名字在企查查上搜索
开发过程：
1. 根据客户要求，设置mysql数据表的字段，由于数据量较多，需要先分析美团网站网页结构等，便于编写爬虫
2.创建scrapy项目，设置好中间件和管道存储，item等，开始编写爬虫文件
3.现将每个关键词的所有详情页链接给下载下来，分好类，再请求详情页链接，这样便于区别爬过与未爬过的数据
4.Mysql表分有未爬表和已爬表，这样便于中途爬取断开时可以从断开的地方继续爬，不会重复爬取数据
5.请求详情页，获取店铺名，地址，营业时间，联系方式等数据，存入mysql的已爬表，过程需要阿布云代理ip
6.500万左右数据和统计后的数据交给客户


项目4：
项目名称： 亚马逊九个国家监控软件（pyqt软件定制）
项目描述：定制一个能批量导入链接后抓取九个国家数据的软件，要求a&q那些分表保存，并获取最新3页数据
项目技能: pyqt5 + vpn等


项目5：
项目名称： 西瓜视频数据采集小工具（pyqt定制 + 服务器版）
项目描述：定制一个能批量导入链接后抓取各个栏目发布的所有视频，并生成Excel，还要生成今日昨日和播放量差值的Excel