猿急送>

北京其它兼职程序员

ID：271457

leslie

爬虫 web

公司信息：
NOT

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
可工作日驻场（自由职业原因）

所在区域：
北京
海淀

技术能力

1.Python基础扎实，熟悉常用的类库

2.掌握Django、Flask其中任一web框架，两年左右的web开发经验

3.熟悉常用的工具如Redis，Memcached，Mongodb，Mysql，Nginx等的基本原理和使用

4.掌握linux环境下的开发和部署

项目经验

项目名称：分布式爬虫爬取北京市企业信用信息网

项目描述：
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网

项目名称：基于django的基因产品选购系统

项目描述：
项目介绍
该项目为了满足部分人群不方便抽血，但是又想通过基因检测了解自己情况的人群，通过让客户在线选购基因检测套餐，而后通过快递将唾液采集器送达客户家中，客户只需按流程收集唾液后快递给公司，就可以在规定的天数后在系统中查询自己的检测项目结果
我的职责
1，通过bootstrap，及js，css完成前端页面的构建
2，通过django搭建后端框架，使用cookie和session共同保存用户的登录状态，通过ajax发送post请求将用户选择的套餐编号发送到服务器
3，测序结果使用ajax请求，返回json数据，通过判定json中result键的值判断是否有测序结果，如果有结果便通过jquery动态加载到页面上