本人掌握技术如下:HTML5,CSS,JS前端三剑客;Java基础,Javaweb,python基础,python网络爬虫,Linux操作系统,python数据分析与应用,MySQL数据库技术与应用等等项目经验。
本人曾开发淘宝界面用户交互系统,学生管理系统搭建及开发。
网络爬虫从网站循环创建下一页请求的form表单,通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中,最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站:搜狐新闻、豆瓣、腾讯新闻网