技术:1.熟悉HTTP/HTTPS协议,TCP/IP网络协议 2.熟悉Python 多线程爬虫及其机制 3.熟练使用Python urllib、urllib2、requests等网络模块 4.熟练使用Python lxml、BeautifulSoup、re、json模块进行数据提
项目:爬虫与数据分析项目 1、根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段,通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取 2、对抓取到的数据进行清洗过滤,结构化存到数据库,根据爬取过程中遇到的一些
案例: 音乐爬取
技术:熟悉Java开发,掌握Java集合、I/O、多线程等核心知识 熟悉Python,具有一定的数据处理能力 熟悉计算见网络层次结构和相应数据传输格式,以及相关如TCP/IP、HTTP等网络协议 了解Spring、SpringBoot、SpringCloud等流行框架的使用,了解
项目:基于spring+themeleaf为社区(学校)闲置物品交易群开发了一个二手交易网站(目前在云服务器47.100.228.106运行中),旨在为闲置物品提供一个更好的展示平台,方便同学们闲置物品的流通; 基于spring+jsp开发了一个博客网站,仿照与百度贴吧,并提供贴吧的
案例: 花生二手交易平台