爬虫经验:
技术选型:我选择Python作为爬虫的编程语言,因为它具有强大的网络请求和数据解析能力。我使用了Requests库发送HTTP请求,并使用BeautifulSoup,xpath,正则表达式解析和提取网页数据。
网络请求和数据解析:我使用Requests库发送GET或POST请求,并设置适当的请求头,以模拟浏览器的行为提取所需的信息。
反爬虫策略:在一些网站上,我遇到了反爬虫机制,如IP封禁和验证码。为了应对这些问题,我使用了代理IP池来隐藏我的真实IP地址,并设置了随机的User-Agent头信息。此外,我还限制了爬取速度以避免过多的请求对目标网站造成负担。
前端开发经验:
技术选型:我使用了HTML、CSS和JavaScript进行前端开发,以创建交互式和响应式的网页。我还使用了vue框架来快速构建页面结构和样式。
页面设计和布局:我设计了清晰的页面结构,并使用CSS进行样式设置,包括字体、颜色、边距和响应式布局。我还使用CSS动画和过渡效果来增强用户体验。
网站后台:使用nodejs搭建http接口,数据库选择mysql或者mongodb。