Python爬去千千小说网并批量下载
案例介绍
import requests
from lxml import etree
def takeurl():
headers={
'User-Agent':UserAgent().random
}
url='https://www.qqxsnew.com/95/95819/'
nodes=etree.HTML(requests.get(url,headers=headers).content)
data =nodes.xpath("/html/body/div[@id='wrapper']/div[@id='main']/div[@class='box_con'][2]/div[@id='list']/dl/dd[position()>12]")
for i in data:
title=i.xpath('./a/text()')[0]
newurl = 'https://www.qqxsnew.com'+i.xpath('./a/@href')[0]
print(title,newurl)
result=requests.get(newurl).content
response=etree.HTML(result).xpath("/html/body/div[@id='wrapper']/div[@id='main']/div[@class='content_read']/div[@class='box_con']/div[@id='content']/text()")
for x in response:
print(x)
path = "J:\study\小说\\" + title + '.text'
with open(path, 'a', encoding='UTF-8')as f:
f.write(x + '\n')
print("正在下载", title)
takeurl()
Python爬去千千小说网并批量下载
案例介绍
from fake_useragent import UserAgent
import requests
from lxml import etree
def takeurl():
headers={
'User-Agent':UserAgent().random
}
url='https://www.qqxsnew.com/95/95819/'
nodes=etree.HTML(requests.get(url,headers=headers).content)
data =nodes.xpath("/html/body/div[@id='wrapper']/div[@id='main']/div[@class='box_con'][2]/div[@id='list']/dl/dd[position()>12]")
for i in data:
title=i.xpath('./a/text()')[0]
newurl = 'https://www.qqxsnew.com'+i.xpath('./a/@href')[0]
print(title,newurl)
result=requests.get(newurl).content
response=etree.HTML(result).xpath("/html/body/div[@id='wrapper']/div[@id='main']/div[@class='content_read']/div[@class='box_con']/div[@id='content']/text()")
for x in response:
print(x)
path = "J:\study\小说\\" + title + '.text'
with open(path, 'a', encoding='UTF-8')as f:
f.write(x + '\n')
print("正在下载", title)
takeurl()
案例图片
相似案例推荐
-
C#样板作品
后端开发。系统采用了WPF，搭建EF，使用Sqlserver
-
个人练手网站
本人个人部署到服务器上的用于练手的项目 前后端分离项目 前
-
Web 网站 爬虫
由于需要随时观测19个网站的数据更新情况，为了快捷方便，特开
-
微信小程序——公共租赁房信息
此小程序用于展示西安公租房地理位置信息，可后台对数据进行增删
-
后台管理系统（pc端）
项目职责: 使用 React框架，用 mobx实现状态管
-
商务密邮
商务密邮是一款方便、快捷、易操作的加密邮箱，其突出的特点在于
1小时精推人才
需求方专属客服，免费梳理匹配
