腾讯新闻首页
案例介绍
from lxml import etree
import re
def xiangqi(data):
html_=requests.get(data['link'])
# print(html_)charset=utf-8"
# print(html_.text)
cr=re.findall('charset="(.*?)"', html_.text)
c=cr.count('gbk')
if c<2:
html_.encoding='gbk'
else:
html_.encoding='utf8'
content=''.join(etree.HTML(html_.text).xpath('//p[@class="one-p"]//text()|//div[@class="content_area"]/p/text()')).replace('\n','')
if content:
return content
url='https://i.news.qq.com/trpc.qqnews_web.pc_base_srv.base_http_proxy/NinjaPageContentSync?pull_urls=news_top_2018'
source=requests.get(url).json()
data={}
for i in source['data']:
data['title']=i['title']
data['link']=i['url']
# print(data)
content=xiangqi(data)
data['content'] = content
print(data)
腾讯新闻首页
案例介绍
import requests
from lxml import etree
import re
def xiangqi(data):
html_=requests.get(data['link'])
# print(html_)charset=utf-8"
# print(html_.text)
cr=re.findall('charset="(.*?)"', html_.text)
c=cr.count('gbk')
if c<2:
html_.encoding='gbk'
else:
html_.encoding='utf8'
content=''.join(etree.HTML(html_.text).xpath('//p[@class="one-p"]//text()|//div[@class="content_area"]/p/text()')).replace('\n','')
if content:
return content
url='https://i.news.qq.com/trpc.qqnews_web.pc_base_srv.base_http_proxy/NinjaPageContentSync?pull_urls=news_top_2018'
source=requests.get(url).json()
data={}
for i in source['data']:
data['title']=i['title']
data['link']=i['url']
# print(data)
content=xiangqi(data)
data['content'] = content
print(data)
案例图片
相似案例推荐
-
工业mes行业
拥有6年的工业互联网平台开发设计经验，参与其中重要功能的设计
-
艺术学院师生优秀作品库管理系统
项目介绍：该项目基于vue+springboot+mybat
-
掌握微信小程序及各类软件开发
您的需求我们已大致了解，我们是专业的软件开发、运维团队，sp
-
密钥管理系统
使用jni调用底层C库使用密码机生成密钥，通过sm2加密算法
-
管理系统
该项目主要是对用户关注的一些关键词进行大数据的分析。 该项
-
安全保障管理系统
巡查管理借助于比较传统的人工管理手段。设备明细使用电子、书面
1小时精推人才
需求方专属客服，免费梳理匹配
