LCF
Python网络爬虫工程师
腾讯 · 1年经验
日薪：
￥500/8h
地点：
上海 浦东
时间：
可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
是爬虫知识，如何发起request，如何处理响应，如何存储数据，各种反爬虫措施应对。
了解scrapy，分布式爬虫，爬虫性能优化，大规模数据爬取，代理，app爬取等等。
熟悉多线程编程、网络编程、HTTP协议相关
开发过完整爬虫项目
反爬相关，cookie、ip池、验证码等等
熟练使用分布式
了解scrapy，分布式爬虫，爬虫性能优化，大规模数据爬取，代理，app爬取等等。
熟悉多线程编程、网络编程、HTTP协议相关
开发过完整爬虫项目
反爬相关，cookie、ip池、验证码等等
熟练使用分布式
项目经验
import json
import requests
import re
from multiprocessing import Pool
def get_one_page(url,headers):
response = requests.get(url, headers = headers)
response.encoding = response.apparent_encoding
html = response.text
return html
def parse_one_page(text):
index = re.findall(r'<i class="board-index.*?">(\d+)</i>',text,re.DOTALL)
images = re.findall(r'<.*?data-src="(.*?)".*?/>',text,re.DOTALL)
titles = re.findall(r'<p.*?"name".*?title="(.*?)".*?>',text,re.DOTALL)
actors = re.findall(r'</a>.*?star">.*?：(.*?)\n.*?</p>',text,re.DOTALL)
time = re.findall(r'</p>.*?<p.*?releasetime">.*?：(.*?)</p>',text,re.DOTALL)
Ascores = re.findall(r'<p.*?integer">(.*?)</i>',text,re.DOTALL)
Bscores = re.findall(r'</i><i.*?fraction">(.*?)</i></p>',text,re.DOTALL)
scores = []
for i in range(len(Ascores)):
score = Ascores[i] + Bscores[i]
scores.append(score)
global informations
informations = []
for value in zip(index,titles,actors,time,scores,images):
index,titles,actors,time,scores,images = value
poem = {
'index': index,
'titles': titles,
'actors': actors,
'scores': scores,
'images': images
}
informations.append(poem)
return informations
def write_to_file(content):
with open('result.txt','a',encoding='utf-8') as fp:
fp.write(json.dumps(content,ensure_ascii=False) + '\n')
fp.close
def main(offset):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
' Chrome/92.0.4515.107 Safari/537.37',
'Connection':'keep-alive',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image
import requests
import re
from multiprocessing import Pool
def get_one_page(url,headers):
response = requests.get(url, headers = headers)
response.encoding = response.apparent_encoding
html = response.text
return html
def parse_one_page(text):
index = re.findall(r'<i class="board-index.*?">(\d+)</i>',text,re.DOTALL)
images = re.findall(r'<.*?data-src="(.*?)".*?/>',text,re.DOTALL)
titles = re.findall(r'<p.*?"name".*?title="(.*?)".*?>',text,re.DOTALL)
actors = re.findall(r'</a>.*?star">.*?：(.*?)\n.*?</p>',text,re.DOTALL)
time = re.findall(r'</p>.*?<p.*?releasetime">.*?：(.*?)</p>',text,re.DOTALL)
Ascores = re.findall(r'<p.*?integer">(.*?)</i>',text,re.DOTALL)
Bscores = re.findall(r'</i><i.*?fraction">(.*?)</i></p>',text,re.DOTALL)
scores = []
for i in range(len(Ascores)):
score = Ascores[i] + Bscores[i]
scores.append(score)
global informations
informations = []
for value in zip(index,titles,actors,time,scores,images):
index,titles,actors,time,scores,images = value
poem = {
'index': index,
'titles': titles,
'actors': actors,
'scores': scores,
'images': images
}
informations.append(poem)
return informations
def write_to_file(content):
with open('result.txt','a',encoding='utf-8') as fp:
fp.write(json.dumps(content,ensure_ascii=False) + '\n')
fp.close
def main(offset):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
' Chrome/92.0.4515.107 Safari/537.37',
'Connection':'keep-alive',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image
案例展示 全部案例 >
LCF
Python网络爬虫工程师 · 1年经验 · 腾讯
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
是爬虫知识，如何发起request，如何处理响应，如何存储数据，各种反爬虫措施应对。
了解scrapy，分布式爬虫，爬虫性能优化，大规模数据爬取，代理，app爬取等等。
熟悉多线程编程、网络编程、HTTP协议相关
开发过完整爬虫项目
反爬相关，cookie、ip池、验证码等等
熟练使用分布式
了解scrapy，分布式爬虫，爬虫性能优化，大规模数据爬取，代理，app爬取等等。
熟悉多线程编程、网络编程、HTTP协议相关
开发过完整爬虫项目
反爬相关，cookie、ip池、验证码等等
熟练使用分布式
项目经验
import json
import requests
import re
from multiprocessing import Pool
def get_one_page(url,headers):
response = requests.get(url, headers = headers)
response.encoding = response.apparent_encoding
html = response.text
return html
def parse_one_page(text):
index = re.findall(r'<i class="board-index.*?">(\d+)</i>',text,re.DOTALL)
images = re.findall(r'<.*?data-src="(.*?)".*?/>',text,re.DOTALL)
titles = re.findall(r'<p.*?"name".*?title="(.*?)".*?>',text,re.DOTALL)
actors = re.findall(r'</a>.*?star">.*?：(.*?)\n.*?</p>',text,re.DOTALL)
time = re.findall(r'</p>.*?<p.*?releasetime">.*?：(.*?)</p>',text,re.DOTALL)
Ascores = re.findall(r'<p.*?integer">(.*?)</i>',text,re.DOTALL)
Bscores = re.findall(r'</i><i.*?fraction">(.*?)</i></p>',text,re.DOTALL)
scores = []
for i in range(len(Ascores)):
score = Ascores[i] + Bscores[i]
scores.append(score)
global informations
informations = []
for value in zip(index,titles,actors,time,scores,images):
index,titles,actors,time,scores,images = value
poem = {
'index': index,
'titles': titles,
'actors': actors,
'scores': scores,
'images': images
}
informations.append(poem)
return informations
def write_to_file(content):
with open('result.txt','a',encoding='utf-8') as fp:
fp.write(json.dumps(content,ensure_ascii=False) + '\n')
fp.close
def main(offset):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
' Chrome/92.0.4515.107 Safari/537.37',
'Connection':'keep-alive',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image
import requests
import re
from multiprocessing import Pool
def get_one_page(url,headers):
response = requests.get(url, headers = headers)
response.encoding = response.apparent_encoding
html = response.text
return html
def parse_one_page(text):
index = re.findall(r'<i class="board-index.*?">(\d+)</i>',text,re.DOTALL)
images = re.findall(r'<.*?data-src="(.*?)".*?/>',text,re.DOTALL)
titles = re.findall(r'<p.*?"name".*?title="(.*?)".*?>',text,re.DOTALL)
actors = re.findall(r'</a>.*?star">.*?：(.*?)\n.*?</p>',text,re.DOTALL)
time = re.findall(r'</p>.*?<p.*?releasetime">.*?：(.*?)</p>',text,re.DOTALL)
Ascores = re.findall(r'<p.*?integer">(.*?)</i>',text,re.DOTALL)
Bscores = re.findall(r'</i><i.*?fraction">(.*?)</i></p>',text,re.DOTALL)
scores = []
for i in range(len(Ascores)):
score = Ascores[i] + Bscores[i]
scores.append(score)
global informations
informations = []
for value in zip(index,titles,actors,time,scores,images):
index,titles,actors,time,scores,images = value
poem = {
'index': index,
'titles': titles,
'actors': actors,
'scores': scores,
'images': images
}
informations.append(poem)
return informations
def write_to_file(content):
with open('result.txt','a',encoding='utf-8') as fp:
fp.write(json.dumps(content,ensure_ascii=False) + '\n')
fp.close
def main(offset):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
' Chrome/92.0.4515.107 Safari/537.37',
'Connection':'keep-alive',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image
案例展示
立即沟通
相似人才推荐：
其他Python开发 (上海驻云信息科技有限公司) ，3年经验 ，500元/天
山东高级python开发工程师 (中国联通总部软件研究院) ，5年经验 ，500元/天
上海项目研发总监，python后端工程师（高级） (上海宝临电气集团；灵锐信科；弈慧投资) ，6年经验 ，600元/天
成都中级python开发工程师 (软通) ，3年经验 ，500元/天
其他python爬虫 (贵艺公司) ，3年经验 ，500元/天
厦门python开发工程师 (抖音火山) ，3年经验 ，600元/天
天津高级JAVA/PYTHON研发工程师 (天津三星电子有限公司) ，10年经验 ，800元/天
其他Java,python 研发工程师 (oppo研究院) ，3年经验 ，500元/天
