猿急送>

山东其它兼职程序员

ID：319561

山东平妍商贸有限公司

监事

公司信息：
山东平妍商贸有限公司

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
山东
全区

技术能力

本人熟悉Linux，熟练掌握爬虫、数据分析，ffmpeg音视频剪辑MongoDB等，主修爬虫方向、前后端开发、平面设计等有专业的技术支持。
工作认真负责，有一定的时间可以为您服务。安全、环保与消防、职业卫生相关专业经验丰富可以从事安全、环保、职业卫生、消防相关的软件开发和相关程序开发。

项目经验

import requests,csv
import json
import jsonpath
from lxml import etree
from parsel import Selector

class MySpider(object):
def __init__(self):
self.url = 'http://www.xinfadi.com.cn/getPriceData.html'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
'Cookie':''
}
self.header = ['菜名','最低价','最高价','单位']
self.shucai_list = []

self.sum_dict = {
'list': []
}

def get_html(self):
response = requests.post(url=self.url, headers=self.headers,timeout=(3, 7))
data = {
'prodPcatid': 1186

}

shuju = response.json()
prodName = jsonpath.jsonpath(shuju,'$..prodName')
lowPrice = jsonpath.jsonpath(shuju,'$..lowPrice')
highPrice = jsonpath.jsonpath(shuju, '$..highPrice')
unitInfo = jsonpath.jsonpath(shuju, '$..unitInfo')
print(zip(prodName,lowPrice,highPrice,unitInfo))
for i in zip(prodName,lowPrice,highPrice,unitInfo):
shu_ju ={
'菜名':i[0],
'最低价':i[1],
'最高价':i[2],
'单位':i[3]

}
self.sum_dict['list'].append(shu_ju)
print(self.sum_dict)

def save_json(self):
with open('新发地.csv', 'w', encoding='utf-8') as f:
json.dump(self.sum_dict, f, ensure_ascii=False, indent=4)
writer = csv.DictWriter(f, self.header)
writer.writeheader()
writer.writerows(self.shucai_list)

if __name__ == '__main__':
my_spider = MySpider()
my_spider.get_html()
my_spider.save_json()
以上爬虫小案例，本案例比较简单核心的东西没放进去，自动翻页，逆向啥的省略了。