该项目中使用了scrapy框架+selenium对网易新闻不同板块发起请求,抓取动态数据,经过解析后在scrapy管道中写入mysql进行数据持久化
该项目中,网站使用了js混淆和js加密,并且网站携带的ajax请求参数也是动态加密的,因此,我先定位到了ajax请求参数的加密方法,将其粘贴到了Code.js文件中,发现网站ajax请求返回的数据也是加密的,因此在定位到了返回数据的解密方法,最后使用pyexecjs模拟js代码,
扫码添加客服极速匹配,或直接发布需求让更多人才主动报名
基于 35,336 需求方信任
鼠标悬停或点击上方资质图片,可放大右下角二维码进行扫码验真。
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人
收藏后可在“我的收藏”里统一查看,也方便后续继续联系和筛选合适人才。
登录后将自动返回当前页,继续浏览不会丢失。