了解什么是Hash，会使用简单的MD5,SHA1等算法对数据进行Hash以便存储；
熟悉HTTP,HTTPS协议的基础知识,了解GET，POST方法,了解HTTP头中的信息，包括返回状态码，编码，user-agent，cookie，session等；
能设置User-Agent进行数据爬取，设置代理等；
知道什么是Request，什么是Response，会使用Fiddler, Wireshark等工具抓取及分析简单的网络数据包；对于动态爬虫，要学会分析Ajax请求，模拟制造Post数据包请求，抓取客户端session等信息，对于一些简单的网站，能够通过模拟数据包进行自动登录；
对于比较难搞定的网站，学会使用浏览器+selenium抓取一些动态网页信息；
并发下载，通过并行下载加速数据抓取；多线程的使用；

大众点评、汽车之家等 字体破解
新闻网站，各种反爬技术的破解
抖音视频的Header设置破解
量级大的数据采用框架、多线程抓取