Python： 大多数爬虫工程师使用Python作为主要编程语言，因为它具有强大的库和框架，如Requests和Beautiful Soup。
JavaScript： 对于处理动态网页，理解和使用JavaScript也是必要的。Node.js是一个流行的JavaScript运行时环境。
使用数据库存储爬取的数据，如MySQL、MongoDB等。
对数据进行清洗、处理和分析，确保数据的质量和可用性。
熟悉XPath和正则表达式，用于从HTML页面中提取所需的数据。
使用爬虫框架简化开发流程，如Scrapy、Beautiful Soup、Selenium等。
了解和应对常见的反爬虫手段，如User-Agent伪装、IP代理、验证码识别等。

独立编写外国地理数据爬取脚本，包括美国，加拿大，英国等
使用scrapy框架爬取美国航班数据网站航班信息并进行可视化数据处理
js逆向解密某网站信息