一、爬虫逆向工程
1、精通JavaScript逆向,能够分析并破解网站加密逻辑。
2、熟悉常见加密算法,包括:
(1)阿卡曼加密、瑞数加密等动态加密算法。
(2)对称加密(如AES、DES)、非对称加密(如RSA)。
(3)SM国密算法(如SM2、SM3、SM4)。
(4)哈希算法(如MD5、SHA系列)。
3、能够处理以下反爬机制:
(1)Cookie加密
(2)Token生成
(3)Sign签名
二、Python爬虫开发
1、熟练使用以下工具进行数据抓取:
(1)requests
(2)scrapy
(3)selenium
(4)playwright
2、精通反爬虫策略,能够处理以下问题:
(1)动态加载
(2)验证码
(3)IP封禁
3、熟悉分布式爬虫架构,能够使用以下工具实现任务调度与数据存储:
(1)Redis
(2)MongoDB
(3)MySQL
三、自动化开发
1、擅长开发自动化脚本,用于以下场景:
(1)数据采集
(2)数据处理
(3)报表生成
2、能够结合以下技术实现业务流程的自动化:
(1)爬虫技术
(2)自动化技术
四、RPC与影刀操作
1、影刀进行自动化流程开发。
2、对RPA开发有浓厚兴趣,可根据需求学习并开发相关功能。
五、数据分析
1、熟练使用Excel进行数据分析,包括以下内容:
(1)数据清洗:处理缺失值、重复值、异常值等。
(2)数据调整:数据格式转换、数据排序与筛选等。
(3)Excel函数应用:熟练使用VLOOKUP、IF、SUMIF、INDEX、MATCH等常用函数。
(4)数据透视表:创建与使用数据透视表进行数据汇总与分析。
(5)数据可视化:使用图表(如柱状图、折线图、饼图等)展示分析结果。
一、某金融平台加密算法破解
1、分析目标平台的SM2国密算法实现,编写Python解密脚本。
2、破解动态生成的Sign签名,成功获取加密数据。
3、使用AES对称加密算法对数据进行解密,并存储至数据库。
二、某电商平台数据采集与逆向分析
1、使用Python分析目标网站的加密逻辑,破解动态生成的Cookie和Token。
2、通过JavaScript逆向,成功绕过瑞数加密,实现高效数据抓取。
3、使用Scrapy框架搭建分布式爬虫,日均采集数据量达百万条。
三、自动化报表生成系统
1、开发基于Python的自动化脚本,定时从多个数据源抓取数据。
2、使用Pandas进行数据清洗与分析,生成可视化报表。
3、结合影刀工具,实现报表的自动发送与归档。
角色 | 职位 |
负责人 | 爬虫逆向 |
队员 | 后端工程师 |