熟练掌握python编程语言,了解Golang和Java语言；
熟悉关系型数据库MySQL和TiDB，以及非关系型数据库Redis、MongoDB等；
熟悉消息中间件RabbitMQ、Kafka以及亚马逊SQS；
熟悉Scrapy爬虫框架，了解pyspider、feapder爬虫框架；
熟悉常见的反爬策略，能够绕过图片验证码、滑块、IP限制、JS加密等；
熟悉各种抓包工具charles、fiddler、wireshark、mitmproxy、HttpCanary等；
熟悉自动化测试工具selenium、pyppeteer、airtest和appium等，能实现模拟登录以及数据抓取；
熟悉逆向工具frida、apktool、jd-gui、dex2jar、Ollydbg、IDA等，具备一定的逆向编程能力；
熟悉django、flask、tornado等web框架；
熟悉Docker和Kubernetes的使用。

关键词任务爬取系统是一种用于从互联网上自动抓取数据的工具。该系统主要包括任务下发和任务抓取两个部分。任务下发子系统负责设置抓取条件和下发任务，用户可以在网页端输入关键词和条件，系统会自动生成任务并将其下发给任务抓取子系统。任务抓取子系统则负责按照设定的条件自动抓取数据，并进行数据清洗和预处理，最终将符合条件的数据存储到数据库中。目前主要支持的国外社交平台有Youtube、Tiktok、Instagram等。

邮件系统由邮件抓取和发送两部分组成，抓取的邮箱主要来自于Youtube频道个人简介和需要登录才能查看的商务联系邮箱。新抓取的邮箱将根据网红的语言和国家匹配不同的模板，发送邀请邮件。