掌握python爬虫 熟悉requests模块、selenium自动化、scrpay 框架、js逆向。
掌握多种解析语法BeautifulSoup 、xpath、正则。
使用Python的requests库和BeautifulSoup库编写爬虫脚本，自动获取目标网站的数据
通过分析网页结构，实现数据解析和清洗，将数据保存为结构化的格式，方便后续处理
针对网站反爬虫的策略，使用代理IP、用户代理等技术进行反制。
对数据进行监控和更新，确保数据的准确性和及时性。

使用Python的Scrapy框架开发爬虫，实现对论坛帖子的自动抓取。
通过设置合适的爬取规则和策略，提高爬虫的效率和稳定性
对抓取的帖子进行分析和分类，提取有用信息并进行存储和展示
使用机器学习算法对帖子内容进行情感分析，为论坛用户提供情感指数和热度排名。