豆瓣电影数据爬虫的功能主要围绕数据采集、数据处理、数据存储和数据可视化展开。以下是详细的豆瓣电影数据爬虫功能介绍：


1.数据采集

1.1 爬取电影基本信息

• 电影名称：获取电影的中文名和英文名。

• 评分：获取电影在豆瓣上的评分。

• 评分人数：统计参与评分的用户数量。

• 导演和演员：提取电影的导演和主要演员信息。

• 上映时间：获取电影的上映日期。

• 国家/地区：提取电影的制作国家或地区。

• 类型：获取电影的类型（如剧情、喜剧、科幻等）。

• 简介：提取电影的简短介绍。

• 海报链接：获取电影海报的图片链接。


1.2 爬取影评数据

• 评论内容：提取用户对电影的评论内容。

• 评论者昵称：获取发表评论的用户昵称。

• 评论时间：记录评论的发布时间。

• 评论评分：获取用户对电影的评分（如果有）。

• 有用数：统计该评论被其他用户标记为“有用”的次数。


1.3 动态数据处理

• 动态加载内容处理：处理网页的动态加载内容，如通过`Selenium`模拟浏览器行为，或使用`requests-html`库来处理JavaScript渲染的页面。

• 分页处理：自动翻页以获取多页数据，确保数据的完整性。


2.数据处理

2.1 数据清洗

• 去除重复数据：去除重复的电影条目或评论。

• 格式化数据：统一数据格式，例如将日期格式化为统一的格式。

• 去除无效数据：删除缺失关键信息（如评分、评论内容）的条目。


2.2 数据转换

• 数据类型转换：将数据类型转换为适合存储和分析的格式，例如将评分从字符串转换为浮点数。

• 数据整合：将多个数据源的数据整合到一个数据结构中。