日志数据分析可视化
案例介绍
- 从`result.txt` 读取已提取的半结构化日志（1217 条）。
- 第二阶段精细化： etl_clean.py
- `ip → 城市` ：通过 ip_city.py 的离线 IP 段映射，覆盖日志中全部 IP，无“未知”残留。
- 时间标准化：`10/Nov/2016:00:01:03 +0800` →`2016-11-10 00:01:03` 。
- 字段校验：类型仅允许`video/article` ，流量转为整数。
- 输出 cleaned_data.csv ，可直接`LOAD DATA` 进 Hive。
### 2. 数据分析（3 项统计）
- hive_ddl.sql 提供建库建表、导入及 Hive SQL。
- analysis.py 用纯 Python 复现同样口径的统计：
1. 视频/文章访问次数 Top10；
2. 按地市统计最受欢迎课程 Top10；
3. 按流量统计 Top10 课程。
### 3. 结果入库
- mysql_insert.sql 自动生成 4 张结果表及 INSERT 语句，可直接在 MySQL 执行。
### 4. 可视化
- visualization.html 为自包含页面，包含 4 个横向柱状图；不依赖 CDN，断网也能打开。
- 由 build_visualization.py 根据统计 JSON 生成。
日志数据分析可视化
案例介绍
### 1.数据清洗（两阶段）
- 从`result.txt` 读取已提取的半结构化日志（1217 条）。
- 第二阶段精细化： etl_clean.py
- `ip → 城市` ：通过 ip_city.py 的离线 IP 段映射，覆盖日志中全部 IP，无“未知”残留。
- 时间标准化：`10/Nov/2016:00:01:03 +0800` →`2016-11-10 00:01:03` 。
- 字段校验：类型仅允许`video/article` ，流量转为整数。
- 输出 cleaned_data.csv ，可直接`LOAD DATA` 进 Hive。
### 2. 数据分析（3 项统计）
- hive_ddl.sql 提供建库建表、导入及 Hive SQL。
- analysis.py 用纯 Python 复现同样口径的统计：
1. 视频/文章访问次数 Top10；
2. 按地市统计最受欢迎课程 Top10；
3. 按流量统计 Top10 课程。
### 3. 结果入库
- mysql_insert.sql 自动生成 4 张结果表及 INSERT 语句，可直接在 MySQL 执行。
### 4. 可视化
- visualization.html 为自包含页面，包含 4 个横向柱状图；不依赖 CDN，断网也能打开。
- 由 build_visualization.py 根据统计 JSON 生成。
案例图片
相似案例推荐
-
企业项目全流程管理系统
为企业项目经营和交付管理打造的一体化全流程系统，贯通项目获取
-
云识名片小程序
•登录授权与多套名片模板展示、产品设置 •企业内部通信录、
-
米乐工业互联网平台
Miller 工业互联网平台是面向工业领域的数字化底座平台，
-
广西牛只饲养管理系统
牛只饲养管理系统是肉牛养殖饲料配方专业管理平台，我负责前端开
-
数字化油桃产业基地大数据平台
数字化油桃产业基地大数据平台是智慧农业可视化管控平台，我负责
-
政务公开数据采集工具
Python采集工具，抓取政府公开数据（通山县政务公开-社会
1小时精推人才
需求方专属客服，免费梳理匹配
