电商数据处理与可视化展⽰
技术栈:Hadoop、zookeeper、spark、MySQL、Hive
基于spark离线数据处理框架对MySQL中的离线数据进⾏清洗、计算等,利⽤其⾼效的性能
在短时间内对百万条数据进⾏清洗计算,为数据决策提供了良好的数据⽀持
编写Vue+Echarts代码,根据响应式的数据绑定和灵活的组件系统,快速开发交互式的可视
化⻚⾯
智能问数电网系统
主要负责前端页面开发,使用ruoyi-Vue3和eladmin-Vue2等进行智能问数电网系统的前端页
面开发。对接后端及ai工程师进行ai的问答交互以及其他功能的实现
高校专业与招聘信息统计查询平台
技术栈:MySQL、Spark、SpringBoot、Vue3、Python爬虫
编写Python爬虫获取掌上高考网、智联招聘、拉勾网、BOSS等高校和招聘信息软件的数据
编写spark对所爬取到的数据进行数据处理,并将结果存储到MySQL数据库中
使用springboot编写后端接口,包括GET、POST、DELECT请求等,通过不同请求进行数据
的获取
基于Vue3编写前端页面,设置前端路由以及从后端接口的数据获取等。同时使用echarts编写
数据可视化页面的图表展示
基于Python的⼤数据⼩说分析可视化系统
前端开发:
数据获取:
使⽤Python编写爬⾍对数据进⾏获取,使⽤Pandas对数据做基础处理后存⼊
MySQL数据库,总数量爬取超过1万条⼩说信息,涵盖了数⼗种类别的热⻔⼩
说信息,并使⽤Pandas库对数据进⾏了基本清洗和预处理,去除了约10%的
⽆效数据和重复数据
使⽤Vue3构建⽤⼾⻚⾯:掌握Vue3的组件化开发、路由配置等核⼼概念
使⽤Echarts实现数据可视化:熟练掌握Echarts的API,能够根据业务需求定制图表样式
使⽤Django框架搭建后端服务,利⽤Django框架的强⼤功能,实现对⼩说数据的⾼效处
理和API处理的构建,包括数据模型的设计、数据库操作、视图函数的编写等
使⽤Hive数据仓库作为API获取数据的来源,通过数据仓库计算后的数据,获取到⽤于可
视化⼤屏展⽰更加直观的数据
使⽤⼤数据集群中的Hive数据仓库和spark框架对MySQL数据进⾏处理,处理后的数据存
储在Hive数据仓库中
使⽤Apifox进⾏接⼝测试