技术能力

大数据
熟练部署大数据处理框架，如Hadoop、spark等，熟练使用spark+scala进行离
线数据处理，包括MySQL和hive等数据库及数据仓库软件的使用，使用docker进
行环境部署以及容器构建。使用echarts进行数据可视化展示，以及山海鲸可视
化、DataEase等BI软件的使用。
使用Python编写爬虫进行数据采集等，包括xpath、BeautifulSoup、Selenium
以及Scrapy框架等。
熟练使用CentOS、Ubuntu、麒麟等Linux系统。
前端
熟练使用 Vue 3 框架进行前端开发，熟悉选项式和组合式等开发。包含vite构建
等。并能够灵活使用组件化构建可复用的前端应用，具备使用Vue Router实现路
由配置与导航管理的能力，能够高效实现页面跳转、嵌套路由等功能。
后端
能够使用springboot、Django等编写后端接口，包括但不限于GET、POST、
DELECT等请求。
熟练使用Postman、Apifox进行接口测试等
少儿编程
熟练使用Scratch 3图形化编程

项目经验

电商数据处理与可视化展⽰
技术栈：Hadoop、zookeeper、spark、MySQL、Hive
基于spark离线数据处理框架对MySQL中的离线数据进⾏清洗、计算等，利⽤其⾼效的性能
在短时间内对百万条数据进⾏清洗计算，为数据决策提供了良好的数据⽀持
编写Vue+Echarts代码，根据响应式的数据绑定和灵活的组件系统，快速开发交互式的可视
化⻚⾯
智能问数电网系统
主要负责前端页面开发，使用ruoyi-Vue3和eladmin-Vue2等进行智能问数电网系统的前端页
面开发。对接后端及ai工程师进行ai的问答交互以及其他功能的实现
高校专业与招聘信息统计查询平台
技术栈：MySQL、Spark、SpringBoot、Vue3、Python爬虫
编写Python爬虫获取掌上高考网、智联招聘、拉勾网、BOSS等高校和招聘信息软件的数据
编写spark对所爬取到的数据进行数据处理，并将结果存储到MySQL数据库中
使用springboot编写后端接口，包括GET、POST、DELECT请求等，通过不同请求进行数据
的获取
基于Vue3编写前端页面，设置前端路由以及从后端接口的数据获取等。同时使用echarts编写
数据可视化页面的图表展示
基于Python的⼤数据⼩说分析可视化系统
前端开发：
数据获取：
使⽤Python编写爬⾍对数据进⾏获取，使⽤Pandas对数据做基础处理后存⼊
MySQL数据库，总数量爬取超过1万条⼩说信息，涵盖了数⼗种类别的热⻔⼩
说信息，并使⽤Pandas库对数据进⾏了基本清洗和预处理，去除了约10%的
⽆效数据和重复数据
使⽤Vue3构建⽤⼾⻚⾯：掌握Vue3的组件化开发、路由配置等核⼼概念
使⽤Echarts实现数据可视化：熟练掌握Echarts的API，能够根据业务需求定制图表样式
使⽤Django框架搭建后端服务，利⽤Django框架的强⼤功能，实现对⼩说数据的⾼效处
理和API处理的构建，包括数据模型的设计、数据库操作、视图函数的编写等
使⽤Hive数据仓库作为API获取数据的来源，通过数据仓库计算后的数据，获取到⽤于可
视化⼤屏展⽰更加直观的数据
使⽤⼤数据集群中的Hive数据仓库和spark框架对MySQL数据进⾏处理，处理后的数据存
储在Hive数据仓库中
使⽤Apifox进⾏接⼝测试

团队情况