电力需求侧DSM平台是电力物联网平台项目,客户是宁夏工信厅(即原经信委),提出要把静态的数据看板改成动态的大屏展示,要有企业的生产实时告警(根据实时采集的需求侧用电数据,判断该企业是正常生产、减产还是停产等),要有宁夏地区、行业的经济分析。工业企业用电数据通过电力监测终端-LoRA-DTU/通信管理机-4G/IoT接入平台。...
本项目是一款面向企业的系统运维监控解决方案,采用全栈技术栈构建,实现了系统指标实时采集、智能告警、可视化展示等核心功能。 核心功能模块: 1. 系统指标监控 :实时采集服务器CPU、内存、磁盘、网络等运行数据,支持多维度数据展示与历史趋势分析。 2. 智能告警引擎 :基于阈值配置实现自动化告警,支持警告/严重两级告警级别,具备告警去重和冷却机制,避免重复告警干扰。 3. 实时数据可视化 :使用ECharts构建专业仪表盘,包含系统概览卡片、实时折线图、进程排行榜等多种可视化组件。 4. RBAC权限管理 :实现角色级权限控制,支持动态路由加载与权限缓存优化,满足多角色访问控制需求。 ...
本项目为独立开发的 Python 自动化数据处理脚本,可读取本地文本、表格类文件,完成数据清洗、格式转换、关键字段提取与批量导出。脚本支持批量文件归类、冗余数据剔除等重复工作自动化。开发阶段处理文件路径异常、数据类型不匹配等运行问题,持续优化解析逻辑适配常规数据源,减少人工重复操作,提升数据整理工作效率。...
为某教育咨询机构开发的公开数据采集项目。从教育部官网采集全国高等学校完整名单,包含学校名称、所在省份、办学层次、学校标识码等字段。数据经清洗去重后输出Excel,附带院校分类统计汇总。 技术栈:Python + requests + BeautifulSoup + pandas。自动识别HTML表格结构,批量导出Excel,生成分类统计Sheet。 交付周期:半天。数据量:3072条。客户用于教育行业市场分析。...
为某市场咨询公司开发的数据采集系统。采集浙江省11个地级市公共资源交易中心2024年全年招标公告,每个城市独立Sheet,包含标题、发布时间、采购单位、预算金额、公告链接、联系人、联系电话等字段。 技术栈:Python + requests + BeautifulSoup + openpyxl。多线程采集,自动去重,数据清洗后输出Excel。附带采集日志和去重报告。 交付周期:1天。数据量:6180条。客户满意度:5星。...
本项目为公开网页数据采集与整理练习,通过Python编写简单爬虫脚本,抓取公开电影榜单数据,包含电影名称、评分、导演信息等字段。采集后对数据进行清洗处理,统一字段格式、清理多余字符与无效内容,最终输出结构清晰、格式规范的结构化CSV文件,可直接用于数据分析与信息统计。...