在 Kubernetes,ClickHouse Operator 管理的集群里,进行数据无损缩容自动化 这是一组 Python 脚本:(Shard removal.png) disable_write_to_last_n_shards.py 负责将准备移除的 shard (分片) 设成只读 migrate_parts.py 负责将数据均匀地复制到其他分片 remove_last_n_shards.py 负责移除分片 其中,第 1、3 脚本透过修改 yaml 完成,第 2 脚本则运行 ClickHouse 扩充的 SQL 语句完成。 Before removal.png 展示...
该系统基于工贸行业针对粉尘、铝加工、钢铁企业的日常生产实现实时监管并提供辅助决策。系统整体基于物联网技术为基础,汇聚企业设备数据、视频数据,通过分析模型计算企业风险、提供企业综合报告等。 相比于传统的业务平台,该系统整体基于端、管、云三层架构的模式。在企业端配置数据采集主机汇聚企业各网关设备、中控系统的指标数据,加密数据后通过专网与互联网上报给管理端。在管理端收集企业数据后,对数据进行解析、编码、分类、存储以及提供统一的数据服务,并提供后台数据管理操作。 在政务云端就是工贸业务平台,订阅数据服务后,基于实时数据通过模型、统计等工具分析计算企业数据。 本系统包含:企业物联采集主机及相应数据...
该后台基础框架主要面向于web应用程序。可具体应用在以下几个方面业务场景上:化工行业、应急行业内的企业管理,需要实现企业工业设备联网与监控、需要实时数据采集、以及相关文件存储与管理的应用场景。项目已实现身份认证、权限管理、系统配置、字典数据等常用的系统功能,可基于此框架拓展独立的业务功能开发。已集成的功能有:AOP操作日志、文件存储(本地存储与MinIO对象存储)、Redis缓存数据存储、Mysql业务数据存储、InfluxDB时序数据存储、Socket实时通讯、EasyExcel文档导入及导出、Assembly发布配置管理、代码生成器、注解式接口访问控制、接口在线文档等。 技术选型基于应用...
详细功能介绍 该 SFTP 文件监控与传输工具基于 Go 语言开发,能实现本地文件与远程 SFTP 服务器之间的高效文件上传和下载操作,具有以下核心功能: 上传功能 文件与目录上传:支持单个文件上传,也可递归上传整个目录及其子目录和文件到远程服务器,并在远程创建对应目录结构。 增量 / 全量传输:用户可灵活选择增量或全量传输方式。增量传输仅上传有更新的文件,全量传输则上传指定路径下的所有文件。 文件删除:传输完成后,可根据配置选择删除本地源文件,节省本地存储空间。 下载功能 文件与目录下载:能够从远程 SFTP 服务器下载单个文件或整个目录到本地,同时在本地创建相应目录结构。...