股票数据入库

本系统面向金融行情数据处理场景，主要负责金融数据从实时采集、本地落盘、数据转换、压缩传输、质量校验到最终存储的全流程自动化处理。

金融数据由 C++ 数据接入程序实时获取，并按照文件大小或时间策略滚动写入本地二进制文件。随着数据持续产生，系统会形成大量分片数据文件，例如 xxx.log.1、xxx.log.2、xxx.log.3 等。

为降低人工处理成本，提高数据交付效率，使用 Python 开发自动化数据处理程序，对指定目录下的原始数据文件进行批量扫描、读取、解析及格式转换，最终生成统一的 CSV 数据文件。

转换完成后，系统自动对数据进行压缩，并通过 SCP 安全传输至指定服务器。数据到达目标服务器后，根据预设的数据质量规则进行自动校验，包括文件完整性、数据量、字段格式、时间范围及数据连续性等。

对于校验合格的数据，系统自动归档至指定存储目录；对于校验异常的数据，则触发告警通知，提醒运维人员及时介入处理，从而形成完整的数据自动化处理与质量保障闭环。

整体流程减少了人工文件处理和数据检查工作，提高了金融数据处理的自动化程度、稳定性和可追溯性。