本系统面向金融行情数据处理场景,主要负责金融数据从实时采集、本地落盘、数据转换、压缩传输、质量校验到最终存储的全流程自动化处理。 金融数据由 C++ 数据接入程序实时获取,并按照文件大小或时间策略滚动写入本地二进制文件。随着数据持续产生,系统会形成大量分片数据文件,例如 xxx.log.1、xxx.log.2、xxx.log.3 等。 为降低人工处理成本,提高数据交付效率,使用 Python 开发自动化数据处理程序,对指定目录下的原始数据文件进行批量扫描、读取、解析及格式转换,最终生成统一的 CSV 数据文件。 转换完成后,系统自动对数据进行压缩,并通过 SCP 安全传输至指
本系统面向金融行情数据处理场景,主要负责金融数据从实时采集、本地落盘、数据转换、压缩传输、质量校验到最终存储的全流程自动化处理。 金融数据由 C++ 数据接入程序实时获取,并按照文件大小或时间策略滚动写入本地二进制文件。随着数据持续产生,系统会形成大量分片数据文件,例如 xxx.log.1、xxx.log.2、xxx.log.3 等。 为降低人工处理成本,提高数据交付效率,使用 Python 开发自动化数据处理程序,对指定目录下的原始数据文件进行批量扫描、读取、解析及格式转换,最终生成统一的 CSV 数据文件。 转换完成后,系统自动对数据进行压缩,并通过 SCP 安全传输至指...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人