文档报告

研究作者与发表信息

本文档的研究作者为喻宜（北京许继电气有限公司，硕士，工程师）、吕志来（博士，高级工程师）、齐国印（学士，工程师）。该研究以标题“分布式海量时序数据管理平台研究”发表在《电力系统保护与控制》(Power System Protection and Control)的第44卷第17期，出版日期为2016年9月1日，DOI为10.7667/pspc160792。

研究背景与目的

本研究聚焦于“电力大数据”这一新兴科学领域。随着国家电网逐步推进智能电网建设，以及信息化项目试点和推广的加速运行，产生了大规模实时数据和历史数据的积累。这些海量时序数据不仅是推动智能电网发展的核心基础，同时其高效管理也被视为电网建设的关键技术之一。

然而，目前市场中的实时数据库产品大多依赖集中式架构，存在以下主要问题：

1. 数据可扩展性和系统稳定性较差；
2. 测点模型的平面化结构难以满足上层应用对海量数据深入挖掘的需求；
3. 在基于物联网的场景中无法有效处理海量智能终端数据采集，包括多样化数据源和性能瓶颈；
4. 尚缺乏灵活有效的数据安全保障机制。

因此，本研究的目的是设计并实现一个真正分布式的海量时序数据管理平台，即“gaia 分布式海量时序数据管理平台”，以解决上述问题，显著提升时序数据的管理能力，满足电力行业对时序数据管理平台的主流需求，推动行业信息化发展。

研究方法与工作流

本文采用了分布式技术与架构为核心的整体设计方案，研究工作主要分以下几个部分：

1. 系统架构设计

• 核心结构
  gaia 平台的核心为分布式实时数据库系统，基于三层体系结构设计：
  1. 数据采集接口层；
  2. 实时数据管理服务层；
  3. 应用接口层。

数据库采用x86分布式集群技术与分布式存储技术，利用多台高性能PC服务器构建数据库集群，通过分布式网络存储技术（支持多台服务器分担存储负荷）解决了传统集中式存储中的单点瓶颈问题。为了进一步提升系统的可靠性、可扩展性与可用性，平台中还引入了位置服务、数据分片和动态负载均衡技术。

• 主要模块功能构成
  平台由四个主要模块组成：
  1. Gaia FES（数据采集服务模块）：用于从厂站控制和数据源采集预处理后的数据。
  2. Gaia HDB（分布式实时数据库服务模块）：支持多种标准接口（如OPCSV、ADO.NET等）的高效存储和访问服务。
  3. Gaia 客户端模块：包括SDK、报表工具、视图工具和门户工具，用于用户交互。
  4. Gaia 维护工作站产品：支持元数据定义和可视化图形界面设计。

2. 数据采集与管理

• 采集技术与优化
  前置通信网关（Gaia FES）采用基于时间分片的异步通信架构，支持多并发数据的采集。平台通过介质处理库对不同类型的设备，如以太网、串口、LonWorks等网络硬件进行适配，解决底层硬件差异和复杂通信环境带来的问题。

• 历史数据存储
  历史数据采用三级存储模式：

  1. 历史数据缓冲池，用于短期存储现场准实时数据；
  2. 历史数据文件队列，存储中期历史数据；
  3. 归档文件，用于长期保存历史数据。

数据存储策略结合自主研发“x-step”算法，实现无损与有损压缩的有机结合。

3. 模型中心与多层次管理

• 测点的层次化结构设计
  平台设计通用树状层次结构模型，基于CIM（公共信息模型）标准，提供灵活的模型配置管理，适配复杂电力系统需求。测点支持动态管理（如添加、修改或删除）且不需停止系统运行。

• 权限管理与安全
  平台采用基于角色的访问控制（RBAC）模型，由管理员灵活分配权限，并提供针对越权行为的防御机制。同时具备动态配置和热加载支持。

4. 数据分析与报警管理

• 计算服务
  平台提供算法库和在线计算引擎，用户可自定义脚本引擎满足数据分析需求。分析的结果以测点数据存储，支持上层调用。

• 报警管理
  支持综合报警功能（如阈值设定、信息查询、报警级别划分）并配备可定制化分析界面。

研究结果与意义

通过设计与实现，“gaia 分布式海量时序数据管理平台”已成功应用于国家电网山东省电力公司配电网能效管理项目，为山东全省17地市的97个县近4万台智能终端、约1300万测点提供了高效可靠的数据采集与管理服务。研究结果表明，该平台解决了以下关键问题：

1. 实现了真正意义上的分布式架构，显著提高了数据处理系统的可靠性和扩展性；
2. 基于模型中心设计，使上层应用能更高效地进行复杂数据分析和挖掘；
3. 时序数据的存储与访问得到优化，数据安全与权限管理保障能力显著增强；
4. 通过事件驱动的FES系统解决了海量终端的数据采集瓶颈。

学术与应用价值

该研究提出了电力行业中具有创新性与现实意义的分布式时序数据管理平台解决方案，在以下几个方面具有重大意义：

1. 学术贡献
   提出了基于模型中心结合分布式存储技术的统一管理方式，为实时数据库和电力系统的研究提供新视角和新方法。

2. 行业应用
   平台在实际项目落地中表现出强大的功能适配性和运维能力，对智能电网的大数据管理和推进信息化进程具有重要价值。

3. 技术创新
   如自主开发的“x-step”数据压缩算法、异步IoT数据采集技术及基于RBAC的安全控制系统等，为后续技术突破和系统优化提供了重要基石。

通过本研究，电力行业的实时大数据管理能力得到了全面提升，平台的成功应用为向全国进一步推广提供了重要范例。