浅谈智能动态监测数据采集技术与架构范文

摘要：面向集中式需求侧资源协同管理，通过集中各用户侧数据，进行分析统计，并通过灵活互动的方式统一调度各用户侧用电策略，如用电高峰时停用某些设备、减少运行的空调机组等，达到减少或推移某时段的用电负荷，从而保证电网系统的稳定性，达到高峰时少用电，低谷时多用电，提高供电效率、优化用电方式。其中，数据的采集是交互式统一调度的关键。

关键词：需求侧；用户侧；数据采集

引言

面向集中式需求侧资源协同管理，需要将各用户侧数据采集到需求侧数据中心，由需求侧数据中心统一管理及进行调度。本文仅针对其中的数据采集技术及框架进行研究和探讨，分别从确定用户侧数据范围、确定传输方式、数据采集框架、数据处理、数据存储、决策调度六个方面进行阐述。

1用户侧数据范围

用户侧数据包含电能数据、环境数据、设备运行状态三大类数据。（1）电能数据：有功总电量、有功总功率、电流、电压、功率因数、频率、谐波等，此类数据通过多功能电力控制终端采集。（2）环境数据：温度、湿度、天气、风向等，此类数据一部分通过温湿度传感器采集，一部分通过天气网API接口采集。（3）设备运行状态：启用、停止、故障等，此类数据通过多功能电力控制终端采集。

2数据传输方式

数据传输采用传统的TCP/IP协议，但又分为有线传输和无线传输。（1）有线传输：如果用户侧和需求侧在同一个局域网内，或通过VPN等方式达到在一个局域网内时，可以采用有线传输，此类方式可以利用现成的设备和网络环境。（2）无线传输：如果不能利用有线传输的方式时，可考虑无线传输，此时需要采用GPRS等无线传输方式。

3探讨采集架构

确定了数据范围和数据传输方式之后，我们将采集架构设计为三层：系统成、中间层、用户层。设计的采集架构如下图。

3.1用户层

用户层负责数据的收集，然后向中间层进行数据上传。有线模式通过数据采集器从多功能电力终端中采集数据，中间层采集处理服务器定时从数据采集器中读取数据，此类数据采集需要中间层和用户层网络互通。无线模式则通过无线网关收集数据，主动向数据采集服务器上传数据，此类数据需要通过无线智能插座，将数据发送到无线智能网关，再通过GPRS等无线方式数据上传。

3.2中间层

中间层主要包含数据采集和数据调度的服务，负责数据的接收、处理、存储、以及调度指令的下发。数据接收针对有线模式和无线模式单独提供对应的接口通道。数据处理针对接收后的数据进行一系列的校验、处理、汇总计算，并存入系统层的数据。中间层设计时应考虑断点续传功能，有线模式下的数据采集器自带存储，但无线模式下上传的是实时数据。

3.3系统层

系统层包含数据中心、分析子系统、角色子系统3个部分。数据中心负责数据的存储，提供数据给分析子系统展示并提供相应的报表。决策者根据分析结果，制定相应的调度决策。决策子系统将决策下达给中间层，并由中间层根据传输模式下达给对应的用户侧。

4数据处理

数据中心层接收到用户侧数据后，需要针对数据进行一系列的校验、处理、汇总计算。

4.1数据校验

检查校验数据包的合法性，数据包格式是否正确，数据包包含的信息是否完整，数据包目的地址是否正确，数据采集时间是否合法，数据中心是否存在与数据包指定用能对象匹配的信息。

4.2数据解析

解析接收到的原始数据包为系统可以识别的数据格式，并持久化保存到数据库中。

4.3归一化

数据中心需要将原始的用户侧不规范的采集时间、不同的采集频率的数据时间格式进行标准化，同时针对不同的计量单位进行归一化预处理，为下一步的汇总计划提供统一计量单位和统一时间口径的数据。

4.4异常数据过滤

数据被统一规范之后，还要进行异常过滤。针对不同类的数据分别设定不同判定准则，同时可参考历史环比、同比数据进行判定。判定结束之后将异常数据打上标志，如数据过大、数据过小、数据离线等标志。

4.5数据平滑

如果数据中存在被判定为异常数据的情况，此时异常数据被滤过，数据的连续性丢失，中间会缼失被过滤的数据，此时需要将缼失的数据补齐。可以采用数据平均算法，或根据数字趋势模型进行平滑。

4.6汇总计算

在保证数据标准统一、数据连续性的情况下，针对于累计量（如有功总电量）的电能阐述，按照用能的分类分项把数据进行归类，并计算汇总出对应的小时、日、月、年用能数据。

4.7持久化保存

最后将标准化的数据及汇总好的数据持久化存入数据中心，以便需求侧进行分析，定制更加合理的调度方案。

5数据存储

根据数据的属性和用途，可以将数据分库存储。配置库：存储各用户侧的配置数据，包含用户侧信息、建筑信息、设备、设备点等。原始库：存储直接采集过来的数据，不加任何修饰、处理。基础库：经过归一化、异常过滤、数据平滑之后的数据存储。针对累计量的数据需要存入小时、日、月、年的数据。关系库：根据用能分类风向汇总的小时、日、月、年数据存储到关系库。

6集中调度

决策子系统根据监测到的数据进行智能分析，制定总体的调度目标，并能智能分解调度目标，通过调度服务下达调度指令到各用户侧。用户侧根据接收到的指令进行分别调控，并将数据实时返回给调度服务。

参考文献

[1]自动化技术.计算机技术[J].中国无线电电子学文摘,2013(04):163-240

作者：覃斌志 赵祖鑫 钟志东 胡德凤 马丽 单位：广西电网有限责任公司南宁供电局