浅谈电子信息实验大数据系统建设范文

摘要：论述了大数据的概念、特点及发展趋势，分析了大数据技术对于电子信息装备试验的重要意义，之后以大数据通用框架为基础，结合电子信息装备试验的现状及特点，构建了电子信息装备试验大数据系统的基本框架，并按照数据库规划、数据仓库构建、联机分析、数据挖掘、智能决策的主线，对电子信息装备试验领域的大数据建设与应用方法进行了初步探讨。

关键词：大数据;装备试验;数据库

近年来，为适应信息化条件下战斗力生成模式转变，电子信息装备试验开始逐步向复杂环境下、实战化模式转变，随着信息技术的飞速发展，随之而来的“数据爆炸”问题也越来越突出，现有的技术手段逐渐无法满足数据规范化管理、实时化处理、多样化展示等新要求。大数据技术是一类为解决“海量数据”采集、存储、管理、分析与展示等问题而产生的技术的统称，其在民用、商用领域已得到了广泛地应用与发展。以当前通用的大数据体系框架为基础，结合电子信息装备试验的实际需求与现实条件，探索电子信息装备试验领域大数据系统的建设与应用方法，实现试验数据的精细化采集、实时化处理、规范化存储管理、深度挖掘及多样化展示，对于解决当前信息资源应用领域存在的诸如数据库建设不完善，数据标准不规范，信息资源开放程度差，缺乏共享意识等实际问题，提高信息资源利用率，满足未来实战化试验的发展要求具有重要意义。

1大数据概述

“大数据”是近年来出现的热门词语，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。大数据的特点一般可用4V来概括[1]，即：数据数量（Volume）大，数据类型（Variety）多，数据处理速度（Velocity）快，价值（Value）密度低。从表象看，大数据就是一个容量特别大、数据类型特别多的数据集，其既不是一种新的技术，也不是一种新的产品，而是我们这个时代出现的一种新的现象；从内涵看，大数据的价值不在于海量数据本身，而在于通过对海量数据进行智能分析提取，为组织机构带来的信息优势、知识优势和决策优势，这也是大数据和海量数据的根本区别，也就是说海量数据是大数据的一个特征，而不能反过来说海量数据就是大数据。正如涂子沛的《大数据》中所说：“大数据”之大，并不仅仅在于“容量之大”，更大意义在于：通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，从而带来“大科技”、“大利润”和“大发展”[2]。大数据技术是从海量数据中快速获得有价值信息的各类相关技术的统称，大数据系统则是各类大数据技术有机集成形成的数据处理与应用系统，一个完整的大数据系统一般由“数据采集与预处理、数据存储与管理、数据分析与处理、数据挖掘与应用”等几部分构成[3]，如图1所示。其建设过程归纳起来可以表示为“始于数据库、统于数据仓库、跃于联机分析、成于数据挖掘、归于智能决策”。

2电子信息装备试验信息资源建设现状

客观而言，在当前的电子信息装备试验领域中，信息资源的建设已经具备一定的基础，如建设了“科技信息管理系统”等数据应用系统，对试验、科研等过程中产生的电子文档、数据、视频、试验结果等进行集中入库和管理；建成了《数据名录》和《数据应用字典》，可为试验数据信息化建设提供基础数据标准；建立了各类专业数据库，如装备数据库、地理信息系统、气象数据库、仿真试验系统基础数据库、指挥导调数据库等，能够为科研、试验、训练提供情报支持。但不可否认的是，由于早期规划不够系统，使得信息资源的利用上仍然存在着诸多问题，具体表现为：（1）缺乏整体规划，“信息孤岛”现象突出一方面，由于缺乏整体规划，当前建立的各类数据库平台主要面向各部门的专业业务，采用的标准不尽相同，系统间缺乏统一、规范的数据共享机制；另一方面，由于信息共享的硬件平台和软件平台均不足，特别是缺乏提供信息共享的信息资源管理平台，如目录管理系统、共享服务系统等，导致各类数据之间很难进行有效的信息共享与交互，形成了本部门共享的多、跨部门共享的少，可供浏览的多、融合交换的少的“信息孤岛”现象。（2）信息资源的内容有待丰富，信息获取与处理手段有待提高一方面，目前的试验训练数据还缺乏整体的数据资源规划，采集的数据信息涵盖范围较窄，且数据完整性、一致性和关联性不足，难以进行深层次的开发与利用；另一方面，现有的信息获取以人工采集为主，缺乏完整、高效的数据采集与处理系统，数据来源渠道单一，数据处理以事后处理为主，实时性较差，很难满足实战化试验训练任务要求。（3）信息应用平台功能单一，信息服务有待丰富和完善目前各类信息应用平台的功能以试验、训练、科研信息的存储与管理为主，主要提供基本信息查询服务，对于数据处理与评估，跨库查询、数据调用、多维报表、辅助决策等个性化功能的支持较差，用户很难直接通过信息应用平台获得满意的服务。总结起来，可以说随着电子信息装备试验领域信息化建设的不断深入及实战化试验训练要求的不断提高，当前的信息资源建设与应用水平已对领域业务的发展形成了制约，需要建设一套完整、规范、高效、灵活的数据资源集成和共享服务平台。

3电子信息装备试验大数据系统架构

依据大数据系统建设的一般流程，结合现有条件，给出电子信息装备试验大数据系统的总体结构，如图2所示。系统基于SOA的数据服务模式，对各类信息资源进行封装，提供统一的数据应用服务平台。整个系统结构整体上可分为系统用户、数据联机分析处理平台、数据仓库以及基础设施等四个层次。（1）系统用户层主要划分用户类型（如科研用户、试验用户、仿真用户、管理层用户等），确定用户的身份，并根据其身份的不同获取授权信息，确定访问权限，通过用户类型的定义与对应权限的划分，实现对共享资源的分配与控制。（2）数据联机分析与处理平台数据联机分析与处理平台又可分为四个层次，分别为数据应用工具、SOA服务总线、应用支持服务以及SOA数据总线。数据应用工具提供用户操作界面，包括常规应用和个性服务。常规应用包括数据检索查询、数据定制分发、数据回放展示、报表服务、联机分析等常规的数据应用工具；个性服务则针对特定的业务需求，实现方案辅助设计、作战机理研究、试验效果评估等高级应用。SOA服务总线用于连接数据应用工具与应用支持服务，通过响应数据应用工具的服务请求，调用或释放系统共用模块资源和专用服务模块资源，从而实现应用工具与底层服务的分离，提供了系统的灵活性。应用支持服务即用于对各类应用工具进行支持，通过数据总线实现数据仓库系统相交互的各类底层服务的集合，具体包括：服务注册、服务授权、数字签名、元数据管理、数据变更管理、目录索引维护、导航树维护、视图管理、展现模板管理、跨库检索管理、数据集成、本体服务等。SOA数据总线负责调用、释放和协调应用支持服务对数据库层的数据操作请求，返还数据请求结果，同时还包括公共通信接口模块以及跨层数据访问接口模块，公共通信接口模块负责系统和其它外部数据源的通讯，完成数据的底层导入导出，跨层数据访问接口模块则提供ODBC、JDBC、ADO、ADO.NET等数据访问接口，用于实现应用工具对底层数据库的跨层直接访问，适用于基于底层数据库应用开发。（3）数据仓库数据仓库是系统的核心，主要用于数据的采集、处理、存储、管理等功能，从底向上分为数据体系规划、外部数据源、基础数据库以及主题数据库四个层次。装备试验数据体系规划，主要解决两个问题。一是根据装备试验的业务流程及需求，建立总体的装备试验数据体系，从而解决需要什么数据的问题，二是结合数据仓库总体规划数及据本身特点，制定装备试验数据资源基础标准，解决需要什么样式数据的问题。外部数据源即数据的来源，根据装备试验数据体系规划，选择合适的数据采集手段，从装备试验、仿真实验、外部情报研究、互联网等渠道采集所需的数据，形成源源不断的数据积累与更新，并根据装备试验数据资源基础标准对原始数据进行数据清洗、数据转换等预处理工作，从而规范数据格式，提高数据质量。基础数据库是在对靶场现有数据库进行转换和继承基础上，通过开展数据更新、整合、加载和部署，构建的信息资源基础数据库体系，包括用户库、试验数据库、装备数据库、仿真模型库、测绘信息库、点位信息库、气象信息库等一系列基础数据库，这些基础数据库一方面对接外部数据源，实现数据的添加、删除、更新等功能，一方面将稳定的、准确的信息资源提供给上层的主题业务库，为数据的高级应用提供资源支撑。主题数据库是根据装备试验业务需求，综合集成多个基础数据库资源形成的跨专业综合应用数据库，如任务筹划主题库、作战试验主题库、情报分析主题库、仿真实验主题库等等。主题数据库都面向综合业务应用，通过逻辑上的关系对基础数据库进行关联，并获取所需资源。这样以来，操作人员就能很容易根据不同的业务需求，集成不同的基础数据库形成新的主题库，即节约了成本，又增强了系统的灵活性。（4）基础设施层基础设施层，包含了服务器、网络设备、磁盘阵列、虚拟磁带库等硬件设备以及支持系统正常运行的操作系统软件，网络管理软件、系统备份软件、数据安全软件等，为系统提供基础支撑。总体上说，该体系结构一方面继承了当前已建成的部分信息系统以及基础数据库，在不改变原有系统基本功能的情况下，仅对将数据应用服务模式按照SOA的标准进行开发和集成，最大限度的保持了现有信息系统的稳定性，保证了资源的充分利用；另一方面由于通过层次化封装与模块化开发实现系统具体功能，降低业务逻辑与数据的耦合度，能够在不改变原有架构的条件下实现系统功能灵活扩展，对于快速有效的应对业务需求变更，消除异构数据环境差异，提高数据的利用率具有重要意义。

4结束语

随着信息技术的不断发展，“大数据”的建设应用研究已经成为国内外、军内外普遍关注的热点。电子信息装备试验过程中产生的信息具有典型的大数据特点，本文围绕电子信息装备试验数据的整合与应用工作展开研究，探讨了大数据的基本理念、理论和方法，在此基础上结合实际需求提出了电子信息装备试验数据资源建设总体架构，下一步将针对文中提到的信息资源的采集、传输、存储、管理、处理与应用等具体的重难点问题展开深入研究，以全面改善信息资源开发利用环境和应用水平。

参考文献

[1]张泽,孙炜,蔡宏刚.大数据技术初探[J].通信与计算技术.2013.12,33(4):27-29.

[2]徐子沛.大数据[M].桂林:广西师范大学出版社,2012.07.

[3]孔德志,刘群兴.大数据技术及其应用[J].计算机科学与技术.2013.11,31(增刊1):90-95.

作者：郝旭东 苑建伟 刘道伟 单位：中国洛阳电子信息装备试验中心