您现在的位置: 新晨范文网 >> 设计论文 >> 数据库设计论文 >> 正文

多层分布式数据库传输路径匹配方法

2019/09/03 阅读:

摘要:传统多层分布式数据库数据的传输路径匹配准确度较低,对此提出基于时间序列索引的多层分布式数据库传输路径自动匹配方法。计算分布式数据库资源信息、初始信息序列、主要信息集合、信息属性权衡系数,整合数据库信息,建立BTREE索引,采用双向索引方式提取整合数据核心数据段,建立时间序列表,利用时间表对数据进行二次约束,对数据初始传输路径评估后与实际路径参数进行重合度对比,实现数据传输路径的自动匹配。实验数据表明,与传统传输路径匹配方式相比,设计的自动匹配方法完整数据传输路径匹配准确率提高24%,破损数据传输路径匹配准确率提高19%,具有实用优势性。

关键词:分布式数据库;传输路径;信息序列;信息集合;异构数据

引言

随着现代科技的飞速发展,我国社会经济结构、生产消费结构均发生了巨大变化。这些变化影响着我国国民生活的方方面面,尤其是近年来电子计算机技术的不断发展,导致我国计算机数据量与日俱增,传统的集中关系型数据库已经难以满足数据存储要求,多层分布式数据库应运而生。多层分布式数据库是现代市场上一款应用范围最广,功能强大的大型管理型数据库。该数据库具有极强的分布性、逻辑整理性。可以实现分布式计算、数据库透明访问,提高数据库传输负载,保证数据传输可靠性。此外,分布式数据库对于大型分布式数据和数据仓库具有较强的处理能力[1]。现阶段,我国市场上各大型企业和相关应用部门存储的应用数据多为异构数据。这些数据在存储和传输过程中,很容易出现较大的信息缺失,而缺损的部分会掩盖数据的空间相关信息,使其在同一时间序列下的连续历史数据,很难做到百分之百数据匹配,从而难以满足数据使用要求。对于上述情况,必须设计更高精度的数据库传输路径自动匹配方法,提高数据传输完整度。但是在进行传输路径自动匹配方法的研究设计中,数据库多变量信息和时间序列的整合问题,成为制约其发展的重要因素,对此设计基于关联数据联合驱动理念,首先对数据库信息进行整合,以此提取数据时间序列,最后根据整合信息对数据源信息进行二次规划,实现数据库传输路径自动匹配[2]。

1多层分布式数据库传输路径自动匹配方法设计

1.1数据库信息整合

想要提高分布式数据库信息传输路径自动匹配的精确度,首先需要对数据库信息进行整合。选取数据库中数据源的原始数据及信息,提取主要特征集,获取信息特征数据的属性权重量,通过分布式数据库的信息累积分布函数进行数据信息整合,其详细步骤如下:假设wf为预设函数f(t)的数据传输截止频率,f(n)为函数f(t)的采样序列,利用公式(1),可以表示需要整合的多层分布式数据库中的资源信息:式中,S0为公式的尺度函数;Sk为代表数据源信息在数据库高频段产生的数据误差项,d[k]为分布式数据代表采样值的数据源信息[3]。假设derty代表分布式数据库中采样率较低的数据源,gkker为需要进行数据整合的数据源的数据量。mgyu为需要整合的数据源信息必须满足的数据整合约束条件。通过公式(2)可以获取数据源的初始信息序列:式中,dghk为数据源信息内在的相关性数据;ffil为数据源的单一性特征。假设通过dgjo和drjo表示具有最高相同性的两个同属性消息源矩阵,kmert异构数据信息源存储区域,eety为采样差错率。根据公式(3)可以直接求取分布式数据库数据源的主要信息集合。式中,vfip为数据库数据采样位置判决机制系数,mkk为分布式数据库数据源信息类型数据量[4]。设dgik为数据源信息数据的属性相关性,Rqwe为数据库特殊Forbenius范数。根据公式(4)可以获取分布式数据库数据源信息属性的权衡系数:式中,sdfg为数据源信息联合稀疏的分散性阈值;fegh为数据源信息数据属性以及相关时空分布性。假设δfh为数据参数秩的近似值,rrhj代表分布式数据库数据源信息属性权重系数的对应权的权重向量空间,提出数据库异构数据信息的累积分布函数:式中,wdgj为异构信息在进行整合时的最大周期误差,ser为数据源信息的采样周期[5]。根据公式上述公式,即可通过分布式数据源的主成分变化规律,进行分布式数据库内信息资源的整合,其整合表达式为:式中,ssfgh为分布式数据库数据信息源主成分的变化规律。根据上述公式,即可对分布式数据库进行数据资源整合,为后续数据库传输路径匹配提供基础。

1.2获取信息时间序列

在完成多层分布式数据路数据资源整合后,为了提高后续数据传输匹配精度,设计采用数据核心成分重构法,对数据库整合数据资源信息时间序列的相空间,进行数据重构,建立时间索引表,获取信息时间序列。因为多层分布式数据库只负责异构数据的存储和读取,自身并没有明确的复杂性匹配方式,其固有的数据搜索引擎为KEY-Value[6]。虽然通过上述设计实现了数据库内异构数据的资源整合,但是KEY-Value搜索存储方式只能提供数据基本表,这种基本表虽然可以在数据底层提供搜索,但是并不是建立在存储引擎上的索引,而是存储自身索引。所以需要使用重构法,重新建立信息时间序列表。设计采用BTREE索引形式,通过数据库内的路径索引方位节点即pathID存储表获取路径映射,直接在数据路信息节点存储表中获取数据节点信息。BTREE索引是一种顺序结构,如表1所示[6]。表1记录了BTREE索引pathID的存储顺序,根据表1信息,调用数据库存储引擎在pathID上的路径KEY,并建立有图形式的BTREE索引,如图1所示[7]。建立BTREE索引形式后,即可建立信息时间序列表。具体步骤如下:首先重新利用BTREE索引对重组后的数据进行分割,提取固有核心数据字段。因为我们在数据表如PathIDindex里建立的BTREE索引为唯一索引,且数据索引路径的KEY不会重复,所以可以通过提前割除KEY的形式,比较是否具有重复节点[8]。BTREE索引采用双向搜索方式进行数据提取。所谓双向搜索就算将数据搜索分解成为两个不同的数据索引过程。利用BTREE搜索引擎沿正反两个不同方向,对数据库数据节点交替搜索和数据分割。直到两个方向的搜索程序在某一个数据节点相遇为止。正向搜索就是沿着分布式数据库上层数据节点向底层数据进行搜索,反向搜索是从目的节点向上层搜索。正向搜索时,基于原目的数据库数据节点搜索到某一节点T时,如果变更BTREE索引模式,转化为反向搜索,则以正向搜索节点T为临时终端节点,进行数据索引,然后反复迭代[9]。直到正反两个方向上的搜索节点重合为止。搜索过程中需要重新定义数据库比较函数,用于数据库Key的比较[10]。因为分布式数据库数据信息包括数据类的Key,也有纯字符形式的Key,所以需要重新定义数据数值和字符串,预设字符为:匹配时数据字符返回量为0,大于返回量为1小于返回量为-1。双向搜索完毕后,就可以调用数据库存储引擎预设的数据接口,创建信息时间序列。因为信息时间序列表是以数据路径编号创建的,而节点条目TID值可以看做是路径编号的Key值,所以路径编号就算数据节点的数据存储位置。只需要在创建时间序列表时,指定分布式数据库的存储引擎在路径编号列中创建BTREE索引,就相当于创建了数据路径编号表,再根据路径编号表,对应指定存储引擎中的Key,即可重组数据时间序列,获取序列表[11]。

1.3实现数据库传输路径自动匹配

以上述获取的分布式数据库数据信息时间序列表为核心依据,利用路径传输时间序列,对分布式数据库数据源信息的初始路径信息进行估计,提出分布式数据库信息向量和原始数据向量之间的路径比例关系,以此为依据进行传输路径的自动匹配[12]。设x(b)为多层分布式数据库数据源信息源中的第b个匹配信息,R(m)为每个匹配数据信息源进行数据匹配时产生的一组不固定伪随机数据号码,利用上述过程求取的分布式数据库信息时间序列表Rserty为核心依据,利用公式(7)对时间序列表上的整合数据源信息进行二次约束:式中,kfrty为数据库内任意匹配数据的数据源信息Yser和数据流随机序列sfh的乘积。根据公式(7)对数据库数据进行二次规划后,设计以阿米霍步长准则,对匹配数据进行初始路径评估,其评估公式为:式中,xcbklp为分布式数据库内信息的欠定状态系数,Qswert为数据库数据信息的负方向有效梯度;mswep为数据源信息进行路径匹配时的相关性参数阈值。根据公式(8)获取的评估参数,与实际路径参数进行重合匹配,如果匹配度超过阈值,则证明可以进行多层分布式数据库的数据路径传输,否则不能进行。其实际路径参数计算公式为:式中,khui为低阶数据库数据矩阵;μswpp为数据源数据信息;mder为数据库内的数据源信息匹配奇异值的数据异常分布量;pgyu为数据源信息的匹配维度空间。hlpo为数据库匹配信息元素的集合向。以公式(9)求取得计算结果为依据,即可实现路径自行匹配。

2实验数据分析

多层分布式数据库信息[13-15]传输路径自动匹配准确率设计方法的有效性和操作价值需要通过实际数据信息传输效果进行确定。对此,进行实际数据传输路径匹配实验,分析传输过程数据。在MAT-LAB7.5环境下,搭建数据库传输路径匹配平台。数据样本采用国内某大型数据库提供的2016年以来国内卫星观测到的地质数据信息资料,设定实验组和对比组,令实验组选择传统数据路径匹配方法,令对比组选择新设计的传输路径自动匹配方法,将数据信息分别提供给两组,进行传输路径匹配。

2.1数据完整度计算

实验对比分析的第一阶段为完整数据对比。在实验前需要对数据完整性进行评价确认。从分布式数据库数据的信息丢失率和拟合度两方面,进行样本比对分析。验证实验用数据是否为完整数据。设γjko为数据样本类型,jkio为实验数据内个数据之间的关联性,ljko为源数据信息结构,则根据公式(10)可以计算实验数据的完整性。其fhui值越高,则证明信息数据完整度越高。实验用数据完整度必须达到98%以上。

2.2完整数据传输路径匹配准确率对比

将通过完整度计算的实验数据作为最终样本,划分为10个数据组。分别通过实验组和对比组进行数据传输路径匹配,并对比最终匹配度。其结果如图2所示。根据图2数据可以清晰地看出,实验样本10组数据库传输数据路径匹配过程中,实验组匹配均在70%以上,对比组实传输路径自动匹配准确率则处于50%到70%之间,实验组整体准确率明显高于对比组。经过实际计算可以确定,实验组对于完成数据传输路径匹配准确率提高了24%,具有较强优势性。2.3破损数据传输路径匹配准确率对比因为异构数据在存储过程中很容易出现数据破损,对于破损数据传输路径的自动匹配同样是其整体优势性的重要参照指标。对此,重新提取实验样本,所有数据均换为破损数据,进行数据传输路径自动匹配,其整体数据对比结果如表2所示。根据表2数据可以看出,在7组实验目标数据传输路径的自动匹配中,实验组数据匹配量和对应匹配精度同样高于对比组。可以进一步证明,设计的多层分布式数据库传输路径自动匹配方法可以有效提高数据路径匹配准确度。

3结束语

分布式数据库的整合和应用是未来数据管理的趋势,也是核心技术阵地。对于该领域的研究创新,符合当前数据管理行业的大方向。对此,针对传统分布式数据库传输路径自动匹配方法信息匹配准确率较低的问题,基于数据时间序列,提出新型数据路径自动匹配方法。设计通过数据整合和建立独立索引,提取核心字段,再进行匹配,可以有效提高匹配的精确度。在未来研究中,可以从实验数据样本入手,通过研究更复杂的数据情况,进一步提高数据整合度,从而加强路径自动匹配精度。

参考文献

[1]吕红艳.分布式数据库安全性在无线传感网络中的研究[J].甘肃科技纵横,2017,46(3):8-10.

[2]马东波.分布式数据库一致性方法研究[J].科技尚品,2017,(2):160-160.

[3]苏恒阳.网络通讯分布式数据库信息检索技术研究[J].信息通信,2017,(9):211-213.

[4]孙乔,付兰梅,裴旭斌,等.基于一致性哈希的分布式数据库性能拓展[J].计算机应用,2016,36(s2):218-220.

[5]丁强龙,王津,张学杰.基于子模式的关系数据到图数据ETL方法研究[J].计算机工程与应用,2017,53(12):76-84.

[6]肖凌,刘继红,姚建初.分布式数据库系统的研究与应用[J].计算机工程,2001,27(1):33-35.

[7]张旭刚,李东辉,俞俊,等.基于zookeeper和强一致性复制实现MySQL分布式数据库集群[J].微型电脑应用,2016,32(1):77-80.

[8]林基明,班文娇,王俊义,等.基于并行遗传-最大最小蚁群算法的分布式数据库查询优化[J].计算机应用,2016,36(3):675-680.

[9]朱涛,郭进伟,周欢,等.分布式数据库中一致性与可用性的关系[J].软件学报,2018,(1):131-149.

[10]王欣,周晓梅.云计算环境下大数据合理分流技术研究与仿真[J].计算机仿真,2016,33(3):292-295.

[11]王珏,孟晓蕊.分布式数据库同步中间件系统的设计与研究[J].现代电子技术,2016,39(9):31-36.

[12]孙乔,付兰梅,裴旭斌,等.基于一致性哈希的分布式数据库性能拓展[J].计算机应用,2016,36(s2):218-220.

[13]吴庆曦,彭晖,王瑾,等.电网调控集群分布式实时数据库的设计与关键技术[J].电力系统自动化,2017,(22):89-95.

[14]周翔宇,程春玲,杨雁莹.基于分布式内存数据库的移动对象全时态索引[J].计算机科学,2016,43(7):203-207.

[15]林基明,班文娇,王俊义,等.基于并行遗传-最大最小蚁群算法的分布式数据库查询优化[J].计算机应用,2016,36(3):675-680.

作者:朱飞燕 杨荣 单位:西安航空职业技术学院

多层分布式数据库传输路径匹配方法

2019/09/03 阅读:

推荐度:

免费复制文章