网络规划论文：神经网络的估量规划与运用范文

作者：肖红李盼池单位：东北石油大学计算机与信息技术学院

为了充分模拟生物神经元的时间累积效果，以便提高传统神经网络的逼近能力，本文提出一种基于序列输入的神经网络模型(sequenceinput-basedneuralnetworks,SINN)，该模型的每个输入样本为多维离散序列，可表述为一个矩阵。基于L-M算法设计了该模型的学习算法。以太阳黑子数年均值预测为例，仿真结果表明，当输入节点数和序列长度比较接近时，该模型的逼近和预测能力明显优于普通神经网络。

基于序列输入的神经网络模型

1基于序列输入的神经元模型

对于n×q矩阵式样本，普通神经元将每一列视为单个样本，而将整个矩阵视为q个n维样本。为实现对矩阵式样本的整体映射，本文提出序列神经元模型，如图1所示。

2基于序列输入的神经网络模型

本文提出的序列输入神经网络模型为三层结构，隐层为序列神经元，输出层为普通神经元，如图3所示，图中g为sigmoid函数。

基于序列输入的神经网络算法

1算法原理

令输入层n个节点，隐层p个节点，输出层m个节点。给定L个学习样本，其中第l(l=1,2,,L)个样本可表示为若逼近误差小于等于预先设定的限定误差，或迭代步数带到预先设定的最大步数，则算法终止。

2实施方案

Step1模型初始化。包括：序列长度、各层节点数，各层权值的迭代初值，限定误差E，限定步数G。置当前代数g=1。Step2按式(4-5)计算各层输出，按式(6-15)调整网络权值。Step3按式(16)计算逼近误差maxE，若E>Emax或g<G，则g=g+1转Step2，否则转Step4。Step4保存各层权值，停机。

仿真对比

1Mackey-Glass时间序列逼近

本节以Mackey-Glass数据逼近作为仿真对象，并与普通三层ANN对比，验证SINN的优越性。Mackey-Glass序列样本可由下式产生为使对比公平，两种算法采用相同的网络结构，且均采用L-M算法调整权值。由上式生成序列仿真方案为用前面的m个数据，预测紧邻其后的1个(即第m+1个)数据。因此两种模型的输出层均只有一个节点。为使对比充分，两种模型隐层均取5,10,,20个节点。样本归一化后的限定误差取0.05，限定步数取100。两种模型的初始权值均在(-1,1)中随机选取，L-M算法的控制参数=0.05tµ。ANN隐层和输出层采用Sigmoid函数。

根据仿真方案，我们取预测长度m=24。令SINN输入节点为n，序列长度为q，显然，q反映在时间上的积累。为考察SINN的性能，即考察当n和q满足什么关系时，SINN的性能最佳，我们将SINN输入节点n和序列长度q分别取为表1所示的8种情况，显然ANN的输入节点只有m=24一种情形。为便于对比，首先定义收敛的概念。算法终止后，若逼近误差小于限定误差，称算法收敛。

对于输入节点和隐层节点的每种组合，分别用两种模型仿真10次，并记录每种模型的平均逼近误差、平均迭代步数、平均收敛次数作为评价指标。仿真结果表明，SINN3_8、SIQNN4_6、SIQNN6_4、SIQNN8_3这四种SINN的逼近能力明显优于ANN。两种模型的训练结果对比如图4-6所示。

2太阳黑子数年均值预测

太阳黑子是太阳活动中最基本、最明显的活动现象。太阳黑子产生的带电离子，可以破坏地球高空的电离层，使大气发生异常，还会干扰地球磁场，从而使电讯中断，因此研究太阳黑子的变换规律有着重要的现实意义。本节利用观测数据，采用SINN建立太阳黑子的预测模型，并通过与ANN和PNN对比，验证SINN的优越性。

2.1构造样本数据

本实验采用太阳黑子的年度平均值序列作为仿真对象，从1749年至2007年，共计259个数据。该数据呈现高度非线性，致使常规预测模型很难凑效。其分布特征如图7所示。样本数据的构造方法是：用连续24年的数据预测其后1年的太阳黑子数。例如用1749-1773年数据预测1774年的太阳黑子数，以此类推。用1749-1948共200年的数据构造训练样本集，完成模型训练。用余下的59个样本作为测试集，以检验模型的预测能力。

2.2模型参数设置

本仿真将SINN与采用L-M算法的ANN和PNN对比。隐层均分别取10,11,,25个节点。根据上节结果，我们仅考察SINN3_8、SINN4_6、SINN6_4、SINN8_3四种模型。限定误差取0.05，限定步数取1000。PNN输入输出均为一个节点，正交基采用24个Fourier基函数。

4.2.3训练结果对比

对于隐层节点的每种取值，分别用ANN、PNN和四种SINN训练10次，并统计平均逼近误差、平均迭代步数、收敛次数，作为评价指标。训练结果对比如图8-10所示。

2.4预测结果对比

下面考察SINN和PNN、ANN的预测性能对比。以隐层20个节点为例，将ANN、PNN和4种SINN分别用训练集训练10次，每次训练之后，不论是否收敛，立即用测试集预测，然后统计最大误差maxE、误差均值avgE、误差方差varE这三项指标的10次预测平均值，对比结果如表2所示，以SINN4_6为例，对比曲线如图11所示。

3对仿真结果的分析

综合以上两个仿真结果可知，当输入节点n和序列长q比较接近时，SINN的逼近及预测能力明显好于PNN和ANN。对此可作如下分析。SINN直接接收离散序列，通过两次映射将输入序列循环地映射为隐层序列神经元的输出，由于序列神经元采用了更多可调的权值，所以SINN有更强的逼近能力。从SINN算法可以看出，输入节点可以视为模式记忆的宽度，而序列长度可以视为模式记忆的深度，当宽度和深度适当匹配时，SINN呈现出明显优于PNN和ANN的性能。对于PNN由于只能以深度方式获取样本信息，加之正交基展开带来的截断误差，必然导致逼近能力下降。对于ANN，由于只能接收几何点式的向量输入，即只能以宽度方式而不能以深度方式获取样本信息，因此在ANN的信息处理过程中，不可避免地存在样本信息的丢失，从而使逼近能力受到影响。

结论

本文提出了一种基于序列输入的神经网络模型及算法。仿真结果揭示出，该模型可以使SINN从宽度和深度两方面高效的获取样本信息，当输入节点和序列长度比较接近时可明显提高其逼近和泛化能力。