基于一种进化模型的rbf网络参数优化
张刚林,刘光灿
(长沙学院电子与通信工程系,湖南长沙410003)
摘 要:优化rbf网络中的参数是一个非常复杂的问题,因为其目标函数包含大量的局部****点。提出一种基于群的算法发生器模型来优化rbf网络中的中心和宽度,并同时用最小二乘法优化其线性权重:该进化模型的优势在于把搜索任务进行功能分解。一种****的mackey-glass混沌时间序列被用来检验算法的性能。无验结果表明,提出的算法要优于其他一些算法,如^均值算法、遗传算法或粒子群算法的预测结果。
关键词:rbf神经网络;参数估计;进化模型
中图分类号:tp 27 文献标识码:a
1引言
由于可以以任意精度逼近任何函数,前馈人工神经网络一直是学术界研究和应用的热点,在这一点上,rbf神经网络已经从理论下被证明。由于其简单的结构、非线性逼近的精度和快速学习的能力,它已成为最流行的前馈神经网络之一。然而,由于目标函数包含大量的局部****点,估计神经网络模型中的参数是一个非常困难的优化问题。以往的研究表明,rbf网络中心的选择对模型的性能有着重大的影响,它也是优化的主要任务。日前,比较常用的优化rbf网络中心的方法有遗传算法、群蚁算法及粒子群等。本文提出了一种基于群的算法发生器模型来优化rbf神经网络中的中心和宽度,并同时用最小二乘法优化其线性权重。为其他一些算法比较,rbf神经网络被用来预测一种标准的时间序列。实验结果表明提出的算法要优于现存的一些算法。
2 rbf神经网络结构
rbf神经网络是一种特殊的3层的前馈网络,包括输入层、隐含层和输出层。不失一般性,图l含一个输出结点的rbf网络框架图,如图l所示。
其输入输出关系可表示为
式中,w0称为偏差;wk(k=l,2,…,m)为连接隐含结点和输出结点的权重;m为隐含层结点数目;φ(x,zi)为基函数,表示第i个结点输入向量x和其中心zi的距离:
最常用的径向基函数是高斯形式的:
式中,σ为宽度
结合方程(1)和(2),高斯rbf神经网络可表示为
3 rbf神经网络的参数估计算法
估计rbf网络中的参数是非常困难的,因为其目标函数有大量的局部****点。进化算法是模仿自然界中生物群体的选择、杂交、变异等行为而发展起来的一种优化算法,它是建立在自然选择和适者生存机理基础上的迭代概率性搜索算法。利用进化算法可以在解空间内对解进行多点随机搜索,并找出****解,由于进化算法的随机特性,所有解都有被搜索的可能,因而可以找到全局****解。而且进化算法作为一种全局搜索的算法有目标函数不需可微或连续、易执行和稳健性等优点。最近d提出了一种实数编码的基于群的算法发生器。这种方法把搜索分为4个独立的策略:选择策略;生成后代策略;替换策略;更新策略。基于这种基于群的算法发生器本文提出了一种进化模型来优化rbf网络参数。
算法的具体执行步骤如下:
stepl 记rrf网络的线性权重为
记中心和宽度为
为表述方便,把模型(3)写成如下两种形式:
step2在可能解空间初始化规模为n的群体来表示可能的rbf网络中心和宽度向量记为:x1,x 2,…,xn。
|