混沌神经网络

2020-12-29 14:14:44 浏览:948

由于神经网络是高度非线性动力学系统,而混沌又具有上述的特性,因此神经网络与混沌密切相关,所以混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一。

混沌

混沌理论、相对论和量子力学被称为是二十世纪最富有创造性的三次革命。混沌理论是非线性科学中的一个重要分支。近年来,人们对混沌理论展开了广泛和深入地研究,伴随着计算机等科学技术的迅猛发展,混沌学已成为一门影响深远、发展迅速的前沿学科。混沌的特征主要有:非周期性、内随机性、初始值敏感性、整体稳定蕴含着局部不稳定、遍历性、奇异吸引子、分岔。

“聚散有法,周行而不殆,回复而不闭”就是对混沌的真实写照[1]。即混沌运动轨道完全受规律支配,在有限的空间永远运动着,但相空间中轨道运动不会中止,运动轨迹不相交也不闭合,轨道之间无限接近,或者彼此分离,表现为无序的内随机性。然而它又不是完全的杂乱无序,它可以由简单的确定性规则触发而产生,通过控制参数能轻而易举地改变其运动轨迹,并可使细微的初值差别通过一定时间的状态演变而发生巨大的变化,但最终状态又无法预测表面上的非周期背后隐藏着有序性。

要给混沌一个非常精确的定义非常困难,目前学术界还没有一个统一的科学定义。非线性动力学对混沌的研究是最为严密,最为系统的。它从物理和数学的角度有针对性的提出了一些用于理论推导和判定的依据,也提供了可供实际测量的参考标度,对混沌的研究和发展打下了坚实的基础。最有名的混沌数学定义是Li-Yorke混沌定义和Devaney混沌定义。

目前对混沌神经网络的研究还处于初始阶段,其研究主要限于认识单个神经元的混沌特性和对简单混沌神经网络的行为分析。1990年,Aihara等在前人推导和动物实验的基础上,给出了一个混沌神经网络模型。大量的生物实验表明,脑神经系统具有分岔、混沌和奇怪吸引子动力学行为,然而,神经网络作为一个极其复杂的非线性系统是否也具有类似的动力学行为呢?下面先介绍一种混沌神经元(Hopfield神经网络)的基本模型,进而引出了混沌神经网络模型。

Hopfield神经网络

目前广泛研究的混沌神经网络模型是在Hopfield神经网络中引入了一个具有混沌特性的负反馈项,进而得到了混沌神经网络模型,因此在深入研究混沌神经网络之前,有必要先介绍一下Hopfield神经网络。

1982年,美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网络模型(HNN),引入了“能量函数”(Lyapunov函数)概念,把优化的目标函数和能量函数结合起来,转换到求解能量函数的最小值问题,用函数极小值问题代替了复杂的联想存储器问题,即Lyapunov指数,提供了ANN稳定性判定依据。通过递归的方式,引入自反馈,自动修正网络的输出,使网络具有联想记忆,并具有求解优化问题的能力,揭示了ANN与动力学的关系。1984年,Hopfield设计出了网络的模拟电路,较好地解决了著名的TSP问题,做到了理论与实际相结合,引起了学术界的轰动。

网络结构

上图为Hopfield神经网络结构图。Hopfield神经网络是一种单层互相全连接的反馈型神经网络。每个神经元既是输入也是输出,网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元,同时又都接收所有其它神经元传递过来的信息。即:网络中的神经元在t时刻的输出状态实际上间接地与自己t-1时刻的输出状态有关。神经元之间互连接,所以得到的权重矩阵将是对称矩阵[4]

训练方法

Hopfield神经网络引入了能量函数的概念,使网络的稳定性有了可靠的依据。Hopfield神经网络的状态变化可以用差分方程来表示,当网络达到稳定状态时,它的能量函数达到最小值。

  • DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始,若能经有限次递归后,其状态不再发生变化,即X(t+1)=X(t),则称该网络是稳定的[5]
  • 如果网络是稳定的,它可以从任一初态收敛到一个稳态。

  • 若网络是不稳定的,由于DHNN网每个节点的状态只有1和-1两种情况,网络不可能出现无限发散的情况,而只可能出现限幅的自持振荡,这种网络称为有限环网络。

应用

1、如果把吸引子视为问题的解,从初态朝吸引子演变的过程便是求解计算的过程。
2、若把需记忆的样本信息存储于网络不同的吸引子,当输入含有部分记忆信息的样本时,网络的演变过程便是从部分信息寻找全部信息,即联想回忆的过程。

混沌神经网络

混沌存在于非线性系统里,是该系统的一种特有现象,而人的大脑本身是一种非常典型的非线性系统,显然就蕴藏着混沌现象。人工神经网络技术恰恰就是去模拟人的大脑,自然就不能撇开混沌。虽然混沌和人工神经网络各有各的特性,但从本质上讲,二者存在共性,即系统的非线性和状态的模拟性。正因为如此,人们就很自然的将二者结合起来,创立了一种新的智能信息处理技术,即混沌神经网络。

在上世纪90年代,为了研究和掌握生物神经元的混沌特性,K.Aihara、T.Takabe和M.Toyoda等人首次提出混沌神经网络模型,建立了具有混沌特性的神经网络模型,使得人工神经网络具有混沌行为,更加接近实际的人脑神经网络。和静态的神经网络相比,混沌神经网络具有丰富的动力学行为,包括稳定平衡点、周期分叉、混沌等。因而混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一,已成为了神经网络的主要研究方向之一,开辟了一条新的人工智能信息处理研究之路。

迄今为止,人们已经相继提出了多种混沌神经网络,具有代表性的是:1990年Aihara在动物实验的基础上提出的混沌神经网络模型[2]、1991年Inoue和Kaneko等提出的耦合混沌神经网络模型和将改进后得到的HNN系列混沌神经网络模型[3]。其中,将HNN引入混沌动力而得到的HNN系列混沌神经网络模型是最具代表性的模型之一。

参考文献

[1] 张海波. 基于混沌神经网络的无线资源优化策略研究[D]. 北京邮电大学, 2013.
[2] Aihara K, Takabe T, Toyoda M. Chaotic neural networks[J]. Physics letters A, 1990, 144(6-7): 333-340.
[3] 余群明, 王耀南. 智能模拟神经网络的发展新动向[D]. , 1999.
[4] https://blog.csdn.net/weixin_39707121/article/details/79041536
[5] https://blog.csdn.net/jichangzhen/article/details/78777646

神经网络

作          者: 泮桥成像光电商城

出          处: https://www.ipanqiao.com/entry/93

版          权:本文版权归泮桥成像光电商城所有

免责声明:本文中使用的部分文字内容与图片来自于网络,如有侵权,请联系作者进行删除。

转          载:欢迎转载,但必须保留上述声明;必须在文章中给出原文链接;否则必究法律责任。

Copyright © 2019-2022 南京超维景生物科技有限公司 版权所有 www.ipanqiao.com苏ICP备20009590号-1
联系我们
立即做合同
微信客服
电话咨询

400-998-9826

17302548620

快速留言

泮桥成像光电商城专业人员会在24小时之内联系您

关闭 提交