BAM 双向联想记忆神经网络

star2017 1年前 ⋅ 475 阅读

神经网络的联想记忆功能可以分为两种,一是自联想记忆,另一种是异联想记忆。


① 自联想记忆( Associative memory):假定有 m 个样本矢量 X (i),其中 i= 0,1,2,3...m-1.若网络输入 X j= X k + ∆ , X k 表示第 k 个样本, ∆ 是由于噪声﹑ 干扰或图形缺损等因素引起的偏差。要求输出Y = X k ,也即去掉偏差使信号按样本复原。神经网络所具有的此种功能称为自联想记忆功能。


② 异联想记忆( Hetero-associative memory):与自联想记忆不同,它涉及两组样本,若样本 X k与样本 Z k 一一对应,当具有偏差的输入信号为 X = X kj + ∆ 时,输出为Y = Z k ,此联想为异联想功能。


Hopfield 神经网络属于自联想记忆。下面将讨论异联想记忆神经网络,重点介绍由Kosko B.1988 年提出的双向联想记忆神经网络 BAM(Bidirectional Associative Memory)。BAM有离散型﹑连续型和自适应型等多种形式。


此处主要介绍离散型 BAM 神经网络。


1. BAM 结构﹑算法及稳定性


1.1 BAM 结构及工作原理


若 N 维矢量 A 与 M 维矢量 B 的表达式分别如下:



构成一组矢量对 ,共有 P 对样本矢量。将它们存入双向联想存储器即可进行由 A 到 B 或由 B 到 A 的双向联想。即给定 A(或 B )可以经联想作用得到对应的标准样本 B (或 A )。当有噪声或缺损时,联想功能可以使样本对复原。


1.BAM 神经网络结构


利用人工神经网络实现的 BAM 有多种形式,此处介绍一种最基本的形式,也称 Kosko型 BAM。下图给出了由双层双向网络构成的 BAM 结构,其中,与矢量 A 相应的一层有 N 个节点,另一层对应矢量 B ,由 M 个节点构成。两层之间双向连接。假定由 B 向 A 的传输为正向,正向的突触权重矩阵为W ;反之,由 A 向 B 的传输为反向 。



2. BAM 神经网络工作原理


如果输入矢量由上层加入,且相应于网络中 B 的状态,则经W 的作用产生 A 的稳定状态。同样,如果输入矢量由下层加入,且相应于网络中 A 的状态,则W T 的作用产生 B 的稳定状态。当任意矢量输入时,网络要经过若干次迭代计算演变到稳定状态。为了说明此过程,可以将 BAM 与自联想记忆原理相对比,对自联想来说,其演变过程为:


WX(t)=X(t+1)

WX (t+1)=X(t+2)

• • • • • •

→ X(t+k)


经 k 次迭代后收敛,对应网络的稳定状态。


对 BAM 双向联想神经网络,当任意矢量输入时,网络迭代演变过程为:


直到 A ﹑ B 均为稳定状态,演变过程结束。


1.2 BAM 权矩阵设计及稳定性分析


1.BAM 权矩阵设计


BAM 网 络 的 学 习 仍 按 Hebb 规 则 进 行 。 若 给 定 P 个 双 极 性 矢 量 对 :


 


由这些样本计算权重矩阵表达式为:



2.BAM 稳定性分析


如果 BAM 网络神经元函数的阈值等于零,则称为齐次 BAM 网络。定义齐次 BAM 网络的能量函数为:



一般情况下,神经元非线性函数阈值非零,此时构成非齐次 BAM 网络。它的能量函数表达式为:

θ i 为 A 的第i 元素 ai 对应的阈值, µ j 为 B 的第 j 元素b j 对应的阈值,假设神经元非线性函数 f 为硬限幅函数特性,则描述 BAM 动态特性的方程式为:


正向传输(由 B 联想 A )



反向传输(由 A 联想 B )



由以上关系式可以证明,网络在演变过程中能量函数 E 递减,即 ∆E < 0 。网络稳定。


更多内容请访问:IT源点

相关文章推荐

全部评论: 0

    我有话说: