离散 Hopfield 网络

结构:各个神经元互相联系,但并不与自己相连,故是一种反馈网络

输出:

运行方式:

  • 异步:一时刻仅一个神经元变化
  • 同步:一时刻部分或全部神经元一起变化

异步运行

  1. 初始化
  2. 选一个神经元
  3. 更新输出
  4. 判断是否稳定

稳定条件:

  1. 权重对称
  2. 不连接自身

稳定条件满足时,能量函数降低:

即,对每个神经元的能量函数求和:

由于能量函数有界、递减,故最终必稳定

同步运行

网络用途

由于权值不变,Hopfield 网络可以视为最终达到稳定的动力系统。若不能达到稳定,则会在0和1两种状态不停振荡。

若把稳态视为一个记忆样本,那么初态朝稳态收敛过程可以视为是寻找样本的过程。通过设计好的权值矩阵,最终把输入变为一个稳态输出。

连接权设计 (Hebb 学习规则)

想法:两个神经元状态相同,则连接强度加强,否则减弱。若状态用表示,则直接相乘就能对应到连接强度的这个加强和减弱相乘。

给定需要记忆的模式,通过上式得出矩阵,再通过前述方法计算得到稳态。

连续 Hopfield 网络

网络结构: 基本不变

对应于电子电路的网络结构: 电路图、基尔霍夫电流定律

能量函数及其稳定性分析:

能量函数:

可得能量函数单调递减(dE/dt <= 0),故系统稳定