分享自:

基于BQPSO的间接编码神经网络结构演化算法

期刊:2011 10th International Symposium on Distributed Computing and Applications to Business, Engineering and ScienceDOI:10.1109/dcabes.2011.41

类型a:这篇文档报告了一项原创研究,因此按照类型a的要求生成学术报告。


作者与机构信息
该研究的主要作者为Fang Bao(鲍方)、Jun Sun(孙俊)和Wenbo Xu(徐文博)。其中,Fang Bao来自江苏江阴职业技术学院(Jiangyin Polytechnic College),而Jun Sun和Wenbo Xu则隶属于江南大学物联网工程学院(School of Internet of Things Engineering, Jiangnan University)。该研究发表于2011年的《分布式计算及其在商业、工程和科学中的应用国际研讨会》(Distributed Computing and Applications to Business, Engineering and Science, DCABES 2011)。

学术背景
本研究属于神经网络结构设计领域,特别是前馈神经网络(Feed-Forward Neural Network, FNN)的结构优化。近年来,随着进化算法(Evolutionary Algorithm, EA)的发展,研究人员开始将其应用于FNN结构的设计中。然而,传统的直接编码方法(Direct Encoding)在处理大规模神经网络时存在几何级数增长的复杂性问题,导致其难以应对复杂的实际应用需求。间接编码方法(Indirect Encoding)作为一种新兴技术,通过减少粒子长度和提高编码的可扩展性,解决了这一问题,但其解码过程通常较为缓慢,影响了优化效率。此外,量子行为粒子群优化(Quantum-Behaved Particle Swarm Optimization, QPSO)算法因其快速收敛性和全局搜索能力,在优化问题中表现出色。基于此,本研究旨在提出一种基于二进制量子行为粒子群优化(Binary Quantum-Behaved Particle Swarm Optimization, BQPSO)的间接编码方法,用于高效地设计FNN结构。

研究流程
本研究主要包括以下几个步骤:

  1. 间接编码方案设计
    研究首先设计了一种间接编码方案,使用“联合种子”(Joint Seed)表示神经网络中的连接关系。联合种子的位置由二维空间坐标表示,行坐标表示输入层或输出层神经元,列坐标表示隐藏层神经元。例如,当输入层神经元数为n时,位置(i,j)表示从第i个输入神经元到第j个隐藏神经元的连接;当i>n时,则表示从第j个隐藏神经元到第(i-n)个输出神经元的连接。联合种子的值为1时表示存在连接,为0时表示不存在连接。

  2. BQPSO优化联合种子坐标
    研究使用BQPSO算法创建并优化联合种子的坐标。每个BQPSO粒子的维度为3,分别表示联合种子的行坐标、列坐标的第一个乘数和最后一个乘数。粒子的初始值由随机生成的二进制字符串组成。适应度函数综合考虑了期望误差(Desired Approximate Error, Ed)、实际误差(Practical Approximate Error, Er)、连接数(Number of Connections, Nc)和当前训练代数(Current Training Generations, Rc)。适应度函数的稳定表明联合种子的坐标优化完成。

  3. 九宫格演化规则优化联合种子值
    联合种子的值通过九宫格演化规则进行优化。研究提出了两种九宫格系统:生长系统(Growing System)和修剪系统(Pruning System)。生长系统通过填充未激活位置的联合种子来形成几乎全连接的网络;修剪系统则通过删除冗余连接来优化网络结构。两个系统的运行顺序确保了最终网络结构的简洁性和有效性。

  4. QPFSO训练当前网络
    在确定网络结构后,研究使用浮点型量子行为粒子群优化(Float-Point QPSO, FP-QPSO)算法对网络权重进行训练。适应度函数定义为期望输出与实际输出之间的误差函数。通过FP-QPSO优化,找到使误差最小化的权重集合,从而完成网络训练。

  5. 迭代优化与终止条件
    整个流程以迭代方式进行,直到适应度函数值趋于稳定,即Ed、Er、Nc和Rc的比例固定为止。此时,最终的FNN结构被确定,算法终止。

主要结果
实验结果表明,该算法在不同规模的FNN设计中均表现出稳定的复杂性和收敛性。在7位和8位奇偶校验问题(Parity Problem)中,间接编码算法得到的网络结构比直接编码算法更为简洁,隐藏层神经元数量相同,但连接数显著减少。对于埃尔米特多项式逼近(Hermit Polynomial Approximation)问题,间接编码算法设计的网络结构不仅比文献[9]中常用的结构更简单,也优于直接编码算法的结果。此外,适应度函数的变化趋势显示,间接编码算法能够在约15代内实现稳定的收敛,而直接编码算法的适应度函数值始终无法完全稳定。

结论与意义
本研究提出了一种基于BQPSO的间接编码算法,成功解决了传统直接编码方法在大规模神经网络设计中复杂性几何增长的问题。该算法通过分离联合种子的坐标和值优化,结合九宫格演化规则,实现了网络结构的生长与修剪,最终获得了简洁且高效的FNN结构。研究结果具有重要的科学价值和应用潜力,特别是在需要处理大规模神经网络的实际应用场景中,如模式识别、函数逼近和分类任务等。

研究亮点
1. 提出了基于BQPSO的间接编码方法,显著降低了编码长度和复杂性。
2. 引入九宫格演化规则,通过生长和修剪系统优化网络结构,确保了最终结构的简洁性。
3. 实验验证了算法在不同规模FNN设计中的稳定性和高效性。

其他有价值内容
研究还详细比较了间接编码算法与直接编码算法在多个领域的性能差异,进一步证明了间接编码算法的优势。此外,研究提出的适应度函数设计方法为未来相关研究提供了重要参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com