利用物质搜索算法进行训练可以进行神经元模型修剪
突触前神经元的轴突(输入X)通过突触层连接到树突(水平矩形)的分支;膜层(垂直矩形)对树枝状激活进行求和,并将总和转移到体细胞体(黑色球体)。突触层具有四种不同的连接情况,即直接连接,反向连接,常数0连接和常数1连接。
人工神经网络是机器学习系统,由称为人工神经元的大量连接节点组成。与生物大脑中的神经元类似,这些人工神经元是用于执行神经计算和解决问题的主要基本单位。神经生物学的进展已经说明了树突细胞结构在神经计算中所起的重要作用,并且这导致了基于这些结构的人工神经元模型的发展。
最近开发的近似逻辑神经元模型(ALNM)是具有动态树突结构的单个神经模型。ALNM可以使用神经修剪功能在训练期间消除不必要的树突分支和突触以解决特定问题。然后,可以以硬件逻辑电路的形式实现所得到的简化模型。
然而,用于训练ALMN的众所周知的反向传播(BP)算法实际上限制了神经元模型的计算能力。“BP算法对初始值敏感,很容易陷入局部最小值,”金泽大学电气与计算机工程学院的相应作者Yuki Todo说。“因此,我们评估了几种用于训练ALMN的启发式优化方法的能力。”经过一系列实验,选择物质搜索(SMS)算法作为ALMN最合适的训练方法。然后使用六个基准分类问题来评估ALNM在使用SMS作为学习算法进行训练时的优化性能,结果表明,与BP和其他启发式算法相比,SMS在准确性方面提供了卓越的训练性能。收敛速度。
“基于ALNM和SMS的分类器也与其他几种流行的分类方法进行了比较,”Todo副教授表示,“统计结果验证了该分类器在这些基准问题上的优势。”在训练过程中,ALNM通过突触修剪和树突修剪程序简化了神经模型,然后使用逻辑电路代替简化结构。这些电路还为每个基准问题提供了令人满意的分类精度。这些逻辑电路的硬件实现的简易性表明,未来的研究将看到ALNM和SMS用于解决日益复杂和高维度的现实问题。