本文首先回顾了一些传统的激活函数和注意力机制，然后讨论了“注意力机制下的新ReLU激活函数”，即自适应参数化修正线性单元(adaptivelyparametricrectifierlinearunit，aparametriction )
1 .激活函数激活函数是现代人工神经网络的核心部分，其有用性在于进行人工神经网络的非线性化。 首先，介绍几个最常用的激活函数： Sigmoid、Tanh和ReLU激活函数，如图所示。
Sigmoid激活函数和Tanh激活函数梯度的取值范围分别为[ 0，1 ]和[-1，1 ]。 层数较多时，人工神经网络可能会遇到梯度消失问题。 ReLU激活函数的梯度为零或1，可以很好地避免梯度消失和梯度爆炸问题，近年来得到广泛应用。
但是，ReLU激活函数仍然存在问题。 在人工神经网络训练阶段，如果特征值均低于零，则ReLU激活函数的输出特征值均为零。 这个时候神经网络训练失败了。 为了避免这种情况，有学者提出了leaky ReLU激活函数，将小于零的特征乘以小系数，如0.1和0.01，而不是将小于零的特征归零。
在leaky ReLU激活函数中，该系数的取值需要人工设定。 但由于人工设定的系数未必是最优的，何恺明等人提出了参数化ReLU激活函数(参数化ReLU激活函数、PReLU激活函数)，将该系数设定为可训练参数，用于人工神经网络的训练过程但是，PReLU激活函数有一个特点。 训练过程完成后，PReLU激活函数中的这个系数将是固定的值。 也就是说，对于所有测试样本，PReLU激活函数中该系数的取值相同。
到此为止，我介绍了一些常用的激活函数。 这些激活函数有什么问题吗？ 如果某人工神经网络采用如上所述的激活函数，或者是上述多种激活函数的组合，则在训练结束并应用于测试样本时，该人工神经网络通过非线性变换也就是说，所有测试样本将经历相同的非线性转换。 这其实是一个变通的方法。
如下图所示，假设原始特征空间用左侧的散点图表示，人工神经网络学习的上层特征空间用右侧的散点图表示，两种不同的样本用散点图中的小点和小方块表示，非线性函数用f、g、h表示。 这些样本通过同一非线性函数实现了从原始特征空间到上层特征空间的转换。 也就是说，图像中的“=”表示对于这些样本，它们经历的非线性变换完全相同。
那么，能否根据每个样本的特点，为每个样本分别设置激活函数的参数，并对每个样本进行不同的非线性变换？ 本文介绍的APReLU激活函数可以实现这一点。
2 .注意机制本文介绍的APReLU激活函数参考了经典的squeeze-and-excitation network (SENET )，而senet是一个非常经典的注意机制下的深层神经网络。 SENet的基本原理如下图所示。
在此简单介绍SENet中包含的思想。 在许多样本中，特征图中每个特征通道的重要度很可能不同。 例如，样本a的特征频道1非常重要，特征频道2不重要； 样本b的特征频道1不重要，特征频道2重要； 此时，对于样本a，应当关注特征信道1 (即，应当给予特征信道1更高的权重)。 相反，针对样本b，应当关注特征信道2 (即，应当给特征信道2以更高的权重)。
为了实现这一点，SENet通过小型全连接网络，通过学习得到一组权重系数，对原始特征图的各信道进行加权。 这样，包含训练样本和测试样本的每个样本都有一组唯一的权重，用于对每个特征通道进行加权。 这是关注重要的特征渠道，赋予高权重的注意力机制。
3 .自适应参数修正线性单元(APReLU )激活函数APReLU激活函数本质上是SENet和PReLU激活函数的统一。 在SENet中，在小型全连接网络中学习的权重，是用于各特征信道的权重。 APReLU激活函数也通过小的完全连接网络获得权重，将该组的权重作为PReLU激活函数内的系数，即负数部分的权重。 APReLU激活函数的基本原理如下图所示。
在APReLU激活函数中，可知非线性变换的函数形式与PReLU激活函数一模一样。 唯一的不同是，在小型全连接网络中学习了APReLU激活函数的负数特征的权重系数。 人工神经网络采用APReLU激活函数时，每个样本可以有自己的权重系数，即自己的非线性变换(见下图)。 另外，APReLU激活函数的输入特征图和输出特征图大小相同，意味着可以很容易地将APReLU嵌入现有的深度学习算法中。
综上所述，APReLU激活函数可以对每个样本具有自己的一组非线性变换，提供了更灵活的非线性变换方式，具有提高深度学习算法精度的潜力。
参考文献M. Zhao，S. Zhong，X. Fu，et al.deepresidualnetworkswithadaptivelyparametricrectifierlinearunitsforfaultdiagnosis
3359 IEEE xplore.IEEE.org/document/8998530 /