前情提要:上一篇是《从 Desmos 到 CaLU:我的激活函数折腾手记 (I)》,在 MNIST 上跑了 45 次对照实验,攒出十一个激活函数和 CaLU。这篇接着往下想。
上一篇的结尾说,下一步是 VGG 加 CIFAR-10。后来我没有接着跑,这两周 coop 的事情有点多。空下来的时候我在整理旧笔记,顺手想把那十一个激活函数的公式重抄一遍,写得规范一些,以后查起来方便。整理到一半,我发现这些公式没有必要逐条抄。
这些公式之所以不用抄,是因为它们本来就是同一个式子。从最熟的那个开始:ReLU 的定义是
把 按符号写开,它就是 乘一个开关:
就是 Heaviside 阶跃函数 。
别的激活也是同一个写法:
前面那个 ,从头到尾没有变过。我把它叫值路径,后面那一项叫门。
把十一个都写出来:
| 激活 | 门 | 地板 | 备注 |
|---|---|---|---|
| ReLU | Heaviside | ||
| Leaky ReLU | Heaviside | ||
| PReLU | Heaviside | (可学) | |
| ELU | Heaviside | 饱和 | 负半轴是 的缩放,斜率趋于 0,严格说不算线性漏 |
| SELU | Heaviside | 饱和 | ELU 乘 |
| SiLU | logistic | ||
| GELU | 正态 CDF | ||
| CaLU | 柯西 CDF | ||
| Leaky CaLU | 柯西 CDF | ||
| RoCLU | 化的 | ||
| Mish |
变化集中在门和它的地板上:门是一条从 0 爬到 1 的曲线,Heaviside 也好,logistic 也好,正态 CDF 也好,柯西 CDF 也好;地板是门关到底剩下的那一点,决定它关得多彻底。表里每一行都是值路径乘门。带线性漏的那几行,门关到底也还剩 。
表外还有一个 softplus,,看上去不像 乘门。它其实是把门积分了一次,因为 。积分的过程中 被丢掉了,所以它不在这张表里,平时也少有人把它当隐层激活。
抄完这张表,我得到一个很朴素的结论:设计一个新的激活函数,多半就是在设计一条新的门。
这个结论只是描述,没有解释。让我停下来的是两个更基本的问题:值路径为什么偏偏是 ,没有人去门控 或者 ;门又为什么总是这几条曲线,Heaviside、logistic、正态 CDF 或者柯西 CDF,而不是随便一条 S 形。
值路径为什么只能是
第一个问题的答案在渐近行为里。一个能用的隐层激活,正半轴的渐近线得是 ,负半轴的渐近线得是一条斜率非负的直线(斜率取 0,就退化成 ReLU)。理由不新鲜:量级要传下去,梯度也要传下去。如果 时 饱和,这个神经元对”很强”和”更强”会给出同一个数,信息在输出端就被压掉了;同时 趋于零,反向传到这里也就断了。
正半轴上斜率为 1、过原点的直线只有 一条。值路径没有第二个选项。
反过来看 tanh 和 sigmoid 就清楚了。它们当激活用的时候没有值路径,自己就是那条压缩曲线。 的等效增益是 , 时趋于零,信号越强,被压缩得越厉害。所谓梯度消失,是这个事实在反向传播里的说法,不是原因。
同一个 sigmoid,放进 里就没有这个问题。它做的事情没有变,仍然是从 0 爬到 1,只是不再负责把信号送到下一层。同一个”有界”,放在门上是优点,放在激活上就是缺陷。上一篇里 sigmoid 单独当激活排在最后、进入 SiLU 之后排到第二,是同一件事的两面。
到这里只解释了值路径为什么锁死在 。门在关什么,关掉之后网络里少了什么,还没有回答。
门关掉的是哪一列
先把 FC 层摆清楚。一层线性变换做的是 ,其中 ,。这件事常被说成”把输入映射到另一个空间”。说得具体一些: 的每一行是一个方向, 是输入在这个方向上的分量。激活逐坐标作用,所以门也是一个分量一个分量地开关。
关掉一个门,代数上到底发生了什么,要看下一层。下一层的预激活是
其中 是 的第 列。第 个门关到底(),求和里就少了 这一项,等于把 的第 列删掉。所以一个神经元对整张网络的贡献,是输入方向 和输出方向 拼成的那个秩一原子
门决定这个原子在这次输入里算不算数。筛选和整合到这一步可以拆开看:原子本身是特征,一个输入方向对应一个输出方向;门负责选,求和负责拼。层与层之间,不过是把选出来的原子再组合一次。
原子之间一般并不正交。关掉一个门,并不是干净地删掉一个特征,剩下的原子仍然会往那个方向漏一点,漏多少取决于它们和 的重叠。稀疏编码要求字典低相干,说的就是这件事。
门开成什么样,决定了网络有几种面孔。 时,关掉的门是精确的零,每次输入激活一组门,网络就为这次输入挑一个子网络:用的是 的一个子矩阵,映射仍然是线性的,只是分成了很多段。 时,一列都没有删,只是关掉的那些被乘了 ,矩阵仍然满秩,条件数变差。两种做法都能训练,差别在于网络在多大程度上真的”少用”了那些原子。
这也改变了怎么读一个神经元的输出。线性层对任何输入都返回一个非零的数,所以它没有”缺席”这种状态;门关上,缺席才第一次可以被表示。一个神经元只在某些输入上出声,它的沉默本身就带着信息;一个永远出声的神经元,没法从它的输出里读出”有”还是”没有”。它偏好哪个方向,是 的事;门管的是它什么时候不参与。
如果所有门都开着,输出里每个原子都贡献一份,这层就退化成一张固定的线性映射,“这个坐标是一个特征”的读法也就不成立了,因为每个坐标都混着所有方向。稀疏的代码才让坐标和特征对得上。ReLU 能统治那么多年,很大程度上是因为它关得干脆:输出真稀疏,下一层拿到的是一份”谁在场”的名单。
这几条门其实都是累积分布函数:Heaviside 是集中在 0 那一点的退化分布,、、 分别是 logistic、正态、柯西的 CDF。所以 可以读成一个期望:取一个与 独立的 , 时留下 ,否则丢掉,期望正好是 。GELU 原论文给出的一个动机,就是乘一个服从 的 0/1 mask。门的输出是这个分量在它自己分布里的分位数。
门的选择于是变成一次假设:这个坐标平时有多大,尾巴有多重。Heaviside 对应一个点质量,没有尾巴,这就是 ReLU 那么硬的原因;logistic 对应指数尾,正态对应高斯尾,柯西对应多项式尾。上一篇那张门控对比图换成这个读法,就是几种分布假设并排:柯西尾重,大值不算罕见,门爬向 1 特别慢;正态中段最陡,GELU 对中等激活最敏感。
这套读法有一个天花板:每个门只看自己那一个分量,等于假设所有分量的去留彼此独立。真实的特征并不独立, 写不出”A 开着的时候 B 该关”。
优化器和低精度看到的是什么
前面都是从函数本身出发的。同一条公式,在优化器和数值格式那里是另外两件事。
先说优化器。梯度往回流的时候,激活贡献的是一个局部增益 。一层如此, 层叠起来,沿一条路径的增益就落在 之间。这条界很粗,但它把深度和 leak 的关系说明白了: 意味着一条路径一旦关上,反向就再也回不来; 留了一条 的窄路,窄归窄,不是零。
再说尺度。ReLU 是一阶正齐次的,,。忽略偏置的话,一层的权重整体缩放,输出跟着缩放,形状不变。SiLU 和 GELU 没有这个性质:权重放大会把 推到调度曲线更靠右的位置,非线性被冲淡。有 BN 的时候这一项基本被压住,因为每层的尺度被归一化回去了;没有 BN 的时候它是活的,weight decay 会慢慢改变激活的有效形状。这一点我只做了推理,没有测过。
数值格式那一侧更直接。分段线性、有界的算子可以完全用整数运算表示,ReLU6 和 hardswish 就是这么来的:前者把值域截到 ,后者用 去逼近 SiLU,省掉指数和除法。它们在移动端流行起来,是因为整个算子能被硬件准确地算出来,跟形状好不好关系不大。
SiLU 在数值范围上有点麻烦。负半轴下探到大约 ,非对称量化要把这一段算进去,正半轴的分辨率就被分掉一部分。真要用,通常得配一个覆盖负值的零点。
真正麻烦的是 leak 本身。 在浮点里活得好好的,到了 int8,如果关掉之后的值小于半个量化步长,它就 round 成 0。你以为在跑 Leaky ReLU,实际跑的是 ReLU;软支撑退回硬支撑,子矩阵真的被删掉,死单元的风险原封不动地回来。fp16 也有同类的事: 在 处下溢到 0,门在那一侧也是精确关闭的。
所以低精度不只是掉点的问题,它会改掉激活函数的有效参数。 在纸上是连续的,在硬件上不是。
门看谁
回到前面那个天花板。 里,门和被门控的值是同一个标量,门能依据的信息只有”这个分量有多大”。这是一个幅度判据:大的留下,小的关掉。它写不出”A 在的时候把 B 放过去”。
把 从标量换成向量,这个限制就松开了。GLU 是这么做的。它是门控线性单元(Gated Linear Unit):同一份输入做两个线性投影,一个当值,一个过 sigmoid 当门。
这里 是向量, 和 是两个矩阵, 是逐元素相乘,偏置略去。值路径是 ,门是 。第 个分量的门由 决定,而 是全部输入分量的线性组合。门看的是另一个方向,不是自己那一个。
门一旦能看到别的分量,选择就变成条件性的:某个特征的去留,可以由另一个特征的存在与否决定。
拿它和前面的模板对一下,会发现什么都没变:值路径仍然是线性的,门仍然是 logistic。SwiGLU 和 GeGLU 只是把门换成 SiLU 和 GELU,还是同一个家族。变的只有一件事:门的输入从自己的分量换成了另一个投影。
如果前面那套读法成立,这里就是门的设计里剩下的那个自由度。一维的门只能在”多大算大”上做文章,几条曲线差别有限;门能看到的通道一多,能表达的东西就换了一个量级。门能问的问题也换了:从”这个分量大不大”,变成”在那个分量的条件下,这个分量该不该留”。我猜这也是 GLU 系列在语言模型上稳定胜出的原因:赢的不是门的形状,是门拿到的信息。代价是多一个投影,参数量和计算量都要涨,这笔账划不划算,得看任务。
收尾
VGG 那件事还欠着。不过在那之前,我把这张表又看了一遍,发现整件事可以很短地说完:值路径是 ,门是某条 CDF,能改的只有门看谁。
如果这个读法没错,“发明一个新激活函数”大部分时候是在给同一个模板换一条门曲线,而换曲线带来的差别,可能还没有换门的输入带来的差别大。上一篇那 45 次实验没能拉开差距,现在回头看,大概就是这个原因:我一直在调那个不太重要的参数。
