这篇文章有何恺明和杨立昆两位大佬坐镇，不由得让人重视。核心发现是：Transformer可以在不使用任何归一化层的情况下，通过简单的Dynamic Tanh（DyT）操作实现同等甚至更好的性能。 训练深度神经网络时，每一层的输入的分布都在发生变化，这种现象被称为「 ...