层归一化,Transformer训练的标准组件。
Geoffrey Hinton 是多伦多大学名誉教授、Vector Institute 首席科学顾问,深度学习三巨头之一。剑桥与爱丁堡大学背景,1970-80 年代推动反向传播在神经网络的应用,2012 年与学生 Alex Krizhevsky、Ilya Sutskever 提出