（这篇比较硬核，介绍我的广州老乡何凯明教授的残差网络（ResNet）的原理。）
残差技术以 “跳跃连接” 为核心设计，如同给深层神经网络的信息传递铺设 “直达高速”，通过重构学习目标、搭建信息与梯度传递捷径，从根源破解深层网络的训练瓶颈。其核心思想源自残差网络的 “恒等映射与残差学习” 框架，不仅突破传统深层网络的深度限制，更成为 Transformer 架构的关键支撑技术，深刻影响大语言模型的发展轨迹与性能上限。本文将围绕残差网络原理展开，延伸解析其在 Transformer 的应用逻辑，阐明其对大语言模型的核心赋能价值。
一、残差网络核心原理与理论解析
理解残差技术的核心价值，需先明确其诞生背景 —— 传统深层网络的 “退化问题”。ResNet 提出前，层数超 20 层的卷积神经网络等模型普遍面临困境：随网络深度增加，测试集准确率下滑，训练集误差同步升高。这就像运动员跑马拉松，距离越长体力消耗越多，冲刺速度反而不及短途。深层网络优化难度会随层数增加呈指数级增长，梯度消失或爆炸如同 “信号衰减”，导致浅层权重无法有效更新。残差网络通过 “残差块” 创新设计重构学习目标，相当于给运动员准备 “补给站”，从根本上降低了深层网络的训练门槛。
（一）核心逻辑：从“直接映射”到“残差学习”的转变
残差网络的核心突破在于重构了网络的学习目标，将传统网络的“直接映射学习”转化为“残差学习”，两者的核心差异可通过对比清晰梳理：
1.传统网络的学习目标：在VGG、普通多层感知机（MLP）等传统深层网络中，每一层需直接学习“输入到输出的完整映射关系”，即给定输入x，网络需拟合输出H(x)。这就像让一个新手厨师直接学会一道复杂菜品的完整做法，从选材、切菜到烹饪、调味，所有步骤都要一次性掌握；这一映射关系涵盖了所有特征转换规律，要求卷积层或全连接层精准学习复杂的特征映射逻辑。当网络深度持续增加时，完整映射的复杂度呈指数级攀升，优化器就像新手厨师面对多道复杂菜品，难以收敛至最优解。
2.残差网络的学习目标：ResNet通过“残差连接”（简称“跳连”）引入“残差函数F(x)”，重构了学习任务。这就像把复杂菜品的做法拆解开，让厨师先掌握“基础做法”，再学习“优化技巧”——基础做法就是“输入直接传递”，优化技巧就是“残差部分”。残差块的最终输出可简化为核心公式：y = F(x) + x（其中x为残差块输入，y为输出，F(x)为经卷积层、激活函数等处理后的“残差部分”）。通过公式变形可得：F(x) = y - x，这意味着网络无需学习“输入到输出的直接映射H(x)=y”（完整菜品做法），只需学习“输出与输入的差值（即残差）”（优化技巧），学习目标的复杂度大幅降低。
（二）关键支撑：恒等映射简化训练的内在逻辑
“恒等映射”（输出等于输入，y=x）是残差学习简化深层网络训练的核心场景，其内在逻辑可通过传统网络与残差网络的对比清晰理解。
在深层网络中，不少场景下某一层无需对输入特征做复杂转换，仅需将特征无损传递至下一层，比如浅层特征已能精准表达核心信息，深层只需保留该特征并补充细节。这就像传递文件，中间人无需修改内容，原样转交即可。但传统网络却要求该层必须拟合 “y=x” 的恒等映射，相当于让中间人重新抄一遍文件再传递。受网络参数非线性特性制约，拟合这类简单映射的难度极高，如同抄录复杂文件难以保证一字不差，会大幅加剧深层网络的优化负担。
残差网络的设计巧妙地解决了这一问题：当需要学习恒等映射时，根据残差块输出公式，只需让残差部分F(x)≈0。这好比中间人无需抄录，直接把文件放在 “传送带”（残差连接）上传给下一人，自身只需确认 “无修改内容”（F(x)≈0）。对神经网络而言，拟合 “接近零的残差” 远比拟合完整恒等映射简单 ——F(x)≈0只需将卷积核参数调整至接近零即可实现，是优化器极易达成的目标，无需消耗大量算力学习复杂映射关系。
（三）核心价值：解决深层网络优化困境的底层逻辑
残差学习降低深层网络训练难度的核心在于两大优势：一是残差函数优化难度更低，二是残差连接搭建了 “信息与梯度传递的高速公路”，能让信息、梯度绕过复杂路径快速传递。
从优化数学特性看，残差函数F(x)的数值范围远小于完整映射H(x)，梯度反向传播时更稳定。就像小幅度调音量更易控制，当F(x)≈0时，梯度不会因复杂映射的梯度连乘而剧烈衰减或爆炸。传统 MLP 的梯度消失问题，正是激活函数导数连乘导致梯度呈指数级衰减，如同声音在空房间多次反射后逐渐消散。
从信息传递角度看，残差连接的 “高速公路” 效果显著：当F(x)≈0时，残差块输出y≈x，输入特征可直接传递至深层，避免特征损耗，如同快递走空运专线快速完整送达；反向传播时，梯度也能借这条捷径回流浅层，确保浅层权重有效更新，从根源解决深层网络优化困境。反观传统网络无此捷径，信息需经复杂卷积层传递，如同快递走陆运经多站中转，易出现信息丢失、梯度传播受阻的问题。
（四）残差网络的核心设计细节
残差网络核心设计为通过残差块与残差连接搭配，平衡网络深度、特征表达能力与优化难度，关键维度含残差块类型选择、网络阶段划分、残差连接方式三类：
残差块类型选择：依网络深度选基础块或瓶颈块。基础块由 2 个 3×3 卷积层串联（衔接 BN 层与 ReLU），结构简洁、参数量小，适配 ResNet-18/34 等浅网络；瓶颈块为 “1×1→3×3→1×1” 卷积结构，1×1 卷积负责降维减算与升维恢复，3×3 卷积提取核心特征，适配 ResNet-50/152 等深网络。
网络阶段划分：网络分多阶段，每阶段含若干相同残差块，阶段间用步长 = 2 的卷积层下采样并提升通道数；阶段内残差块用恒等变换保维度一致，阶段间过渡块处理维度适配。
残差连接方式：遵循维度匹配原则，维度一致时用无参数恒等跳连（x+F (x)）；跨维度时通过 1×1 卷积适配（y=F (x)+W (x)）或零填充，1×1 卷积因兼顾性能效率成主流。
二、残差技术在 Transformer 中的应用解析
Transformer 作为基于自注意力机制的深层架构，同样面临深层训练中的梯度消失与信息衰减问题，就像多层级的传话游戏，每传递一次信息就会丢失一些细节，传到最后可能完全偏离原意。残差技术的“跳跃连接”核心设计被直接引入Transformer 的核心模块，相当于给传话游戏加了“直接对讲通道”，贯穿编码器与解码器的全流程，其应用逻辑与残差网络一脉相承，但结合 Transformer的结构特性进行了针对性适配。
（一）应用位置与实现逻辑
Transformer的编码器包含多头注意力和前馈神经网络（FFN）两个核心子层，解码器则在两者基础上新增掩码多头注意力子层。残差连接均作用于每个子层之后，其实现逻辑与残差网络的核心思想一致：保留子层的原始输入并进行身份映射，将子层的输出与原始输入相加，再通过层归一化处理后传入下一层。核心公式可简化为：Output = LayerNorm(SubLayer(Input) + Input)。
需重点关注的是，Transformer 中残差连接的两大关键适配点：一是维度匹配保障，当子层输入与输出维度不匹配时，通过 1×1 卷积完成维度校准，确保相加操作的可行性；二是归一化顺序，采用“先残差相加再归一化”的设计，该设计能有效稳定训练过程，降低梯度波动幅度，进一步提升深层 Transformer 的训练稳定性。
（二）各子层中残差连接的功能价值
多头注意力子层：Transformer 的输入特征由词嵌入与位置编码构成，是特征学习的基础。残差连接的核心作用，一是将子层输出的序列依赖特征与原始输入相加，实现 “原始嵌入 + 序列依赖特征” 的深度融合，避免信息衰减；二是提供梯度捷径，保障深层编码器的有效训练。
FFN 子层：前馈神经网络通过非线性变换强化注意力输出特征，提升模型表达能力，但易引发特征失真。残差连接在此处将子层输出与原始输入相加，融合原始特征与增强特征，缓解失真问题，同时助力梯度回传，避免梯度消失。其机制与残差网络 FFN 层一致，均通过 “特征变换 + 原始保留” 的双路径设计保障网络性能。
三、残差技术对大语言模型的核心影响
大语言模型（如GPT、BERT系列）以深层Transformer为核心架构，模型规模（参数量、层数）的持续扩大是其实现优异性能的关键。残差技术作为深层Transformer的“核心基石”，直接支撑了大语言模型的规模化发展，其影响贯穿模型训练可行性、信息传递完整性与性能上限提升三大核心维度。
（一）支撑深层架构训练，突破规模限制
大语言模型的层数通常可达数十层甚至上百层（例如GPT-4的层数超过100层），若缺少残差技术，如此深层的Transformer架构将面临严重的梯度消失问题，就像多层级的接力赛中，每一队的接力棒都在传递中变小，最后根本无法交给下一队，导致模型无法正常训练。残差连接搭建的“梯度捷径”，相当于给接力赛开辟了“直达通道”，确保梯度能够顺畅回传至浅层网络，保障各层权重均能得到有效更新，从根本上解决了深层大语言模型的训练难题。可以说，残差技术是大语言模型实现“深层化、规模化”的前提条件——若缺失这一技术，大语言模型将难以突破浅层架构的性能瓶颈，无法精准建模复杂的语言规律。
（二）保障长文本信息传递，提升理解与生成能力
大语言模型核心任务是处理长文本序列并实现精准理解与生成，长文本处理中信息衰减是核心挑战 —— 随网络层数增加，浅层语义易被后续特征变换稀释。残差连接通过 “身份映射” 保留原始输入信息，如给文章写 “核心提纲”，实现语义信息深层无损传递：从输入层词嵌入与位置编码，到各层注意力、FFN 子层特征融合，原始语义始终稳定传递，保障深层网络基于完整语义建模，直接提升长文本理解能力及生成文本的连贯性与逻辑性。
（三）稳定训练过程，提升模型泛化能力
大语言模型的训练数据量庞大、参数量众多，训练过程的稳定性直接决定模型性能与泛化能力。残差技术通过“先相加再归一化”的设计，有效降低了梯度波动，提升了训练过程的稳定性，减少了模型过拟合或训练崩溃的风险。同时，残差连接实现的“原始特征+变换特征”双路径融合，让模型能够同时保留基础语义信息与增强特征，丰富了特征表达的维度，进而提升了模型的泛化能力——使其能够更好地适配翻译、摘要、问答等不同语言任务，灵活应对未见过的文本数据。
（四）助力模型优化效率提升，降低训练成本
残差技术通过重构学习目标（从拟合完整映射转变为拟合残差），简化了深层网络的优化难度，使大语言模型的训练收敛速度显著提升。在大规模参数量的训练场景下，收敛速度的提升直接意味着训练时间与计算资源的节省，大幅降低了大语言模型的训练成本。此外，残差连接的“维度适配”设计（如1×1卷积），让模型能够灵活调整特征维度，适配不同的输入长度与任务需求，进一步提升了大语言模型的工程实现效率。
四、总结
残差技术的核心价值源于 “恒等映射与残差学习” 理论，通过重构学习目标、搭建信息梯度传递 “高速公路”，破解了深层网络训练难题。该技术在 Transformer 中构建 “信息保鲜通道”，保障编解码器深层化，避免信息衰减、稳定训练。对大语言模型而言，它是支撑深层架构的 “地基”，助力长文本处理、提升泛化性能、降低训练成本，始终是深层神经网络发展的核心基石。