究诘者们花了十年去扩张层内的打算能力河池隔热条设备价格，却忘了扩张层间的通讯能力。

这件事亟需被变嫌。

畴昔十年，度学习域取得进展的式稀少地致：什么王人往大了整。多参数、多数据、长落魄文。况且如实管用：loss 在降，能力在涨，scaling law（扩张定律）精准地告诉究诘团队还需要参加几许。

但扩张的向不同，各异亦然巨大的。序列长度的扩张需要信得过的翻新，也如实催生了整套机制究诘和系统工程。数据的扩张则快言快语：数据越多，loss 越低。让模子变得宽、，这看起来也和数据的扩张样浅近。

但宽度和度确实在同等地弘扬作用吗？

并非如斯。度在数目上增长了，但在质料上却莫得。层与层之间的通讯机制简直莫得变化。接下来本文将讲明这点为什么迫切，这不仅关乎蚁合的度本人，对于究诘团队瞎想神经蚁合架构时的个集体盲区。

上半场

要看清上半场作念对了什么，就望望什么被胜利地扩张了，以及是若何作念到的。

先看序列长度。早期 Transformer 只可处理几百个 token。要达到 128K+，需要多个进取的持续翻新：新的防备力格式（荒芜、线、混）、系统工程（FlashAttention）、位置编码的进步（RoPE scaling）。究诘者和工程师们共同建造了整个生态，持续改进 token 之间的通讯式。而答复颇丰，究诘团队不啻约略处理其长的文档，还为 OpenAI-O1 和 DeepSeek-R1 的长链理奠定了坚实的基础。这即是当究诘团队雅致投资于"信息在序列维度上的流动式时"，所收成的斐然后果。

△  当代 LLM 中的参数与数据规模飞速增长

参数和数据的扩张是符东说念主类直观的部分。从度学习的早期启动，每本教科书王人在培植同套：多数据、宽的层、的蚁合，当然带来好的表征。从 GPT-2 的 15 亿参数到如今的数万亿，这套直管用。这似乎证实大模子团队不需要引入新机制，只需要持续拓展这些被考证了的向。

只不外，对蚁合而言，宽和时时并不是回事。宽度的扩张是自但是然的：当代 GPU 天生擅所长理宽的矩阵乘法，防备力机制的演进越来越，这使得宽的蚁合不错缝接入现存架构。

而度则是另个故事。模子如实变了：究诘团队将模子加到 32 层、64 层、以致 100 层以上。但层间通讯的机制实践上如故 ResNet 在 2015 年引入的度残差，"x + F ( x ) "。自它出生以来，围绕它有过不少转换（归化位置、残差缩放、跨层勾通），但莫得任何转换信得过取代过阿谁度残差中"+"的决定地位。

残差勾通不错说是度学习中迫切的基石。莫得它，就莫得 100 层的 Transformer，莫妥当代 LLM，莫得 scaling law。但基础案有个特色：它们有时会变得太过隐形，以至于没东说念主再去质疑它到底是解，如故只是是究诘团队探索出的个能用的案。

个比，念念象个有荒谬法规的寄语游戏。在规范版块里， 1 个东说念主对 2 个东说念主谜语， 2 个东说念主再对 3 个东说念主谜语。到 18 个东说念主的期间，音讯一经修葺一新了。这即是莫得残差勾通的层蚁合：每层只可看到表层的输出。

残差勾通开导了这个问题：每个东说念主在传达我方的走漏的同期，也把之前积聚的原始信息陈陈相因地往下传。 3 个东说念主既能听到 2 个东说念主的新解读，也能听到之前的通盘内容。原始信号永久被保留，它成为了束缚壮大的唱中的个声部。

但到了 152 个东说念主，你同期在听 152 个声息：原始信息加上 151 层相通上去的内容，整个混在句谜语里。表面上，前边那些东说念主的声息依然存在，但它们一经被兼并了。要是 152 个东说念主需要知说念 3 个东说念主具体说了什么，他得贫苦地从这深广的唱声中把它挑出来。

△音讯累加的寄语游戏中河池隔热条设备价格，靠后的东说念主依然难以差异出所需的内容

频频而言， 152 个东说念主是作念不到这点的。

这即是信息稀释。每层王人靠近两难：倘若该层孝顺新信息就可能会消亡之前的内容，但保守不动则能保留之前层传过来的已有信息。这种气象下，许多层学会了保守不动，它们简直不往残差流里写入任何东西。这么的度蚁合在纸面上很，实践上却很浅。究诘团队堆了 152 层，但其中许多层却只学会了保持千里默。

这里的瓶颈不在于 152 层蚁合所需求的算力，而在于信息穿过这些层的通讯能力。CPU 的发展在几十年前就撞过同样的墙：处理器越来越快，直到内存带宽跟不上了，逼得整个行业转向缓存和通讯。组织管理也样：群智谋东说念主所能弘扬出的创造力，也受限于他们之间的疏导、组织式。度学习正在履历我方的版块：十年来束缚增强每层的能力，而层与层之间的通说念永久是 2015 年那条单车说念公路。

那么，有莫得好的机制？

在本文所先容的究诘之前一经有许多究诘者防备到了度瓶颈。多年来，修补案越来越奥密：获评 CVPR best paper 的 DenseNet 保留了每层的输出，但代价是平的支出。使用可学习加权的案 DenseFormer、LIMe 缩短了本钱，但搜检完成后权重就固定了，每个 token、每套落魄文王人用同样的权重。

字节跳跃的 Hyper-Connections 和 DeepSeek 的 mHC 匠心独具，它们把管说念拓宽到 N 个通说念，层间用混矩阵勾通，这尽头于信息速公路上同期多了好几条车说念。但坏音讯是，信息仍然在逐层流动， 152 层莫得办法平直回溯到 3 层。

彩云公司的 MUDDFormer 让混每层输出这件事造成动态的，它会凭证每个 token 的表征来生成权重。这在根柢进取是对的：从每层接管几许信息本就应该取决于你正在处理的内容。但同样有个坏音讯， 152 层在决定从 3 层接管几许时，只依赖 152 层本人的状态，它并不知说念 3 层实践包含了什么。它是在掂量哪些层灵验，而不是在检察。

以上的每步王人开导了个真实存在的弱势，但却鲜有哪个法质疑过度残差的框架本人。

不难发现，这些法王人有着个共同点。从 DenseNet 到 Hyper-Connections，每个法王人在回应同个隐含的问题："如何才能好地混各层的输出？"好的总共，多的通说念，自妥贴的权重。但从新至尾王人是混，从新至尾王人是累加。ELMo 早就标明，不同的层编码的是判然不同的信息：浅层编码句法，层编码语义。通盘东说念主得出的论断王人是"学习好的混权重用来均衡句法和语义"。但还有条被主流冷漠的说念路：要是不同层持有不同信息，也许每层应该约略凭证内容而非位置，从持有所需信息的那层平直检索。

这即是范围失实：把层间通讯作为累加（用学习到的或生成的总共来组信号）而非检索（通过基于内容的匹配来聘用信息）。在累加框架下，即使是动态法也只从现时层的状态生成混权重，塑料管材生产线而不去检察信息的开始层实践包含了什么。在检索框架下，Query（查询）编码的是"我需要什么"，Key（键）编码的是"我有什么"，而它们之间的运算决定了相关。Query 和 Key 双王人应该有发言权。

回到寄语游戏。之前通盘的法王人在试图产生个明晰的唱：好的发音、多的中继通说念、自妥贴的音量。莫得个质疑过这个根柢治理：通盘声息须累加成个声息吗？也莫得东说念主问过：咱是否不错平直走且归，跟之前的任何个东说念主迎面对话呢？

究诘团队合计这种范围失着实架构瞎想中处不在。当某个东西弥散好用的期间，你不会去质疑它的想法框架，而只会在框架内改进。履历了多年越来越奥密的修补之后，究诘者才明显：度维度的残差勾通需要的不是好的总共，而是被种根柢不同的操作所替代：

种在序列维度上一经胜利惩办了同样问题的操作。

△  因果防备力机制在序列维度（横向）上聚信息

下半场

旦究诘团队把层间的通讯走漏为检索而非累加，个很当然的谜底即是在度维度上引入防备力机制。包括究诘者团队在内的许多团队王人未必治理到了这个念念法：谷歌建议的 DCA、华为的 MRLA、Hessian.AI 的 Dreamer、Kimi 的 AttnRes、以及究诘者团队建议的 Flash Depth Attention & MoDA，大王人尝试在层间讹诈点积防备力。这种立趋同本人即是个信号：向走对了！

△  度防备力机制在度维度（纵向）上聚信息河池隔热条设备价格

但找对向和作念出制品是两回事。究诘者自述："次用 Pytorch 完结运行度防备力的期间，前向和反向传播臆想耗时达到了 44,924 ms。44 秒啊！一又友们！这个期间王人够我喝完瓶 500 毫升的冰红茶了！"

也即是说，在度维度上讹诈防备力机制的念念法本人没问题，但工程现实却荼毒到了点。当代 GPU 为大规模的矩阵乘法作念了大王人化，却不擅长数千个跨度的小规模的防备力操作。度防备力作为个打算量不大的算法，跑起来却可能慢得要命。

△  Pytorch 完结的度防备力（DepthRef）很慢；Flash Depth Attention（FDA）很快。

至此，之前的法王人堕入了两难：要么简化度防备力来换速率，这种式丢掉了无缺的聘用检索这中枢价值；要么保持无缺的抒发能力，但运算代价变得不成禁受。究诘者团队找到了条前程：不是简化算法，而是再行组织参与打算的数据布局，从而适配 GPU 硬件。Flash Depth Attention（https://github.com/hustvl/MoDA）让具备无缺抒发能力的度检索快到不错参与实践搜检。

△  混度防备力机制同期在序列维度（横向）和度维度（纵向）上聚信息

老例的大模子骨干活水线是：残差勾通→序列防备力→残差勾通→ FFN（前馈蚁合）。

有了的度检索之后，究诘团队防备到蚁合的骨干活水线造成了：度防备力→序列防备力→度防备力→ FFN（前馈蚁合）。这三个一语气的防备力操作作用于不同的 Key（键，缩写稿 K）和 Value（值，缩写稿 V），却分享着近乎相通的 Query（查询）。个很当然的作念法即是把它们融。

究诘者团队建议了混度防备力（Mixture-of-depths Attention，MoDA）将度检索和序列检索并到个统的 softmax 中。每个防备力头同期暖热现时层的序列 KV 对（键值对）和通盘前序层的度 KV 对（键值对）。在同个 softmax 下，模子不错解放决定何时温措施列中的其他 token，何时跨层检索自身的历史信息。通过次操作，MoDA 完成了两个维度的检索。

△  左侧区域是序列 KV，右侧区域是度 KV。颜越黄，防备力越强。

回到寄语游戏。在残差勾通的版块里， 152 个东说念主贫苦地从累加的唱中鉴别 3 个东说念主的声息。有了度检索， 152 个东说念主拍拍 3 个东说念主的肩膀平直问："你刚才说了什么？"莫得中间东说念主，莫得累积的杂音。

可视化的实验截至也印证了这个类比所掂量的气候：当模子得到了通过度 KV 从特定层进行聘用检索的能力时，它会持续且主动地使用这种能力。之前困扰模子架构究诘员们的 Attention Sink（防备力千里没）气候，即模子把概率质料堆积在少数固定 token 上的举止，也随之减轻。这即是当究诘者团队尝试发展层之间而非只是层之内的信息流动时，所取得的道理后果。

△  引入度防备力后，寄语游戏允许每个东说念主用手机检察群聊纪录。

大模子架构的上半场是对于扩张组件的。究诘者们扩张出长的序列，多的数据，大的模子。这个阶段要津的问题是"若何把切王人作念大？"。在上半场，这是正确且要津的问题，它把整个域从 GPT-2 带到了 GPT-4 时间。下半场是对于扩张通讯的。新的问题是："组件之间的通讯质料如何？"

△引入混度防备力后，在主流的开源基线（OLMo2）上提高了模子能力。

度是较着的例子，因为现存案（累加）和可能的案（聘用检索）之间的差距是巨大的。究诘者团队肯定这个原则是不错广的。但凡神经蚁合使用静态的、与数据关的通说念来传递信息的地，包括层与层之间、模态与模态之间、期间步与期间步之间等等，很可能王人会有个检索机制等着替代阿谁累加操作。

全寰球的究诘者们花了十年掌捏 token 之间如何对话，当今是期间掌捏层与层之间如何对话了。而终，究诘者们将掌捏神经蚁合结每个组件如何与其他率性组件对话。

度残差的" + "带咱们跑过了段为精彩的旅程，但当今，是期间升这座蹊径了。

迎接来到大模子架构的下半场。

Flash Depth Attention & MoDA 论文持续：

https://arxiv.org/abs/2603.15619

Flash Depth Attention & MoDA 代码持续：

https://github.com/hustvl/MoDA

实验室主页：

https://github.com/hustvl

论文主要作家来自于华中科技大学（HUST）电子信息与通讯学院视觉实验室（Vision Lab）。HUST Vision Lab 究诘主要聚合在打算机视觉和度学习域，尤其暖热以下向：多模态基础模子、视觉表征学习、目标检测、分割与追踪、端到端自动驾驶、新式神经蚁合架构。

HUST Vision Lab 勤恳于于束缚顽固视觉智能的鸿沟，代表责任包括：CCNet（TPAMI 2020，4300+ 援用，1.5K Star）、Mask Scoring R-CNN（CVPR 2019，1400+ 援用，1.9K Star）、FairMOT（IJCV 2021，2200+ 援用，4.2K Star）、ByteTrack（ECCV 2022，3400+ 援用，6.2K Star）、EVA（CVPR 2023，1100+ 援用，2.7K Star）、MapTR（ICLR 2023，400+ 援用，1.5K Star）、Vectorized Autonomous Driving ( VAD ) （ICCV 2023，600+ 援用，1.3K Star）、DiffusionDrive（CVPR 2025，200+ 援用，1.3K Star）、Vision Mamba ( Vim ) （ICML 2024，3100+ 援用，3.8K Star）、4D Gaussian Splatting ( 4DGS ) （CVPR 2024，1400+ 援用，3.5K Star）、YOLOS（NeurIPS 2021，500+ 援用，900+ Star）、YOLO-World（CVPR 2024，1000+ 援用，6.3K Star），以及 LightningDiT & VA-VAE（CVPR 2025，200+ 援用，1.4K Star）。

键三连「点赞」「转发」「小心心」

迎接在探讨区留住你的念念法！

—  完  —

咱们正在招聘名眼疾手快、暖热 AI 的学术裁剪实习生  � �

感兴趣的小伙伴迎接暖热 � �  了解细则

� � 点亮星标 � �

科技前沿进展逐日见

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述河池隔热条设备价格，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。