williamlong on Nostr: 谷歌DeepMind推出Mixture of Depths ...

谷歌DeepMind推出Mixture of Depths

日前有消息显示，谷歌DeepMind方面发布的Mixture-of-Depths（MoD），改变了以往Transformer架构的计算模式。

据了解，通过动态分配大模型中的FLOPs（运算次数或计算资源），优化不同层次模型深度中的分配，限制给定层的自注意力和MLP计算的token数量，MoD可跳过一些不必要计算，迫使神经网络学会主要关注真正重要的信息， 实现只给需要准确预测的token分配更多计...

https://www.williamlong.info/archives/7419.html