多年来，不同的模型探索了不同的策略来应对计算挑战，包括内核化、历史内存压缩、令牌混合范围限制和低秩方法等方法。最近，Mamba 和 RWKV 等递归神经网络方法因其在大型语言模型中的良好结果而引起了广泛关注。 Mamba 模型系列具有递归神经网络的架构 ...