中科大研究团队提出Ada-KV，通过自适应预算分配算法来优化KV缓存的驱逐过程，以提高推理效率。 改进KV缓存压缩，大模型推理显存瓶颈迎来新突破—— 中科大研究团队提出Ada-KV，通过自适应预算分配算法来优化KV缓存的驱逐过程，以提高推理效率。 打破KV Cache ...