核心理念无疑振奋人心：“FlashMLA是一款面向Hopper GPU的高效MLA解码内核，专门为可变长度序列服务场景进行优化。”简单来说，FlashMLA是帮助AI模型快速解码的利器，尤其在面对长上下文的对话时，其优势不言而喻。

Codesign真是妙不可言啊 Dynamic sparse attention的主要问题就是如果用flashattention style的kernel写法，那么对于每个query block，需要load每个token激活的key/value block的并集，在最坏条件下是会degrade到full attention的。

就在昨天，Kimi 和 Deepseek 分别发布了一篇论文，发布时间和论文主题内容都高度相似。我第一时间把两篇论文阅读完了，急忙跑来写写我对这两篇论文的感想和体会。

2月21日，DeepSeek在社交平台发文称，构建了一支探索AGI（通用人工智能）的小团队，从下周起将开源5个代码库，以完全透明的方式分享研究进展。 在最新动态中，DeepSeek表示，其在线服务中的构建模块已经被记录、部署并进行了实际测试，希望分享的每一行代码都会变成强有力的势能，加速行业发展进程。

DeepSeek在AI领域的发展一直备受关注，其最新论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse ...