“放弃生成式模型，不研究LLM（大语言模型），我们没办法只通过文本训练让AI达到人类的智慧水平。”近日，Meta首席AI科学家杨立昆（Yann LeCun）在法国巴黎的2025年人工智能行动峰会上再一次炮轰了生成式AI。 杨立昆认为，现有的大模型运行虽然高效，但推理过程是发散的，生成的token有可能不在合理答案范围内，这也是为什么有些大模型会产生幻觉。虽然现在的很多生成式模型让AI可以通过律师资 ...

在当今人工智能的快速发展中，如何高效处理长上下文信息成了众多研究者亟待攻克的难题。近期，DeepSeek团队在社交媒体上发布了一篇引人注目的新论文，提出了一种原生稀疏注意力机制（NSA），为解决这一问题提供了创新思路。此外，就在几天前，埃隆·马斯克旗下的xAI公司也发布了其最新的Grok3模型，吸引了众多行业的热切关注。在这篇文章中，我们将深入分析DeepSeek的NSA机制，以及Grok3的特点 ...

近日，通过结合“预测下一个 token”概念与连续概念，Meta 提出一款名为“连续概念混合（CoCoMix，Continuous Concept Mixing）”的预训练框架。（注：连续概念，指的是连续思维链技术，这是一种旨在提升模型推理能力的方法 ...

近日，马里兰大学的一篇论文在 AI 研究社区中引发了关注，其提出的语言模型通过迭代循环块来工作，能在测试时展开到任意深度。这与当前通过生成更多 token 来扩展计算的主流推理模型形成了鲜明的对比。

为策略模型和价值模型收集训练数据。 对于策略模型，可以考虑使用流水线自动生成数据或使用CoT提示词等方案，并包括一个特殊的结束标记token，以确保清晰的分割。 对于价值模型，通过MCTS完整模拟生成数据，这将提供有关推理路径和结果的丰富、结构化信息。

使得该框架在处理 1M 标记输入时的速度提升了 3 倍到 7 倍。 长上下文任务 在上下文长度为 100 万 Tokens 的大海捞针（Passkey Retrieval）任务中 ...

为了帮助开发者更高效地部署 Qwen2.5-1M 系列模型，Qwen 团队完全开源了基于 vLLM 的推理框架，并集成了稀疏注意力方法，使得该框架在处理 1M 标记输入时的速度提升了 3 倍到 7 倍。 长上下文任务 在上下文长度为 100 万 Tokens 的大海捞针（Passkey Retrieval）任务中 ...