近日，通过结合“预测下一个 token”概念与连续概念，Meta 提出一款名为“连续概念混合（CoCoMix，Continuous Concept Mixing）”的预训练框架。（注：连续概念，指的是连续思维链技术，这是一种旨在提升模型推理能力的方法 ...

“放弃生成式模型，不研究LLM （大语言模型） ，我们没办法只通过文本训练让AI达到人类的智慧水平。”近日，Meta首席AI科学家杨立昆 （Yann LeCun） 在法国巴黎的2025年人工智能行动峰会上再一次炮轰了生成式AI。

这些“专家”本身通常是 FFNN。 2.路由或者网关网络， 决定将哪些标记（token）分配给哪些专家。 在采用 MoE 架构的大语言模型的每一层中，我们会发现这些专家模块往往具有这样的特点： 要知道，所谓的“专家”并不是专门针对某个领域，如“心理学”或 ...

虽然我们经常直接用token，但有的文献会翻译为标记。下文中看到标记，代表token。 Token是使用Tokenizer（翻译为分词器）分词后的结果，Tokenizer是什么呢？Tokenizer是将文本分割成token的工具。 在大模型中，Tokenizer有三种常见的分词方式：word level，char level ...

实验结果显示，CoCoMix 的样本效率更高，并且始终优于“预测下一个 token”、知识蒸馏和插入暂停标记（inserting pause tokens）。（注：插入暂停标记 ...

“放弃生成式模型，不研究LLM（大语言模型），我们没办法只通过文本训练让AI达到人类的智慧水平。”近日，me ta首席AI科学家杨立昆（Yann LeCun）在法国巴黎的2025年人工智能行动峰会上再一次炮轰了生成式AI。

每个token被掩码的概率为t，其中t是从 [0,1]中均匀采样的。这与传统的固定掩码比例（如BERT中的15%）不同，LLaDA的随机掩码机制在大规模数据上表现出更好的性能。

标题：Perplexity Sonar升级：1200 Token/s疾速破局，引领搜索模型新潮流 随着人工智能技术的快速发展，搜索引擎已成为人们获取信息的重要途径。作为一家AI搜索引擎企业，Perplexity一直在致力于提高其搜索模型的性能和准确性 ...

今天，MoBA 的一位主要研发同学 Andrew Lu 在知乎发帖，自述研发过程的三次踩坑，他称为 “三入思过崖”。他在知乎的签名是“新晋 LLM 训练师”。 注意力机制之所以重要，是因为它是当前大语言模型（LLM）的核心机制。回到 2017 年 6 ...

具体来说，当模型在推理过程中识别到需要额外信息时，它会生成特殊的标记（token）并附带精确的查询信息。这些标记可以分为三类：网络搜索标记、代码执行标记和思维导图调用标记。 这种迭代式的检索—推理循环使模型能够不断完善其推理过程，最终达到 ...

IT之家从官方介绍获悉，通义千问本次发布了两个新的开源模型，分别是 Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M，这是通义千问 首次将开源的 Qwen 模型的上下文扩展到 1M 长度 。

近日，马里兰大学的一篇论文在 AI 研究社区中引发了关注，其提出的语言模型通过迭代循环块来工作，能在测试时展开到任意深度。这与当前通过生成更多 token 来扩展计算的主流推理模型形成了鲜明的对比。