在人工智能领域，Transformer作为一种革命性的技术架构，成为了大型语言模型（LLM）和各种语言处理应用的核心。自2017年被提出以来，Transformer不仅提升了自然语言处理（NLP）领域的创新性，还推动了智能写作、智能营销、智能对话等多 ...

现有的大模型几乎都是在Tranformer的基础上开发的，可以说Tranformer就是大模型的基石。这篇文章 […] ...

其中最值得注意的一个故事是真正首次提出注意力机制的论文其实是 Dzmitry Bahdanau、Kyunghyun Cho 和 Yoshua Bengio 的《Neural Machine Translation by Jointly ...

注意力机制的本质是一种“数据依赖的加权平均”，是一种灵活、高效的全局池化操作。它的提出不仅是技术上的突破，也反映了人类认知的深刻影响。正如 Andrej Karpathy 所评价的：“注意力是一种重大解锁，是神经网络架构设计的一次飞跃。” ...

在 DeepMind 工作期间，Beyer 似乎一直在密切关注 OpenAI 发布的研究成果以及该公司卷入的公共争议，他经常在 X 上向自己的 7 万多名粉丝发布相关信息。去年，当首席执行官 Sam Altman 被 OpenAI ...

随着生成式AI（genAI）模型在应用范围和模型规模方面的持续扩展，其训练和部署所需的计算资源及相关成本也呈现显著增长趋势，模型优化对于提升运行时性能和降低运营成本变得尤为关键。作为现代genAI系统核心组件的Transformer架构及其注意力机制 ...

上海岩芯数智人工智能科技有限公司（RockAI）近期宣布，其自主研发的Yan架构大模型已成功通过国家互联网信息办公室发布的《生成式人工智能服务管理暂行办法》备案。这一成就标志着Yan架构大模型成为国内首个通过备案的非Transformer架构、非At ...

近日，OpenAI宣布重磅人事变动，三名来自谷歌DeepMind的资深研究科学家翟晓华、Lucas Beyer和Alexander ...

周期性现象广泛存在，深刻影响着人类社会和自然科学。作为最重要的基本特性之一，许多规律都显式或隐式地包含周期性，例如，天文学中的行星运动、气象学中的季节变化、生物学中的昼夜节律、经济学中的商业周期、物理学中的电磁波，以及数学运算和逻辑推理等。

文 | ...

近日,上海岩芯数智人工智能科技有限公司(以下简称RockAI)的Yan架构大模型成功通过《生成式人工智能服务管理暂行办法》备案,这是国内首个非Transformer架构大模型通过备案。