Scaling Law过去是、现在是、将来也会继续是推动大模型快速发展的第一动力，我自己一般是通过它来对大模型未来发展悲观乐观做总体判断的：只要目前Scaling ...

在近年来的人工智能领域，Scaling Law的探讨成为了一个热议话题。财通证券最新发布的研报指出，Scaling Law作为实验科学的重要产物，正面临着数据资源枯竭的挑战，其传统的适用性受到质疑。特别是在大语言模型（LLM）领域，Scaling ...

近日，财通证券发布了一份关于Scaling ...

智通财经APP获悉，财通证券发布研报称，Scaling Law作为实验科学的产物，目前面临数据资源枯竭的挑战，Transformer架构也未能完全表达人脑的思考机制。该行认为，对Scaling ...

但是卡多有个好处，就是能压缩实验新想法和训练大模型基座的时间周期。比如你总得探索一些不同的算法、参数或数据配比的模型进行各种实验，你有10个新想法，如果只有2000张卡，可能得跑5天才能得出结论，要是有几万张卡，可能1天就能得出结论，所以卡多对于探索 ...

近日，谷歌DeepMind科学家Jacob Austint在X上， 发布了基于JAX和TPU的大模型Scaling教科书《How to Sacle Your Model》。 进入教科书网站，可以看到大写的标题：「如何扩大模型规模（ How ...

C114讯 2月8日消息（章葭）作为一款继ChatGPT之后的现象级AI产品，DeepSeek（深度求索）的冲击波还在继续。 据国内AI产品榜统计数据，DeepSeek应用在上线仅20天后，其日活跃用户数（DAU）迅速突破2000万大关，达2215万。

近日，财通证券发布研报，对AI领域的Scaling Law进行了深入分析。Scaling Law作为实验科学的产物，目前正面临数据资源枯竭的挑战，同时Transformer架构 ...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文由悉尼大学计算机学院王云柯 ...

来自悉尼大学的研究团队提出了一种新的 AI Scaling 思路，不仅包括 Scaling Up（模型扩容），还引入了 Scaling Down（模型精简）和 Scaling Out（模型外扩）。 本文由悉尼大学计算机学院王云柯，李言蹊和徐畅副教授完成。王云柯是悉尼大学博士后，李言蹊是悉尼大学三 ...

2009 年，ImageNet 数据集的发布让深度学习在计算机视觉领域迎来了转折点。这个包含 1, 400 万张图像的数据集，不仅推动了卷积神经网络的发展，更开创了用大规模数据训练视觉模型的先河。随后，JFT-300M（3 亿图像）和 ...