在近年来的人工智能领域，Scaling Law的探讨成为了一个热议话题。财通证券最新发布的研报指出，Scaling Law作为实验科学的重要产物，正面临着数据资源枯竭的挑战，其传统的适用性受到质疑。特别是在大语言模型（LLM）领域，Scaling ...

近日，财通证券发布了一份关于Scaling ...

Scaling Law过去是、现在是、将来也会继续是推动大模型快速发展的第一动力，我自己一般是通过它来对大模型未来发展悲观乐观做总体判断的：只要目前Scaling ...

智通财经APP获悉，财通证券发布研报称，Scaling Law作为实验科学的产物，目前面临数据资源枯竭的挑战，Transformer架构也未能完全表达人脑的思考机制。该行认为，对Scaling ...

近日，财通证券发布研报，对AI领域的Scaling Law进行了深入分析。Scaling Law作为实验科学的产物，目前正面临数据资源枯竭的挑战，同时Transformer架构 ...

经常打游戏的朋友肯定知道，近期最火的游戏插件莫过于补帧软件 Lossless Scaling 小黄鸭了。它可以通过补帧的方式直接让游戏的帧数翻倍，想比起大几千显卡的才有的 DLSS 而言，这软件只需要 29 元，史低甚至只要 4 元（不过是很久之前了 ...

但是卡多有个好处，就是能压缩实验新想法和训练大模型基座的时间周期。比如你总得探索一些不同的算法、参数或数据配比的模型进行各种实验，你有10个新想法，如果只有2000张卡，可能得跑5天才能得出结论，要是有几万张卡，可能1天就能得出结论，所以卡多对于探索 ...

近日，谷歌DeepMind科学家Jacob Austint在X上， 发布了基于JAX和TPU的大模型Scaling教科书《How to Sacle Your Model》。 进入教科书网站，可以看到大写的标题：「如何扩大模型规模（ How ...

苹果和牛津大学的研究人员引入了一种蒸馏缩放定律，该定律可以根据计算预算分布预测蒸馏模型的性能，对蒸馏进行了广泛的对照研究，学生和教师模型的参数范围从1.43亿到126亿，训练数据从几十亿token到5120亿token不等。

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文由悉尼大学计算机学院王云柯 ...

2009 年，ImageNet 数据集的发布让深度学习在计算机视觉领域迎来了转折点。这个包含 1, 400 万张图像的数据集，不仅推动了卷积神经网络的发展，更开创了用大规模数据训练视觉模型的先河。随后，JFT-300M（3 亿图像）和 ...