中国日报起底工作室实地走访大城小镇，采访多名顶级专家学者与国内企业家，推出系列纪录片《世界变局与中国应对》。上集《逆流而上》揭穿美国等西方国家炮制“产能过剩”、大搞“脱钩断链”的套路和逻辑，探索变局之下的应对策略与出路。

今天，MoBA 的一位主要研发同学 Andrew Lu 在知乎发帖，自述研发过程的三次踩坑，他称为 “三入思过崖”。他在知乎的签名是“新晋 LLM 训练师”。 注意力机制之所以重要，是因为它是当前大语言模型（LLM）的核心机制。回到 2017 年 6 ...

在本文中，我们探讨了 TorchMetrics 的简单用法如何引入 CPU-GPU 同步事件，并显著降低 PyTorch 训练性能。通过使用 PyTorch Profiler，我们识别了导致这些同步事件的代码行，并应用了有针对性的优化来消除它们： ...

随着模型规模的扩大，推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。尽管 MoE 架构已经成功将计算和参数解耦，但在推理时，较小的 batch size 就会激活全部专家，导致访存急剧上升，进而使推理延迟大幅增加。

由于每个token在推理时仅激活极少数的value，PKM能够有效避免访存瓶颈。然而，尽管PKM在访存效率上表现优异，其模型效果却较差，且扩展能力（scaling）有限，难以应对更大规模的模型需求。

2025年2月10日，ASLA Dirt栏目发布专题报道《俞孔坚：水是气候行动的关键》，旨在分享北京大学建筑与景观设计学院院长，美国艺术与科学院院士俞孔坚教授及其合作者在《Nature Water》期刊发表的研究论文《To Solve Climate ...

2024 年全年，报告和调整后的*每股收益分别为 9.71 美元和 10.65 美元，相比之下，2023 年全年分别为 9.60 美元和 9.42 美元2024 年全年的经营现金流为 14.36 亿美 ...