本文详细探讨了GPU的重要性、设计初衷及其在AI训练和推理中的应用,同时介绍了CUDA平台及其对GPU计算能力的扩展。通过深入了解GPU和CUDA,读者可以 ...
Hello folks,我是 Luga,今天我们继续来聊一下人工智能生态相关技术 - 用于加速构建 AI 核心算力的 GPU 编程框架 - CUDA 。    ...
在全球人工智能领域的激烈竞争中,摩尔线程(MooreThreads)最近发布了一个令人瞩目的消息:将高效的大语言模型推理框架vLLM成功移植至MUSA平台,进而为国产GPU的应用提供强劲支持。这一举措不仅是国内在AI推理领域的一次重要进展,更是计算行 ...
时间过得很快,转眼现在已经是2024年11月下旬,距离CES 2025大概只有一个多月时间了,很多朋友心心念念的RTX 50系列显卡将在这次活动期间正式发布。最近几个月,坊间有很多关于RTX 50系列显卡的爆料,不过主要集中于高端的GeForce ...
摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。
11月5日,摩尔线程宣布上线其大语言模型高速推理框架开源项目vLLM的MUSA移植版本,标志着在国产GPU驱动下,AI推理能力的革新即将再度迈向新的高峰。近年来,随着人工智能的飞速发展,尤其在大语言模型(Large Language Models, LLM)的应用中,推理速度与效率已成为技术竞争的核心。摩尔线程的这一新举措旨在为开发者提供一个便捷的工具,以助力国产GPU在AI领域的应用。 vLLM ...
快科技11月5日消息,近日,摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目 ...
在国产GPU领域,一颗璀璨的新星正在冉冉升起,它就是被誉为“中国英伟达”的摩尔线程。这家公司的创始人张建中,曾是英伟达创始人黄仁勋的重要助手,他在离开英伟达后,凭借团队的“摩尔速度”,在业界掀起了不小的波澜。
近日,关于英伟达即将发布的RTX 5090显卡的消息引发了广泛关注。根据MEGAsizeGPU的最新爆料,RTX 5090所搭载的GB202 GPU尺寸达到了744mm²,相较于当前市场上的RTX 4090,尺寸大幅增加了22%。如果这一消息属实,那么GB202 GPU将成为仅次于图灵架构时代的TU102 GPU(754mm²)之后的第二大消费级GPU。
近期,在Chiphell论坛上,一位名为panzerlied的消息人士针对英伟达即将推出的GeForce RTX 5090 D显卡发表了看法。据其透露,RTX 5090与RTX 5090 ...
爆料人Kopite7kimi表示,RTX 5070 Ti将会采用GB203芯片,拥有8960个CUDA核心和70组SM,内部名称为PG147 SKU 60,并推测其GB203很可能是经过削减的版本。另外,他还表示RTX 5070 Ti的功耗会是300W,但是并没明确指出是TDP还是TGP,同时显卡的核心频率和显存规格暂时不予透露,可能目前相关配置尚未得到最终确认。