郭明錤最新产业调查显示,英伟达已重新启动AI推理预填充加速GPU项目“Rubin CPX”,并对产品设计进行大幅调整。按照目前规划,新版Rubin CPX预计于2027年第一季度开始生产。
此次项目重启释放出一个明确信号:英伟达正在加码解决AI推理阶段的预填充性能与成本瓶颈。随着大模型上下文长度持续增加,预填充阶段需要处理大量输入信息并生成KV Cache,其效率直接影响AI推理的整体成本和部署经济性。
郭明錤称,目前超过50%的AI推理工作负载来自输入上下文处理及KV Cache构建。在算力和功耗方面,新版CPX的性能已接近标准Rubin GPU,单卡最高功耗同样达到2300瓦。内存方面,新版CPX改用168GB HBM4显存,较此前方案的128GB GDDR7明显升级,但仍低于标准Rubin GPU的288GB HBM4。
按照郭明錤的说法,8卡CPX计算托盘的HBM4容量合计约1.34TB,能够覆盖大多数长上下文预填充工作负载及对应的KV Cache需求。这意味着,Rubin CPX并非单纯追求更高的通用算力,而是针对长上下文场景对显存容量和预填充效率进行了重新设计。
此前方案中,CPX计划与Rubin GPU共享机架;新版则改为采用独立的MGX ETL机架,从而允许客户根据实际需求单独扩展CPX算力。#英伟达 此次重启CPX项目,或正是试图通过专用硬件和异构部署方式,进一步降低长上下文推理的成本。
此次项目重启释放出一个明确信号:英伟达正在加码解决AI推理阶段的预填充性能与成本瓶颈。随着大模型上下文长度持续增加,预填充阶段需要处理大量输入信息并生成KV Cache,其效率直接影响AI推理的整体成本和部署经济性。
郭明錤称,目前超过50%的AI推理工作负载来自输入上下文处理及KV Cache构建。在算力和功耗方面,新版CPX的性能已接近标准Rubin GPU,单卡最高功耗同样达到2300瓦。内存方面,新版CPX改用168GB HBM4显存,较此前方案的128GB GDDR7明显升级,但仍低于标准Rubin GPU的288GB HBM4。
按照郭明錤的说法,8卡CPX计算托盘的HBM4容量合计约1.34TB,能够覆盖大多数长上下文预填充工作负载及对应的KV Cache需求。这意味着,Rubin CPX并非单纯追求更高的通用算力,而是针对长上下文场景对显存容量和预填充效率进行了重新设计。
此前方案中,CPX计划与Rubin GPU共享机架;新版则改为采用独立的MGX ETL机架,从而允许客户根据实际需求单独扩展CPX算力。#英伟达 此次重启CPX项目,或正是试图通过专用硬件和异构部署方式,进一步降低长上下文推理的成本。
郭明錤最新产业调查显示,英伟达已重新启动AI推理预填充加速GPU项目“Rubin CPX”,并对产品设计进行大幅调整。按照目前规划,新版Rubin CPX预计于2027年第一季度开始生产。此次项目重启释放出一个明确信号:英伟达正在加码解决AI推理阶段的预填充性能与成本瓶颈。随着大模型上下文长度持续增加,预填充阶段需要处理大量输入信息并生成KV Cache,其效率直接影响AI推理的整体成本和部署经济性。郭明錤称,目前超过50%的AI推理工作负载来自输入上下文处理及KV Cache构建。在算力和功耗方面,新版CPX的性能已接近标准Rubin GPU,单卡最高功耗同样达到2300瓦。内存方面,新版CPX改用168GB HBM4显存,较此前方案的128GB GDDR7明显升级,但仍低于标准Rubin GPU的288GB HBM4。按照郭明錤的说法,8卡CPX计算托盘的HBM4容量合计约1.34TB,能够覆盖大多数长上下文预填充工作负载及对应的KV Cache需求。这意味着,Rubin CPX并非单纯追求更高的通用算力,而是针对长上下文场景对显存容量和预填充效率进行了重新设计。此前方案中,CPX计划与Rubin GPU共享机架;新版则改为采用独立的MGX ETL机架,从而允许客户根据实际需求单独扩展CPX算力。#英伟达 此次重启CPX项目,或正是试图通过专用硬件和异构部署方式,进一步降低长上下文推理的成本。