全球人工智能算力芯片龙头英伟达周二宣布,推出专为长上下文工作负载设计的专用GPU Rubin CPX,用于翻倍提升当前AI推理运算的工作效率 ,特别是编程、视频生成等需要超长上下文窗口的应用。
英伟达CEO黄仁勋表示,CPX是首款专为需要一次性处理大量知识(数百万级别tokens),并进行人工智能推理的模型而构建的芯片 。
需要说明的是 ,Rubin就是英伟达将在明年发售的下一代顶级算力芯片,所以基于Rubin的CPX预计也要到2026年底出货。下一代英伟达旗舰AI服务器的全称叫做NVIDIA Vera Rubin NVL144 CPX——集成36个Vera CPU 、144块Rubin GPU和144块Rubin CPX GPU。
(NVIDIA Vera Rubin NVL144 CPX机架与托盘,来源:公司博客)
英伟达透露 ,搭载Rubin CPX的Rubin机架在处理大上下文窗口时的性能,能比当前旗舰机架GB300 NVL72高出最多6.5倍 。
据悉,下一代旗舰机架将提供8exaFLOPs的NVFP4算力 ,比GB300 NVL72高出7.5倍。同时单个机架就能提供100TB的高速内存和1.7PB/s的内存带宽。
言归正传,英伟达之所以要在Rubin GPU边上再配一块Rubin CPX GPU,自然是为了显著提升数据中心的算力效率——用户购买英伟达的芯片将能赚到更多的钱 。英伟达表示 ,部署价值1亿美元的新芯片,将能为客户带来50亿美元的收入。
为何需要两个GPU?
作为行业首创之举,英伟达的新品在硬件层面上分拆了人工智能推理的计算负载。
英伟达介绍称,推理过程包括两个截然不同的阶段:上下文阶段与生成阶段 ,两者对基础设施的要求本质上完全不同 。
上下文阶段属于计算受限(compute-bound),需要高吞吐量的处理能力来摄取并分析大量输入数据,从而生成首个输出token。相反 ,生成阶段则属于内存带宽受限(memory bandwidth-bound),依赖高速的内存传输和高带宽互联(如 NVLink),以维持逐个token的输出性能。
当前顶级的GPU都是为了内存和网络限制的生成阶段设计 ,配备昂贵的HBM内存,然而在解码阶段并不需要这些内存 。因此,通过分离式处理这两个阶段 ,并针对性地优化计算与内存资源,将显著提升算力的利用率。
据悉,Rubin CPX专门针对“数百万tokens”级别的长上下文性能进行优化 ,具备30petaFLOPs的NVFP4算力、128GB GDDR7内存。
英伟达估计,大约有20%的AI应用会“坐等 ”首个token出现。例如解码10万行代码可能需要5-10分钟 。而多帧、多秒的视频,预处理和逐帧嵌入会迅速增加延迟,这也是为什么当前的视频大模型通常仅用于制作短片。
英伟达计划以两种形式提供Rubin CPX ,一种是与Vera Rubin装在同一个托盘上。对于已经下单NVL144的用户,英伟达也会单独出售一整个机架的CPX芯片,数量正好匹配Rubin机架 。
(文章来源:财联社)
股票融资融券的利率是多少:在手机上怎么买股票-国产芯片再迎利好!智谱发布新一代大模型 全面适配寒武纪和摩尔线程芯片!
股票配资基础知识有哪些:手机怎样买卖股票-关于起诉鲍威尔 特朗普最新表态!美国重磅数据发布 降息稳了?
微配资股票配资网址是多少:手机股票软件哪个最好用-突发!老挝、柬埔寨边境爆发激烈交火 老挝发布紧急通报:军方拘捕10名越境武装人员
什么叫杠杆炒股钱:股票融资融券利率一般是多少-A股三大利好突袭!“南哥”刷爆市场
股票融资是什么:怎么杠杆交易-凌晨!苹果重大发布!iPhone 17搭载A19芯片 史上最薄款国行版起售价7999元!
股票融资利息一般多少:股票开户怎么买国债逆回购-储能发展如何系好“安全带”?行业首部系统安全底线自律实践规范发布
配资论坛_在线配资平台_10倍杠杆配资平台_十大股票配资开户提示:文章来自网络,不代表本站观点。
配资论坛_在线配资平台_10倍杠杆配资平台_十大股票配资开户⑯选择股票配资平台时,应了解其风险控制体系和应急预案,确保在紧急情况下能够迅速应对。
界面新闻记者|冯赛琪12月20日,在MM艺术品指数媒体发布会上,MM全球印象派价格指数及全球当代艺术品价格指...
文丨财联社《中国好声音》母公司港股星空华文(06698.HK)股价午后一度跌近20%,截至发稿,该股跌1...
2025年3月11日,欣龙控股(000955.SZ)公告称,公司董事会于2025年3月10日收到欧阳宇递交的书面辞职报告...
记者|张乔遇在商场的转角、影院的入口、机场高铁站的候车区,一批按摩椅悄然出现。这些看似毫不起眼,隐匿于日...
文/吴治邦3月24日早盘,在2024年年底压哨实施完毕重整计划的*ST花王股价继续跌停。自2025年1月...