历史简报 · 2026-11-18

亚马逊云科技 SageMaker HyperPod 现已支持托管 NVIDIA Dynamo 推理框架

据AWS Machine Learning发布的信息:亚马逊云科技 SageMaker HyperPod 推理服务现已集成 NVIDIA Dynamo,将分布式推理能力与基础设施管理相结合。据 AWS 称,该方案支持多节点部署、提示词预处理与解码分离以及 KV 缓存感知路由,帮助开发者高效运行超大规模语言模型。

Polyemergence 编辑配图 · 非原文图片

据AWS Machine Learning发布的信息:

集成工作原理

亚马逊云科技 SageMaker HyperPod 推理服务现已支持 NVIDIA Dynamo,将 Dynamo 的分布式推理框架与 HyperPod 的基础设施管理及高性能网络深度融合。该集成安装了专门的自定义资源定义,包括 HyperPod 推理运营商、Dynamo 运营商、用于 Pod 协调的 Grove 以及负责 GPU 调度的 Kubernetes AI 调度器。

架构与部署方式

该架构同时支持聚合式服务和预解码分离式服务(即提示词处理和令牌生成在不同的工作池上运行,并通过 EFA 网络通信)。用户可以通过自带的 DynamoGraphDeployment 清单或使用带有 dynamoSpec 的 InferenceEndpointConfig 来配置部署。

性能与基准测试

AWS 的基准测试显示了显著的性能提升。对于 Qwen3-235B 模型,在满足特定延迟目标的情况下,分离式服务的吞吐量达到了聚合式服务的 2.05 倍。同时,针对 Qwen3.5-397B 的多节点聚合测试表明,跨节点运行仍能保持单节点 99.1% 的吞吐量。

查看筛选依据
官方发布阶段未明确

重要性 81/100

信号85结构80影响78可信度88热度82
关于这篇简报
内容类型
新闻摘要
信源类型
第一方/官方来源
原文发布时间
处理方式
AI 辅助发现、翻译、摘要、分类与评分;编辑标准和纠错由编辑部维护。
核验边界
保留原始链接与发布信息;除非特别说明,本简报不构成独立事实核查。
发布方
Polyemergence Editorial Desk · PolyEmergence Pte Ltd.
利益冲突
无已声明的财务或商业利益冲突。

编辑标准 → · 纠错记录 →

POLYEMERGENCE / EXPLORE

继续探索

顺着这条线索,看看它从哪里来,又走到了哪里。

探索人工智能历史报道 →