亚马逊云科技 SageMaker HyperPod 现已支持托管 NVIDIA Dynamo 推理框架
据AWS Machine Learning发布的信息:亚马逊云科技 SageMaker HyperPod 推理服务现已集成 NVIDIA Dynamo,将分布式推理能力与基础设施管理相结合。据 AWS 称,该方案支持多节点部署、提示词预处理与解码分离以及 KV 缓存感知路由,帮助开发者高效运行超大规模语言模型。
据AWS Machine Learning发布的信息:
集成工作原理
亚马逊云科技 SageMaker HyperPod 推理服务现已支持 NVIDIA Dynamo,将 Dynamo 的分布式推理框架与 HyperPod 的基础设施管理及高性能网络深度融合。该集成安装了专门的自定义资源定义,包括 HyperPod 推理运营商、Dynamo 运营商、用于 Pod 协调的 Grove 以及负责 GPU 调度的 Kubernetes AI 调度器。
架构与部署方式
该架构同时支持聚合式服务和预解码分离式服务(即提示词处理和令牌生成在不同的工作池上运行,并通过 EFA 网络通信)。用户可以通过自带的 DynamoGraphDeployment 清单或使用带有 dynamoSpec 的 InferenceEndpointConfig 来配置部署。
性能与基准测试
AWS 的基准测试显示了显著的性能提升。对于 Qwen3-235B 模型,在满足特定延迟目标的情况下,分离式服务的吞吐量达到了聚合式服务的 2.05 倍。同时,针对 Qwen3.5-397B 的多节点聚合测试表明,跨节点运行仍能保持单节点 99.1% 的吞吐量。
查看筛选依据
重要性 81/100
关于这篇简报
- 内容类型
- 新闻摘要
- 信源类型
- 第一方/官方来源
- 原文发布时间
- 处理方式
- AI 辅助发现、翻译、摘要、分类与评分;编辑标准和纠错由编辑部维护。
- 核验边界
- 保留原始链接与发布信息;除非特别说明,本简报不构成独立事实核查。
- 发布方
- Polyemergence Editorial Desk · PolyEmergence Pte Ltd.
- 利益冲突
- 无已声明的财务或商业利益冲突。