亚马逊 SageMaker 现已支持多实例 GPU，大幅降低AI推理成本

过去在云端部署AI模型时，大家常常面临两难：要么为小模型买单整张大显卡造成严重浪费，要么只能自己去搭建和维护复杂的 Kubernetes 集群。现在，亚马逊 SageMaker AI 直接内置了 GPU 分区功能，用户可以把 A100 或 H100 这样的高端显卡切成多块独立区域，并且由硬件层直接保证隔离性。 AWS 的实测表明，用较新显卡的一个分区去跑模型，性能和性价比甚至比整张旧显卡还要好。比如，一块切分后的 H100 片段在处理大并发任务时，速度更快且每百万token的成本更低。这项功能让企业能把各种大小模型混搭在同一台机器上，既不影响性能，又大幅提高了显卡利用率。