亚马逊 SageMaker AI 为实时流式传输推出按量计费功能

据AWS Machine Learning发布的信息：

背景

语音助手和实时转写等实时语音 AI 应用严重依赖双向流式传输。然而，为这些长时间运行的会话计费非常困难，因为传统的 AWS Marketplace 软件计费仅适用于标准的请求-响应 API，即可计费数量在请求结束时即可立即可知。对于持续长达 30 分钟的直播流，按小时计费往往在静默期也会向客户收费，无法真正反映实际消耗。

技术细节

为了解决这个问题，亚马逊 SageMaker AI 现在在主数据流旁开辟了第二条 WebSocket 连接。这个伴随的元数据连接运行在专用路径上，允许模型服务器发送报告增量用量的 JSON 文本帧。提供商使用 inference.count 维度和 ConsumedUnits 数量来发送指标。开发者可以自行选择当元数据连接断开时是终止推理会话还是继续进行纯数据模式，从而在可靠性与计费连续性之间取得平衡。

行业影响

这一更新从根本上将软件收费与实时 AI 工作负载的实际消耗进行了对齐。企业客户可以享受合并的 AWS 账单和私有优惠，无需管理单独的供应商关系；而模型提供商则获得了一条标准化通道，能够通过 AWS Marketplace 无缝实现流式 AI 的商业化。