亚马逊推出 SGLang-Neuron，支持在 AWS Trainium 芯片上部署前沿大模型

据AWS Machine Learning发布的信息：

背景介绍

亚马逊宣布 SGLang-Neuron 现已通过 AWS 深度学习容器公开可用。该工具由 RadixArk 与 Annapurna Labs 合作开发，旨在将广受欢迎的 SGLang 模型服务框架引入亚马逊专有的 AWS Trainium 芯片，为大规模 AI 训练和推理提供更具成本效益的选择。

技术细节

SGLang-Neuron 采用独立于核心代码的插件设计，将 SGLang 与 Trainium 芯片连接起来。SGLang 的核心部分负责处理 API 服务器、请求生命周期和缓存管理，而该插件则通过原生 PyTorch 和专属内核接口（NKI）来处理 Trainium 特定的模型架构、注意力机制以及专家混合（MoE）模型。此外，它还支持 PD 分离架构，允许预填充（prefill）和解码（decode）阶段在不同服务器上运行，并通过高性能网络传输缓存数据。

实际影响

开发者现在可以使用与以往完全相同的 SGLang 接口在 Trainium 芯片上部署大模型。这大大降低了企业在转向 AWS 自研芯片时的迁移成本，让他们无需重构服务管道即可运行大规模 AI 推理和强化学习任务。