于周一 NVIDIA GTC 大会上发布的 NVIDIA Dynamo 1.0，目前已正式向 DigitalOcean 用户开放，助力用户提升性能、优化成本效率。
NVIDIA Dynamo 1.0 在 NVIDIA GB200 NVL 系统上可实现高达 7 倍的推理性能提升；将其与 DigitalOcean 的智能推理云（Agentic Inference Cloud）搭配使用，用户不仅能以更低成本获得更高性能，还能享受无缝部署体验。
通过 DigitalOcean 与 NVIDIA 的联合优化，Workato 等客户已实现 67% 的成本节省，而这一代全新 Dynamo 版本，将为运行生产级智能工作流的企业解锁更显著的收益。DigitalOcean 用户可通过容器镜像获取 NVIDIA Dynamo 1.0，既可在 Droplet 上运行，也可借助推理运行时（vLLM、SGlang、TensorRT）直接部署在 DigitalOcean Kubernetes 上。
什么是 NVIDIA Dynamo 1.0？
NVIDIA Dynamo 是一款尖端的高性能推理服务框架，专为加速和优化大规模生成式 AI 及推理模型而设计。作为位于 vLLM、SGlang 及 NVIDIA TensorRT-LLM 等引擎之上的编排层，它就像是 GPU 集群的分布式流量控制器，能够无缝协调集群中的 GPU 和内存资源，并通过智能请求路由减少性能瓶颈。
Dynamo 1.0 带来的关键技术突破包括：
7 倍性能提升：与 NVIDIA Blackwell Ultra GPU 搭配使用时，Dynamo 可将推理性能提升高达 7 倍，显著降低每令牌成本。
KV 感知路由：不同于简单的轮询负载均衡，Dynamo 会将请求路由至已存储对话前序相关“内存”的特定 GPU，提升响应效率。
分离式服务：Dynamo 将“预填充”（读取提示词）和“解码”（生成答案）两个阶段分配到不同 GPU 上，最大限度提高资源利用率并降低延迟。
内存卸载：KV 块管理器（KVBM）可在高速 GPU 内存与低成本存储层之间迁移数据，让用户在不触及内存限制的情况下，处理超大上下文窗口。
DigitalOcean 如何通过 Dynamo 优化推理工作负载，提升吞吐量并降低延迟？
在 DigitalOcean 上使用 NVIDIA Dynamo 的用户，不仅能获得出色的性价比，还能享受简洁的设置流程，以及与 Dynamo 架构高度适配的运行环境——尤其适用于严格管控的 GPU 集群，以及 KV 缓存优化和路由场景。
DigitalOcean 已通过 NVIDIA Dynamo 为客户带来切实收益，最近与 Workato 人工智能研究实验室合作，为其平台扩展智能 AI 能力，该平台每年处理超过 1 万亿次自动化工作负载。为满足生产级推理对效率和成本的严苛要求，该团队在 DigitalOcean 托管 Kubernetes（DOKS）上部署了搭载 vLLM 的 NVIDIA Dynamo。
在 DOKS 上使用 NVIDIA Dynamo v0.4.1 + vLLM 后，Workato 取得了以下成果：
- 与相同硬件上的其他配置相比，每 GPU 吞吐量提升 67%，端到端延迟降低 79%，首令牌生成时间缩短 77%；
- 要实现同等性能，使用 NVIDIA H200 GPU 比 NVIDIA A100 GPU 可降低 33% 的硬件成本；
- 使用的 GPU 数量减少一半，模型成本降低 67%。
- 如需了解 Workato 如何借助 DigitalOcean 取得这些显著成果。
借助 Dynamo 1.0 的强大能力以及新推出的 NVIDIA HGX B300s，期待为 Workato 等更多客户实现更卓越的性能提升和成本优化。
NVIDIA 与 DigitalOcean 携手，共创推理优化未来
除了 Dynamo 1.0，在今年的 NVIDIA GTC 大会上，DigitalOcean还兴奋地分享了其他产品发布及更新，进一步增强 DigitalOcean 智能推理云（Agentic Inference Cloud）的能力。其中包括全新的 AI 优先里士满数据中心、可无缝体验 NVIDIA Agent Toolkit 和 NemoClaw 并部署至 DigitalOcean 的路径、对 NVIDIA Nemotron 3 Super 及其他高性能模型的支持等。
点击领取DigitalOcean200美元优惠链接（可用于试用DigitalOcean任意产品，有效期60天）
领取教程：《DigitalOcean怎么购买服务器 200美元试用额度领取及购买教程》
方案选择：《DigitalOcean国外云服务器（Droplet）选型指南》
(本文由美国主机侦探原创，转载请注明出处“美国主机侦探”和原文地址！)
微信扫码加好友进群
主机优惠码及时掌握
QQ群号：164393063
主机优惠发布与交流
