出海应用也能享受高速稳定的DeepSeek-R1？亚马逊云科技出手了

首页 » 出海应用也能享受高速稳定的DeepSeek-R1？亚马逊云科技出手了

文章来源于互联网:出海应用也能享受高速稳定的DeepSeek-R1？亚马逊云科技出手了

给大模型落地，加入极致的务实主义。

DeepSeek 引领的新一轮 AI 技术爆发才刚开始，激烈的应用侧竞争也进入了正在进行时。

由于官方服务器经常遭遇繁忙、限流等问题，各家云厂商的 MaaS 服务正在解决开发者们的燃眉之急。自 2 月份以来，各家云科技大厂纷纷上线满血版 DeepSeek V3、R1 大模型。它们不仅卷算力，也竞相提供更便捷的部署方案（从 API 到应用开发能力），甚至连价格也卷了起来。

3 月 11 日，亚马逊云科技宣布 DeepSeek-R1 正式作为全托管的无服务器模型提供，成为了第一家以全托管通用模型形式提供 DeepSeek-R1 的国际云服务提供商。

^{亚马逊 CEO 安迪・贾西宣布 Amazon Bedrock 提供全托管式 DeepSeek-R1 的贴文。}

也就是说，无需配置硬件资源，无需设置软件环境，一个 API 就能直接调用满血版 DeepSeek-R1。

^{使用 Amazon Bedrock Converse API 调用 DeepSeek-R1 模型生成文本的代码示例，来自：亚马逊云科技新闻博客}

众所周知，DeepSeek-R1 是引爆这一轮生成式 AI 技术爆发的核心。它将强大的自然语言处理与高级推理能力相结合，性能直接对标 OpenAI o1 而且开源。对于开发者来说，DeepSeek-R1 的高性能和低成本为众多 AI 应用打开了新方向。

不过对于希望基于大模型构建应用的开发者和企业来说，自己部署 671B 参数量的满血版 R1 模型的门槛非常高，最好的方法依然是使用 API。不过，DeepSeek 官方的 API 远不能满足众多开发者的需求，也因此，国内外的 AI 或云服务商都掀起了一股部署并提供 DeepSeek-R1 服务的浪潮。

其中有的提供商采用了提供计算平台让客户自行部署的方式，也有的会提供包括一键式部署在内的更进一步的部署服务，而 Amazon Bedrock 为客户提供多种形式的选择，包括 1 月 30 日开始在其 Marketplace 和 Custom Model Import 中提供的 DeepSeek-R1 模型支持以及从本月 11 日开始的全托管式 DeepSeek-R1。

当然，这也体现了亚马逊云科技提供多种先进模型，面向不同需求的「Choice Matters」理念。

实测验证：低 TTFT + 高 TPOT

这里，基于 Playground，机器之心对 Amazon Bedrock 的全托管式 DeepSeek-R1 进行了一番实测。

首先，先测试一个最近常被用于测试推理和编程模型的问题：编写一个演示小球在正十二面体中来回碰撞的 Python 脚本，并且这个小球的颜色会在每次撞击时发生变化。

可以明显注意到，Amazon Bedrock 的全托管式 DeepSeek-R1 的首 Token 时延（TTFT）非常低，这个示例中仅有 0.7 秒 —— 几乎在我们点下「运行」按钮之后马上就开始输出推理 Token 了。同时我们也能看到输出速度也非常快。

我们也以同样的提示词在 DeepSeek 官网上进行了两次测试，结果第一次遭遇了长达 13 秒的 TTFT，另一次更是在等待近一分钟后只收获了一个「服务器繁忙，请稍后再试」。

至于结果表现，因为 Amazon Bedrock 的全托管式 DeepSeek-R1 是与官网部署的相同的满血版，所以结果上并不存在明显的差异。至少对于这个任务而言，DeepSeek-R1 第一次输出的结果还需要一些 debugging。

下一个测试，我们使用了前两天 OpenAI CEO 山姆・奥特曼在 𝕏 上发布的元小说提示词：

这一次我们直接把温度值拉满，让 AI 创造起来：

同样，Amazon Bedrock 上的 DeepSeek-R1 速度非常快！这一次同样是 0.7 秒左右就给出了首 Token 响应。考虑到 Amazon Bedrock 的服务器远在美国，这种速度表现可以说堪称惊艳了。而根据亚马逊云科技自己在美国的测试结果，TTFT 更是可以低至 0.4 秒。

根据 Artifical Analysis 发布的《DeepSeek-R1：API 提供商基准评测和分析》报告，0.4 秒的 TTFT 足以傲视全球所有提供商。（注：Artifical Analysis 报告中最快的 0.26 秒 TTFT 是 FP4 量化版 DeepSeek-R1）。

^{图源：Artifical Analysis}

再来看看 Amazon Bedrock 输出每个 Token 的时间（TPOT），下表汇总了我们多次测试的数据：

平均计算下来，Amazon Bedrock 的全托管式 DeepSeek-R1 的 TPOT 仅有 15.50 ms，也就相当于每秒能输出约 64.5 个 Token—— 这个速度自然远超 DeepSeek 官方的 API 服务，在 Artifical Analysis 发布的测试结果中处于靠前的位置。

^{图源：Artifical Analysis}

整体体验下来，我们发现 Amazon Bedrock 的全托管式 DeepSeek-R1 的性能表现基本与官网 DeepSeek-R1 服务一致，但不管是 TPOT 还是 TTFT 都要远胜后者。至于服务稳定性，想必拥有顶级规模服务器集群的亚马逊云科技足以应对任何流量压力。

^{亚马逊云科技是市占率稳居第一的云基础设置服务提供商，图源：emma.ms}

可落地化的 AI 服务，帮你实现「大模型自由」

现在，开发者可以基于 DeepSeek-R1 的强大的能力来构建能编写代码、解决复杂问题的服务，而无需担心任何复杂的设置或运维。对于目标海外市场的客户来说，想要在自己的应用里部署满血 DeepSeek-R1 能力，亚马逊云科技提供的服务已成为首选。

亚马逊云科技最近已经陆续在 Amazon Bedrock 上线了 DeepSeek-R1、Claude 3.7 Sonnet 等先进模型，此外如 Mistral Large 2、Stable Diffusion 3.5 Large 等业内第一梯队大模型，都可以在其平台上选用，提供者来自 AI21 Labs、Anthropic、Cohere、DeepSeek、Luma AI、Meta、Mistral AI、Stability AI 等知名公司。当然，你也完全可以使用亚马逊自家的 Titan 和 Nova 系列模型。

目前在 Amazon Bedrock 上，仅以 API 形式可调用的大模型型号就有超过 50 个，全部可用大模型数量已超过 100 个。

这些模型具有不同的规模和上下文设置，并且可能针对推理、编程、阅读理解和开放式问答等任务进行了不同的优化，也因此具有不同的速度、性能和成本水平，并且其中不仅有文本模型，也有图像和视频模型。

其实，亚马逊云科技在构建大模型能力的过程中，一直在强调多模型相互协作的必然性：没有一个大模型可以一统天下。

这个观点是真正面向应用的考量。一方面，每个 AI 模型都有其特长、局限性和适用场景，从使用者的角度出发，不同的行业和业务场景对 AI 模型的需求差异很大；另一方面，出于数据隐私、适应性差异以及政策等原因，全球通用的服务也需要在各地部署不同的模型，苹果的 Apple Intelligence 就是个例子。

若想实践这一思路，就需要云服务商进行多方合作，充分整合资源并建立一套高效率、低成本的平台。通过引入业界最先进的基础模型，亚马逊云科技在其云服务平台上第一时间提供具备生产条件、可落地化的 AI 服务。适用于不同场景、体量、性价比。人们可以单独调用，还可以针对复杂场景结合使用不同模型。人们在 AI 能力的部署过程中不必考虑模型迁移、适配等任务的工作。

这一模式打开了格局，为开发者和企业提供了多样化且方便实用的 AI 落地途径。Amazon Bedrock 也成为了过去十年以来，亚马逊云科技增长最快的云服务之一。

自有数据 AI Ready，开发也能端到端

我们知道，DeepSeek-R1 发布及开源以后，AI 领域正在发生翻天覆地的变化，如今基础 AI 模型能力不再是难以逾越的壁垒，各家公司、各个应用能够做出差异化的关键或许在于发挥自身数据的核心价值。

在「大模型自由」的基础上，亚马逊云科技为 AI 应用开发的全流程提供了一整套开箱即用的完整工具链，涉及安全防护、知识库管理、智能体、模型评估、提示词集中管理等各个方面，能让你利用现有的数据做到 AI Ready。

事实上，自 2023 年发布完全托管服务 Amazon Bedrock 以来，亚马逊云科技一直在推动大模型工作流的集成化。这个过程一直在进行中，随着技术的进步也越来越快。

首先，在安全防护方面，Amazon Bedrock Guardrails 支持客户根据自己的用例为任何基础模型创建和应用防护栏，同时还能为客户提供额外的保护层，据介绍可以阻止高达 85% 的有害内容。

^{使用 Amazon Bedrock Guardrails，可以轻松地为 DeepSeek-R1 配置内容过滤规则。}

不仅如此，为了防止模型因幻觉产生事实性错误，Amazon Bedrock 还开创性地利用了自动推理来进行检查。据我们所知，Amazon Bedrock 不仅是首个，而且依然还是唯一一个使用此方法来构建生成式 AI 防护栏的平台。效果如何呢？根据用于检索增强生成（RAG）和汇总使用案例的模型的数据，该方法可成功过滤 75% 以上的幻觉响应。

此外，Amazon Bedrock Knowledge Bases 可以让企业安全地将自己的内部数据源用于 RAG，以便为聊天机器人和问答系统等用例提供更准确、针对特定上下文的响应。

^{Amazon Bedrock 提供非常便捷的知识库创建入口，并且支持向量数据库、结构化数据库、Kendra GenAI Index 等多种形式。}

Amazon Bedrock 也早已经为当今大热的「智能体」概念做好了准备。Amazon Bedrock Agents 可与企业系统、API 和数据源无缝连接，协调基础模型、数据源、软件应用和用户对话之间的交互，使生成式 AI 应用能够自动执行多步任务。具体来说，Amazon Bedrock Agents 支持的功能包括：

扩展基础模型以理解用户请求，并将智能体必须执行的任务分解为更小的步骤。
通过自然对话从用户那里收集更多信息。
通过 API 连接公司系统以采取行动以满足客户的请求。
通过查询数据源来提高性能和准确度。

^{在 Amazon Bedrock 上可以便捷配置智能体，用户可以选择是否启动记忆、知识库、防护机制和编排策略。}

不仅如此，Amazon Bedrock Agents 并不局限于单一会话的信息处理，还可以记录用户之前的历史交互信息并基于此提供更为精准的个性化服务推荐。

针对企业和开发者并不知道哪个模型适合自身业务的情况，Amazon Bedrock 还提供了 Evaluations（评估）能力，其中包括模型评估和 RAG 评估。企业可以快速分析和比较 Amazon Bedrock 上的模型，可让评估模型的时间从几个星期缩短到几个小时，从而可让客户更快地推出新的应用并改善用户体验。

^{Amazon Bedrock 即支持自动化评估，也支持人类评估。}

此外，Amazon Bedrock 还支持对提示词进行集中管理。Prompt Management 简化了提示词的创建、评估、版本控制和共享，可帮助开发者和提示工程师从基础模型中获得针对其使用案例的最佳响应。全新的提示词缓存功能和提示词智能路由功能可帮助客户大规模管理提示词信息、降低响应延迟、优化响应质量和成本。

^{Amazon Bedrock 最近新增的提示词路由可以智能地在同一系列的模型中路由用户请求，从而权衡优化响应质量和成本。}

Amazon Bedrock Flows 也是非常值得尝试的能力，其可以将提示词、智能体、知识库、防护栏以及其它亚马逊云科技服务连接起来，从而创建、测试和部署用户自己定义的生成式 AI 工作流。

^{Amazon Bedrock Flows 具有非常直观的创建界面。}

除此之外，Amazon Bedrock 还具有水印检测、批量推量、预配吞吐量、跨区域推理等诸多能力，可为企业和开发者的应用提供全方位的支持。

去年底，亚马逊云科技对其 AI 训练推理统一平台 Amazon SageMaker 进行了重大更新，全新的 SageMaker AI 几乎涵盖了数据探索、准备和集成、大数据处理、快速 SQL 分析、机器学习（ML）模型开发和训练以及生成式 AI 应用程序开发所需的所有组件。

其中最引人关注的是 SageMaker Unified Studio。这是一个单一的数据和 AI 开发环境，整合了目前 Amazon Athena、 Amazon EMR、 AWS Glue、 Amazon Redshift、 Amazon Managed Workflows for Apache Airflow（MWAA）和现有 SageMaker Studio 中的一系列独立组件、查询编辑器和可视化工具的功能和工具。

基于这些能力，人们在构建大模型应用时所需要的数据处理能力、AI 模型调用等功能全部被整合进了同一个界面。

具体来说，在 SageMaker Unified Studio 上你可以使用集成的 SQL 编辑器可以查询多个来源的数据，可视化地提取、转换和加载 (ETL) 工具可简化数据集成和转换工作流；全新的统一 Jupyter 笔记本可以帮助你实现跨不同计算服务和集群的无缝工作；借助新的内置数据目录功能，人们可以查找、访问和查询整个组织的数据和 AI 项目。

SageMaker Unified Studio 包含 SageMaker AI 的功能，为机器学习整个生命周期提供了基础设施、工具和工作流程。再进一步，你也可以使用新的 Amazon Bedrock IDE 在 Amazon SageMaker Unified Studio 中开发生成式 AI 应用程序。

借助 Amazon Bedrock IDE，人们只需点几下鼠标就可以利用专有数据源构建聊天智能体并创建知识库，从而实现检索增强生成 (RAG）。借助内置的模型评估功能，你也可以同时测试和优化 AI 应用程序的性能，为生成式 AI 驱动的工作流设计流程，共享应用程序或提示，或将其导出和部署到其他地方。

亚马逊云科技提供的能力可以帮助开发者轻松地构建、微调和部署基础模型，构建生成式 AI 应用，无需直接管理和维护底层基础设施。以前数据科学、机器学习的所有工作，现在在单一界面上使用一个接口就能够完成了。

Choice Matters：Amazon Bedrock 能提供最适合你的解决方案

在了解 Amazon Bedrock 版 DeepSeek-R1 的过程中，我们反复听到的一句话是「Choice Matters」，也就是要为客户提供充分的自主选择权。总结起来，这主要体现在以下几个方面：

丰富的模型选择：针对不同层级的用户需求，Amazon Bedrock 可提供不同规模和性能的 AI 模型（比如编程等应用需要性能更好的模型，而实时翻译等任务则还有速度需求）。据了解，Amazon Bedrock 已经提供了 50 多种 serverless 版的模型，另外在 Marketplace 也提供了 100 多种模型。
丰富的部署方式选择：开发者和企业可根据自身的业务需求选择不同灵活度的部署方案 —— 从使用全托管式模型（模型即服务 / MaaS）到仅使用亚马逊云科技的基础设施搭建自己的业务流程（基础设施即服务 / IaaS）。
丰富的配套方案选择：不同的业务有不同的资源、安全需求和技术门槛，亚马逊云科技可为客户搭配最适合的配套方案。
定价与成本优化模式选择：灵活的定价策略和成本控制方案也是客户选择的重要考量。Amazon Bedrock 为不同业务场景和负载需求提供了多样化的计费模式，帮助客户在保障性能的同时，实现成本优化。