符合您工作负载需求的服务选项
优先级套餐
优先级请求在处理队列中可得到优先处理,即使在需求旺盛时期,也会领先于标准请求,从而更快地做出响应。优先级套餐非常适合任务关键型工作流程和对延迟高度敏感的面向客户应用程序。对于大多数支持优先级套餐的模型,与标准套餐相比,客户每秒输出令牌(OTPS)的延迟最多可缩短 25%。
定价:标准费率 + 高级费用
使用案例:实时客户服务、实时应用程序、紧急决策系统
支持的模型:查看文档。
标准套餐
标准套餐以固定费率为日常人工智能任务提供稳定的性能。
定价:每个令牌的标准费率
使用案例:生成式人工智能应用程序、内容生成、常规分析
支持的模型:适用于 Amazon Bedrock 中的所有基础模型。了解更多。
弹性套餐
预留套餐
预留服务套餐专为需要可预测性能和有保障的每分钟令牌容量的工作负载而设计。
定价: 客户可以预留 1 个月或 3 个月的容量。客户以每分钟 1,000 个令牌的固定价格付费,并按月计费。
使用案例:具有稳定的每分钟令牌吞吐量需求的任务关键型应用程序
支持的模型:查看文档。
概览
全部打开- 优先级 - 该高级套餐为时间敏感型应用程序提供更快的响应时间和优先计算
- 弹性 - 对于请求延迟可能增加的非时间关键型工作负载,这是一种经济实惠的选择
除了现有的标准套餐外,Amazon Bedrock 现在还提供两个新的服务套餐:
标准套餐仍然可用作默认服务选项,为日常人工智能应用程序提供可靠的性能。新的服务套餐根据性能和成本要求提供额外的推理选项。
优先级
全部打开优先级套餐是一种高级服务套餐,可为时间敏感的工作负载提供更快的响应时间和优先处理。对于大多数支持优先级套餐的模型,与标准套餐相比,客户每秒输出令牌(OTPS)的延迟最多可缩短 25%
- 实时客户交互
- 交互式用户体验,例如实时语言翻译
- 需要立即响应的任务关键性应用程序
优先级套餐非常适合如下情况:
优先级套餐的请求能够获得比其他套餐更多的计算资源及更高的处理优先级,从而在系统负载沉重时依然保持更快的性能表现。
弹性
全部打开弹性套餐是一种经济实惠的服务套餐,专为非时间关键型工作负载而设计。它可用于应用程序和代理式工作流程可以容忍延迟增加的情况。
- 模型评估
- 内容摘要、标记和注释
- 多步骤代理式工作流程
弹性套餐非常适合如下情况:
弹性套餐的延迟时间可能比标准套餐更长。在高流量期间,弹性套餐请求将在标准套餐请求之后进行处理。它专为可以忍受更长延迟的非交互式工作负载而设计。
- 弹性:实时单个 API 调用,适用于可以容忍延迟增加但仍需要同步处理的应用程序。
- 批量:异步处理大型数据集,其中可以一次提交多个提示,并且稍后从 Amazon S3 检索结果。批量推理典型使用案例的一些示例包括:创建大量营销内容、文档分类或数据提取。
虽然这两个选项对于非时间关键型工作负载都具有成本效益,但它们适用于不同的使用案例:
选择适合的套餐
全部打开- 优先级:选择是否需要更快的关键任务应用程序响应时间。
- 标准:适用于需要可靠性能的日常人工智能应用程序。
- 弹性:选择成本优化是否是您的优先事项,并且您的应用程序是否可以容忍延迟增加。
考虑以下因素:
是的,您可以根据自己的特定使用案例和每个 API 调用或应用程序的要求选择不同的服务套餐。
是,每个服务套餐都有不同的定价结构。对于灵活的工作负载,弹性套餐相比标准定价更具成本优势;而优先级套餐则因提供更快的性能和优先计算资源而价格更高。请参阅 Amazon Bedrock 定价页面,了解各模型的具体价格。
开始使用
全部打开新的服务套餐可通过 Amazon Bedrock 控制台和 API 获得。可以使用与默认标准套餐相同的推理 API,只需在调用时添加额外的参数来选择服务套餐。有关更多详细信息,请查看文档。
现有应用程序将继续使用标准套餐。要利用新的服务套餐,您需要更新 API 调用,为支持的模型指定所需的服务套餐。
有关详细定价信息和型号可用性的最新更新,请参阅 Amazon Bedrock pricing page或联系您的 AWS 客户团队。
估算您的 Amazon Bedrock 每月成本
开始使用 Amazon Bedrock
找到今天要查找的内容了吗?
请提供您的意见,以便我们改进网页内容的质量