Amazon Bedrock Marketplace：集中访问超过100个基础模型

主要要点

• Amazon Bedrock Marketplace 为用户提供访问超过100种基础模型的能力，包括流行的、正在兴起的和专业的模型。
• 用户可以通过单一接口发现、测试和部署来自企业提供商如IBM和Nvidia的模型，或者专门针对特定任务的模型。
• 该市场支持通用模型和特定领域模型，简化了模型的获取和使用。

今天，我们推出了 ，这一新功能让您可以通过 集中访问超过100种流行、正在兴起及专业的 [基础模型 (FMs)](https://aws.amazon.com/what-is/foundation- models/)。借助这一发布，您现在可以发现、测试并部署来自企业提供商（例如IBM和Nvidia）的新模型，还可以使用专门模型，例如Upstages的SolarPro用于韩语处理，以及用于蛋白研究的Evolutionary Scale的ESM3。此外，您还可以访问AmazonBedrock的通用基础模型，提供商包括 和 。

在Amazon Bedrock Marketplace部署的模型可通过与无服务器模型相同的标准API访问，并且对于与Convers API兼容的模型，可以与 和 等工具一起使用。

随着 不断改变组织的工作方式，对特定领域、语言或任务优化的专业模型的需求也在增长。然而，寻找和评估这些模型往往面临挑战，可能耗费时间和成本。您需要在不同服务中发现它们，构建抽象以在您的应用程序中使用，并创建复杂的安全与治理层。AmazonBedrock Marketplace 则可以通过单一接口解决这些挑战，提供专业和通用FMs的访问。

使用Amazon Bedrock Marketplace

操作很简单：在Amazon Bedrock控制台中，我在导航面板的“基础模型”部分选择 模型目录 。在这里，我可以搜索帮助我处理特定用例或语言的模型。搜索结果包括无服务器模型和在 Amazon Bedrock Marketplace中可用的模型。我可以按提供商、模态（如文本、图像或音频）或任务（如分类或文本摘要）过滤结果。

模型目录中有来自 等组织的模型，Arcee AI专注于构建上下文化的小型语言模型（SLMs），以及提供多语言模型的 。

例如，我对 模型感兴趣，于是搜索 IBM Data andAI 的模型。


我选择 Granite 3.0 2B Instruct ，这是专为企业应用设计的语言模型。选择该模型后，会打开模型详细页面，显示更多来自模型提供商的信息，例如模型亮点、定价及包括示例API调用的使用情况。


该模型需要订阅，我选择 查看订阅选项 。

在订阅对话框中，我查看定价和法律说明。在 定价详情 中，我可以看到提供商设定的软件价格。对于该模型，除了部署基础设施外，没有额外费用， 的基础设施费用将另行计费，具体信息可查看 。

要继续使用该模型，我选择 订阅 。


在订阅完成后（通常需几分钟），我可以部署该模型。关于 部署详情 ，我使用默认设置和推荐的实例类型。


我展开可选的 高级设置 。在这里，我可以选择在 [虚拟私有云 (VPC)](https://docs.aws.amazon.com/vpc/latest/userguide/what-is-amazon- vpc.html) 中部署，或指定用于部署的 AWS身份与访问管理 (IAM) 服务角色。Amazon Bedrock Marketplace 会自动创建一个服务角色，以访问存储模型权重的 存储桶，但我也可以选择使用现有角色。

我保持默认值并完成部署。


几分钟后，部署状态变为 服务中 ，我可以在导航面板的 市场部署 页面查看。

在这里，我可以选择一个端点查看详细信息并编辑配置，例如实例数量。为了测试部署，我选择 在沙盒中打开 ，并请求生成一些诗歌。


我还可以在 沙盒 的 聊天/文本 页面中选择模型，使用新添加的 市场 类别，其中列出了已部署的端点。

同样，我可以利用其他工具，如 、、、 和 ，通过选择 选择模型 ，选择 市场 模型端点来使用模型。


我在这里使用的模型是文本到文本的转换，但我还可以用 Amazon Bedrock Marketplace 部署具有不同模态的模型。例如，在我部署 的 后，我可以在 Amazon Bedrock 图像沙盒 中快速测试。


我部署的模型现在可以通过 访问。当模型部署后，我可以通过 AWS命令行界面 (AWS CLI) 及任何 使用该端点的 Amazon资源名称 (ARN) 作为模型ID。

对于经过聊天调整的文本到文本模型，我还可以使用 ，该接口抽象了模型之间的差异，允许通过单一参数更改实现模型切换。

需要了解的事项

可在以下

中使用：美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、亚太（孟买）、亚太（首尔）、亚太（新加坡）、亚太（悉尼）、亚太（东京）、加拿大（中央）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）和南美（圣保罗）。

在使用Amazon BedrockMarketplace时，您需要向第三方模型提供商支付软件费用（在某些情况下可能为零，正如前面的示例所述），还需支付根据您选择的模型端点的类型和实例数量计算的托管费用。

请开始使用 浏览新模型，查看相关的 ，并向 。你可以在 找到深入技术内容，并了解我们的Builder社区如何使用Amazon Bedrock。

——

![Danilo删除)

Danilo与初创公司及各类公司合作，支持他们的创新。在他作为亚马逊网络服务（AWS）欧洲、中东和非洲区首席传播官的角色中，他利用自己的经验，帮助人们将想法变为现实，专注于无服务器架构和事件驱动编程，以及机器学习和边缘计算的技术与商业影响。他是《AWSLambda in Action》的作者。