Amazon Bedrock Guardrails推出多模态毒性检测（图像支持）预览版

关键要点

• Amazon Bedrock Guardrails现已支持多模态毒性检测，可识别并过滤文本和图像中的不良内容。
• 用户可以通过配置政策和内容过滤器，定制适合自己应用程序的安全保护。
• 该功能可与所有支持图像数据的基础模型兼容，提供一致的保护层。

今天，我们宣布在中推出多模态毒性检测（图像支持）预览版。此新功能除了可以检测和过滤文本内容外，还能识别和屏蔽不良图像内容，旨在提升用户体验并管理生成 AI 应用中的模型输出。

Amazon BedrockGuardrails帮助您为生成AI应用实施保护措施，包括过滤不良内容、隐去个人身份信息（PII），以及提高内容的安全性和隐私。您可以针对被拒绝的话题、内容过滤器、单词过滤器、PII隐去、上下文基础检查以及自动推理检查（预览），配置符合您特定用例和责任AI政策的安全保护。

通过这次更新，您现在可以利用Amazon BedrockGuardrails中现有的内容过滤策略，检测和屏蔽诸如仇恨、侮辱、色情和暴力等类别的有害图像内容。您可以根据应用需求，从低到高配置阈值。

这项新的图像支持功能与所有在Amazon Bedrock中支持图像数据的兼容，同时也支持您带来的任何自定义微调模型。它为文本和图像通道提供了一致的保护层，使构建责任AI应用变得更加简单。

的副总裁、战略合作伙伴负责人设想了以下用例：

在持续的评估中，KONE认识到Amazon Bedrock Guardrails作为保护生成AI应用的重要组成部分，尤其适用于相关性和上下文基础检查，以及多模态保护。该公司设想将产品设计图和手册整合到其应用中，而Amazon Bedrock Guardrails在实现更准确的诊断和多模态内容分析中的重要作用。

如何实现该功能

多模态毒性检测实操
要开始使用，请在中创建一个保护措施，并配置文本或图像数据的内容过滤器，也可以同时配置两者。您还可以利用将此功能集成到您的应用中。

创建保护措施
在中，找到Amazon Bedrock 并选择Guardrails 。从这里，您可以创建新的保护措施并使用现有的内容过滤器来检测和屏蔽图像数据及文本数据。Configurecontent filters 下的仇恨 、侮辱 、色情 和暴力 类别可以为文本或图像内容（或两者）配置。Misconduct 和Prompt attacks 类别仅可用于文本内容。


配置内容过滤器后，保存保护措施并开始使用，以便构建安全和负责任的生成AI应用。

在控制台中测试新的保护措施时，选择保护措施并点击Test 。您有两个选项：选择并调用一个模型进行测试，或使用Amazon BedrockGuardrails独立的ApplyGuardrail API进行测试，而不调用模型。

使用ApplyGuardrail API，您可以在处理或向用户提供结果之前，在应用的任意流程点验证内容。您也可以利用该API评估任何自我管理的（自定义）或第三方基础模型的输入和输出，无论其底层基础设施如何。例如，您可以使用该API评估在上托管的模型，或在个人电脑上运行的模型。

通过选择并调用模型测试保护措施
选择支持图像输入或输出的模型，例如，Anthropic的Claude3.5音律。验证图像内容的提示和响应过滤器是否已启用。然后，输入提示，上传图像文件，并选择Run 。


在我的示例中，Amazon Bedrock Guardrails介入了。选择View trace 以获取详细信息。

保护措施追踪提供了在交互过程中如何应用安全措施的记录。它显示了Amazon BedrockGuardrails是否介入以及对输入（提示）和输出（模型响应）进行的评估。在我的示例中，内容过滤器因检测到图像中的侮辱而阻止了输入提示。


通过无模型调用测试保护措施
在控制台中，选择Use Guardrails independent API 以在不调用模型的情况下测试保护措施。选择您要验证的输入提示或模型生成输出的示例。然后，重复之前的步骤。验证图像内容的提示和响应过滤器是否已启用，提供要验证的内容，并选择Run 。


我在演示中重复使用了相同的图像和输入提示，Amazon Bedrock Guardrails再次介入了。再次选择View trace 以获取详细信息。


加入预览
多模态毒性检测（图像支持）今天在Amazon BedrockGuardrails的预览中上线，适用于美国东部（弗吉尼亚州、俄亥俄州）、美国西部（俄勒冈州）、亚太地区（孟买、首尔、新加坡、东京）、欧洲（法兰克福、爱尔兰、伦敦）和AWSGovCloud（美国西部）。要了解更多，请访问。

现在就来尝试一下Amazon Bedrock控制台中的多模态毒性检测内容过滤器，并告诉我们您的想法！可以通过或您常用的AWS支持联系人提供反馈。

—

![Antje删除)

AntjeBarth是AWS的生成AI首席开发者倡导者。她是O'Reilly书籍《AWS上的生成AI》和《AWS上的数据科学》的共同作者。Antje常常在全球的AI/ML会议、活动和聚会上发言。她还共同创办了杜塞尔多夫的女性大数据分会。

加载评论…