亚马逊云科技Amazon Bedrock使用Llama 4模型

据亚马逊AWS官网宣布，其Amazon Bedrock（完全托管服务）正式支持Llama 4 Scout 17B与Llama 4 Maverick 17B。Meta推出的这两款新模型采用了早期融合技术，可以提供原生多模态能力，主要用于应用程序中的精确图像定位和扩展上下文处理。

Llama 4模型现已在亚马逊云科技Amazon Bedrock中作为完全托管、Serverless的选项可用，可用区域包括美国东部（弗吉尼亚州北部）和美国西部（俄勒冈州）。同时还可以通过跨区域推理，在美国东部（俄亥俄州）区域访问Llama 4模型。

Llama 4模型支持12种语言的文本处理，包括英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语、泰语、阿拉伯语、印度尼西亚语、他加禄语和越南语，在处理图像时则仅支持英语。

亚马逊云科技官网：点击访问（注册立享100+免费云服务）

一、Llama 4模型简介

Llama 4是Meta最新推出的人工智能模型，采用了创新的专家混合（MoE）架构，在推理和图像理解任务方面提供增强的性能，同时实现成本和速度的优化。与Llama 3相比，Llama 4在更先进的架构设计方面能够在降低成本的同时提升性能，并为全球应用程序提供扩展的语言支持。

Llama 4模型目前正式可以在Amazon Bedrock中使用，配备企业级的安全与隐私保护措施，旨在监护生成式AI应用的构建与扩展流程。同时Llama 4模型早在之前就在Amazon SageMaker JumpStart上可用，相关阅读：《借助亚马逊Amazon SageMaker使用Llama 2模型教程》。

Meta推出的Llama 4模型主要分为以下两款服务：

1、Llama 4 Maverick 17B

Llama 4 Maverick 17B采用原生多模态模型，内置128个专家模块，总参数规模高达4000亿。该模型在图像和文本理解方面表现出色，非常适用于多功能助手和聊天场景。此外，该模型支持高达100万token的上下文窗口，让用户能够灵活处理长篇文档和复杂的输入内容。

2、Llama 4 Scout 17B

目前Amazon Bedrock为Llama 4 Scout模型提供了高达350万token的上下文窗口支持，并且计划将进一步扩展这一功能。Llama 4 Scout 17B是通用型多模态模型，配备16个专家模块，拥有170亿个活跃参数以及总计1090亿个参数，相较于之前所有的Llama模型，其性能表现更为卓越。

二、亚马逊云科技Amazon Bedrock定价

亚马逊云科技Amazon Bedrock支持按需和批量模式付费。

亚马逊云科技官网：点击访问

在按需模式下，只需根据实际用量支付费用，无需承诺长期使用。对于文本生成模型，费用按处理的每个输入令牌和生成的每个输出令牌计算；对于嵌入模型，费用按每个输入令牌计算。令牌是模型用来理解用户输入和提示的基本文本单位，由若干字符组成。图像生成模型则按每张生成的图像收费。

按需模式还支持跨区域推理，这允许开发人员在多个 AWS 区域之间灵活分配计算资源，处理流量突发，并提升吞吐量限制和系统弹性。值得注意的是，跨区域推理不会产生额外费用，费用将根据发起请求的区域（即来源区域）来计算。

如果选择使用批量模式，可以将多个提示组合成一个输入文件进行处理，并将生成的响应作为单个输出文件接收。这种方式便于大规模预测，同时也可以将响应存储在 Amazon S3 存储桶中，便于后续访问。与按需推理定价相比，使用 Amazon Bedrock 的批量推理将享受比按需模式低 50% 的费用，并且该服务提供来自领先 AI 提供商（如 Anthropic、Meta、Mistral AI 和 Amazon）的精选基础模型（FM）。

三、在Amazon Bedrock中使用Llama 4模型

要在亚马逊云科技Amazon Bedrock中使用这些新的Serverless模型，首先需要申请访问权限。

在Amazon Bedrock控制台中，从导航窗格中选择“模型访问权限”，以便切换对Llama 4 Maverick 17B和Llama 4 Scout 17B模型的访问权限。

Llama 4模型可以通过Amazon Bedrock Converse API很容易集成到应用程序中，该API为会话式AI交互提供统一的接口。

以下示例展示了如何使用适用于Python的Amazon Web Services SDK（Boto3），与Llama 4 Maverick模型进行多模态对话。

import boto3
import json
import os

AWS_REGION = “us-west-2”
MODEL_ID = “us.meta.llama4-maverick-17b-instruct-v1:0”
IMAGE_PATH = “image.jpg”

def get_file_extension(filename: str) -> str:
“””Get the file extension.”””
extension = os.path.splitext(filename)[1].lower()[1:] or’txt’
if extension == ‘jpg’:
extension = ‘jpeg’
return extension

def read_file(file_path: str) -> bytes:
“””Read a file in binary mode.”””
try:
with open(file_path, ‘rb’) as file:
return file.read()
except Exception as e:
raise Exception(f”Error reading file {file_path}: {str(e)}”)

bedrock_runtime = boto3.client(
service_name=”bedrock-runtime”,
region_name=AWS_REGION
)

request_body = {
“messages”: [
{
“role”: “user”,
“content”: [
{
“text”: “What can you tell me about this image?”
},
{
“image”: {
“format”: get_file_extension(IMAGE_PATH),
“source”: {“bytes”: read_file(IMAGE_PATH)},
}
},
],
}
]
}

response = bedrock_runtime.converse(
modelId=MODEL_ID,
messages=request_body[“messages”]
)

print(response[“output”][“message”][“content”][-1][“text”])

以上示例演示了如何将文本和图像输入同时发送给模型，并接收相应的对话式响应。Converse API抽象化了处理不同模型输入格式的复杂性，为Amazon Bedrock中的各类模型提供了统一接口。

如果需要更多交互性的使用场景，可以利用Converse API的流式传输功能。示例如下：

response_stream = bedrock_runtime.converse_stream(
modelId=MODEL_ID,
messages=request_body[‘messages’]
)

stream = response_stream.get(‘stream’)
if stream:
for event in stream:

if’messageStart’ in event:
print(f”\nRole: {event[‘messageStart’][‘role’]}”)

if’contentBlockDelta’ in event:
print(event[‘contentBlockDelta’][‘delta’][‘text’], end=””)

if’messageStop’ in event:
print(f”\nStop reason: {event[‘messageStop’][‘stopReason’]}”)

if’metadata’ in event:
metadata = event[‘metadata’]
if’usage’ in metadata:
print(f”Usage: {json.dumps(metadata[‘usage’], indent=4)}”)
if’metrics’ in metadata:
print(f”Metrics: {json.dumps(metadata[‘metrics’], indent=4)}”)