'''AI21 Labs Jurassic on Amazon Bedrock Jurassic是AI21 Labs旗下的一系列可靠的FM产品，专为企业级应用设计，支持复杂的语言生成任务，例如问题回答、文本生成、搜索和摘要，在成千上万的实时应用中得到应用。'''
先决条件
请参考 Spring AI 对 Amazon Bedrock 的文档来设置 API 访问。
自动配置
将`spring-ai-bedrock-ai-spring-boot-starter`依赖添加到项目的Maven `pom.xml`文件中：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bedrock-ai-spring-boot-starter</artifactId>
</dependency>或者添加到你的Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-bedrock-ai-spring-boot-starter'
}|
Tip
|
参阅依赖管理部分，以将Spring AI BOM添加到您的构建文件中。 |
启用侏罗纪-2
默认情况下Bedrock Jurassic-2模型是禁用的。要启用它，请将`spring.ai.bedrock.jurassic2.chat.enabled`属性设置为`true`。导出环境变量是设置此配置属性的一种方式：
export SPRING_AI_BEDROCK_JURASSIC2_CHAT_ENABLED=true聊天属性
前缀 spring.ai.bedrock.aws 是用来配置连接到 AWS Bedrock 的属性前缀。
Property |
Description |
Default |
---------------------------------- |
-------------------- |
|
-------- |
spring.ai.bedrock.aws.region |
|
使用的AWS区域。 |
us-east-1 |
|
spring.ai.bedrock.aws.access-key |
AWS访问密钥。 |
- |
spring.ai.bedrock.aws.secret-key |
AWS秘密密钥。 |
前缀`spring.ai.bedrock.jurassic2.chat`是配置Jurassic-2聊天客户端实现的属性前缀。
属性 |
描述 |
默认值 |
:---------------------------------------------------------- |
:------------------------------------------------------------- |
:------------------- |
spring.ai.bedrock.jurassic2.chat.enabled |
启用或禁用对 Jurassic-2 的支持 |
false |
spring.ai.bedrock.jurassic2.chat.model |
使用的模型 ID（见下文） |
ai21.j2-mid-v1 |
spring.ai.bedrock.jurassic2.chat.options.temperature |
控制输出的随机性。值可在[0.0,1.0]范围内变化，包括边界。接近1.0的值将产生更多样化的响应，而接近0.0的值通常会产生较少惊讶的响应。该值指定了在调用模型时后端使用的默认值。 |
0.7 |
spring.ai.bedrock.jurassic2.chat.options.top-p |
在采样时考虑的token最大累计概率。模型采用结合了Top-k和nucleus采样的方式。Nucleus采样考虑了概率和至少为topP的最小的token集合。 |
AWS Bedrock 默认值 |
spring.ai.bedrock.jurassic2.chat.options.max-tokens |
指定在生成的响应中使用的最大token数。一旦生成的文本超过maxTokens，模型将截断响应。 |
500 |
请查看 https://github.com/spring-projects/spring-ai/blob/4ba9a3cd689b9fd3a3805f540debe398a079c6ef/models/spring-ai-bedrock/src/main/java/org/springframework/ai/bedrock/jurassic2/api/Ai21Jurassic2ChatBedrockApi.java#L164 [Ai21Jurassic2ChatBedrockApi#Ai21Jurassic2ChatModel] 来获取其他模型ID。 另一个支持的值是 ai21.j2-ultra-v1。 模型ID的值也可以在 https://docs.aws.amazon.com/bedrock/latest/userguide/model-ids-arns.html [AWS Bedrock官方文档中的基础模型ID]找到。
|
Tip
|
所有以 spring.ai.bedrock.jurassic2.chat.options 为前缀的属性可以在运行时被覆盖，方法是在 Prompt 调用中添加一个特定请求的 [chat-options]。
|
运行时选项
'''The BedrockAi21Jurassic2ChatOptions.java 文件提供了模型配置，例如温度、topP、最大令牌数等。'''
在启动时，可以通过`BedrockAi21Jurassic2ChatClient(api, options)`构造器或者`spring.ai.bedrock.jurassic2.chat.options.*`属性来配置默认选项。
在运行时，您可以通过添加新的、特定于请求的选项到`Prompt`调用来覆盖默认选项。例如，要覆盖特定请求的默认温度：
ChatResponse response = chatClient.call(
new Prompt(
"Generate the names of 5 famous pirates.",
BedrockAi21Jurassic2ChatOptions.builder()
.withTemperature(0.4)
.build()
));|
Tip
|
除了模型特定的[BedrockAi21Jurassic2ChatOptions]（https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-bedrock/src/main/java/org/springframework/ai/bedrock/jurassic2/BedrockAi21Jurassic2ChatOptions.java），您还可以使用可移植的[ChatOptions]（https://github.com/spring-projects/spring-ai/blob/main/spring-ai-core/src/main/java/org/springframework/ai/chat/prompt/ChatOptions.java）实例，该实例是通过[ChatOptionsBuilder#builder()]（https://github.com/spring-projects/spring-ai/blob/main/spring-ai-core/src/main/java/org/springframework/ai/chat/prompt/ChatOptionsBuilder.java）创建的。 |
样本控制器
创建一个新的Spring Boot项目，并将`spring-ai-bedrock-ai-spring-boot-starter`添加到你的pom（或gradle）依赖中。
在`src/main/resources`目录下添加一个`application.properties`文件，以启用和配置Jurassic-2聊天客户端：
spring.ai.bedrock.aws.region=eu-central-1
spring.ai.bedrock.aws.access-key=${AWS_ACCESS_KEY_ID}
spring.ai.bedrock.aws.secret-key=${AWS_SECRET_ACCESS_KEY}
spring.ai.bedrock.jurassic2.chat.enabled=true
spring.ai.bedrock.jurassic2.chat.options.temperature=0.8|
Tip
|
将 regions、access-key 和 secret-key 替换为您的AWS凭证。
|
这将创建一个`BedrockAi21Jurassic2ChatClient`实现，你可以将它注入到你的类中。这里有一个简单的`@Controller`类的例子，它使用聊天客户端进行文本生成。
@RestController
public class ChatController {
private final BedrockAi21Jurassic2ChatClient chatClient;
@Autowired
public ChatController(BedrockAi21Jurassic2ChatClient chatClient) {
this.chatClient = chatClient;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatClient.call(message));
}
}手动配置
The BedrockAi21Jurassic2ChatClient 实现了 ChatClient 使用 低级客户端 来连接到 Bedrock Jurassic-2 服务。
将`spring-ai-bedrock`依赖项添加到项目的Maven `pom.xml`文件中：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bedrock</artifactId>
</dependency>或者添加到你的Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-bedrock'
}|
Tip
|
参阅依赖管理部分，以将Spring AI BOM添加到您的构建文件中。 |
接下来，创建一个https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-bedrock/src/main/java/org/springframework/ai/bedrock/jurassic2/BedrockAi21Jurassic2ChatClient.java[BedrockAi21Jurassic2ChatClient] 并使用它进行文本生成：
Ai21Jurassic2ChatBedrockApi api = new Ai21Jurassic2ChatBedrockApi(Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
EnvironmentVariableCredentialsProvider.create(), Region.US_EAST_1.id(), new ObjectMapper());
BedrockAi21Jurassic2ChatClient chatClient = new BedrockAi21Jurassic2ChatClient(api,
BedrockAi21Jurassic2ChatOptions.builder()
.withTemperature(0.5f)
.withMaxTokens(100)
.withTopP(0.9f).build());
ChatResponse response = chatClient.call(
new Prompt("Generate the names of 5 famous pirates."));低级客户端
'''Ai21Jurassic2ChatBedrockApi 在 AWS Bedrock 之上提供了一个轻量级的 Java 客户端 针对 Jurassic-2 和 Jurassic-2 聊天模型。'''
Ai21Jurassic2ChatBedrockApi`支持`ai21.j2-mid-v1`和`ai21.j2-ultra-v1`模型，并且只支持同步操作（chatCompletion()）。
这是一个关于如何以编程方式使用API的简单片段：
Ai21Jurassic2ChatBedrockApi jurassic2ChatApi = new Ai21Jurassic2ChatBedrockApi(
Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
Region.US_EAST_1.id());
Ai21Jurassic2ChatRequest request = Ai21Jurassic2ChatRequest.builder("Hello, my name is")
.withTemperature(0.9f)
.withTopP(0.9f)
.withMaxTokens(20)
.build();
Ai21Jurassic2ChatResponse response = jurassic2ChatApi.chatCompletion(request);请按照 https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-bedrock/src/main/java/org/springframework/ai/bedrock/jurassic2/api/Ai21Jurassic2ChatBedrockApi.java [Ai21Jurassic2ChatBedrockApi.java] 的 JavaDoc 了解更多信息。