Spring AI支持Mistral AI的各种AI语言模型。您可以与Mistral AI语言模型交互,并基于Mistral模型创建一个多语言对话助手。
先决条件
您需要创建一个与MistralAI的API才能访问Mistral AI的语言模型。在[MistralAI注册页面]API密钥页面https://console.mistral.ai/api-keys/生成令牌。Spring AI项目定义了一个名为`spring.ai.mistralai.api-key`的配置属性,您应将其设置为从console.mistral.ai获得的`API Key`的值。导出环境变量是设置该配置属性的一种方式:
export SPRING_AI_MISTRALAI_API_KEY=<INSERT KEY HERE>
自动配置
Spring AI为MistralAI聊天客户端提供Spring Boot自动配置。要启用它,请将以下依赖项添加到项目的Maven `pom.xml`文件中:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-mistral-ai-spring-boot-starter</artifactId>
</dependency>
或者添加到你的Gradle build.gradle
构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-mistral-ai-spring-boot-starter'
}
Tip
|
请参阅依赖管理部分,以将Spring AI BOM添加到您的构建文件中。 |
聊天属性
重试属性
前缀 spring.ai.retry
用作属性前缀,允许您为Mistral AI聊天客户端配置重试机制。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.retry.max-attempts |
最大重试次数。 |
|
10 |
spring.ai.retry.backoff.initial-interval |
|
指数退避策略的初始休眠时间。 |
2秒。 |
|
spring.ai.retry.backoff.multiplier |
退避间隔乘数。 |
5 |
spring.ai.retry.backoff.max-interval |
最大退避持续时间。 |
|
3分钟。 |
spring.ai.retry.on-client-errors |
|
如果为false,则抛出NonTransientAiException,并且不会针对`4xx`客户端错误代码尝试重试 |
false |
|
spring.ai.retry.exclude-on-http-codes |
应该触发重试的HTTP状态码列表(例如,抛出NonTransientAiException)。 |
空 |
连接属性
前缀`spring.ai.mistralai`被用作属性前缀,让你能够连接到OpenAI。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.mistralai.base-url |
要连接的URL |
|
spring.ai.mistralai.api-key |
API密钥 |
配置属性
前缀 spring.ai.mistralai.chat
是允许你为MistralAI配置聊天客户端实现的属性前缀。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.mistralai.chat.enabled |
启用MistralAI聊天客户端。 |
|
true |
spring.ai.mistralai.chat.base-url |
|
可选覆盖spring.ai.mistralai.base-url来提供特定于聊天的url |
- |
|
spring.ai.mistralai.chat.api-key |
可选覆盖spring.ai.mistralai.api-key来提供特定于聊天的api-key |
- |
spring.ai.mistralai.chat.options.model |
使用的MistralAI聊天模型 |
|
|
spring.ai.mistralai.chat.options.temperature |
|
用于控制生成完成项的创造性的采样温度。温度值较高将使输出更随机,而温度值低将使结果更集中和确定性。不建议同时修改温度和top_p,因为这两个设置的相互作用很难预测。 |
0.8 |
|
spring.ai.mistralai.chat.options.maxTokens |
聊天完成中生成的最大令牌数。输入令牌和生成的令牌的总长度受模型的上下文长度限制。 |
- |
spring.ai.mistralai.chat.options.safePrompt |
表示是否在所有对话之前注入安全提示。 |
|
false |
spring.ai.mistralai.chat.options.randomSeed |
|
此功能处于Beta测试阶段。如果指定,我们的系统将尽最大努力确定性采样,这样重复的请求使用相同的种子和参数应返回相同的结果。 |
- |
|
spring.ai.mistralai.chat.options.stop |
最多4个序列,在此API将停止生成进一步令牌。 |
- |
spring.ai.mistralai.chat.options.topP |
一个温度采样的替代方法,称为核采样,模型只考虑具有top_p概率质量的结果的令牌。所以0.1意味着只有构成前10%概率质量的令牌才会被考虑。我们通常建议改变这个或温度,但不是两者都改。 |
|
- |
spring.ai.mistralai.chat.options.responseFormat |
|
指定模型输出格式的对象。设置为 |
- |
|
spring.ai.mistralai.chat.options.tools |
模型可以调用的工具列表。目前只支持函数作为工具。使用此功能来提供模型可能为其生成JSON输入的函数的列表。 |
- |
spring.ai.mistralai.chat.options.toolChoice |
控制模型调用的功能(如果有)。none意味着模型不会调用功能而是生成消息。auto意味着模型可以选择生成消息或调用功能。通过指定特定功能 |
|
- |
spring.ai.mistralai.chat.options.functions |
|
为单次提示请求中的函数调用启用的函数列表,通过名称标识。函数回调表中必须存在这些名称的函数。 |
- |
|
spring.ai.mistralai.chat.options.functionCallbacks |
在ChatClient中注册的MistralAI工具函数回调。 |
- |
Note
|
你可以覆盖`ChatClient`和`EmbeddingClient`实现中通用的`spring.ai.mistralai.base-url`和`spring.ai.mistralai.api-key`。如果设置了`spring.ai.mistralai.chat.base-url`和`spring.ai.mistralai.chat.api-key`属性,那么这些属性会优先于通用属性。如果你希望为不同的模型和不同的模型端点使用不同的MistralAI账户,这将非常有用。 |
Tip
|
所有以`spring.ai.mistralai.chat.options`为前缀的属性都可以在运行时被覆盖,方法是在`Prompt`调用中添加一个特定请求的运行时选项。 |
运行时选项
链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/MistralAiChatOptions.java [MistralAiChatOptions.java] 提供模型配置,例如要使用的模型、温度、频率惩罚等。
在启动时,可以通过 MistralAiChatClient(api, options)
构造函数或 spring.ai.mistralai.chat.options.*
属性来配置默认选项。
在运行时,你可以通过向`Prompt`调用添加新的、特定于请求的选项来覆盖默认选项。例如,为了覆盖特定请求的默认模型和温度设置:
ChatResponse response = chatClient.call(
new Prompt(
"Generate the names of 5 famous pirates.",
MistralAiChatOptions.builder()
.withModel(MistralAiApi.ChatModel.LARGE.getValue())
.withTemperature(0.5f)
.build()
));
Tip
|
除了特定于模型的链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/MistralAiChatOptions.java[MistralAiChatOptions],您还可以使用一个便携式的https://github.com/spring-projects/spring-ai/blob/main/spring-ai-core/src/main/java/org/springframework/ai/chat/ChatOptions.java[ChatOptions]实例,这个实例是通过https://github.com/spring-projects/spring-ai/blob/main/spring-ai-core/src/main/java/org/springframework/ai/chat/ChatOptionsBuilder.java[ChatOptionsBuilder#builder()]创建的。 |
函数调用
您可以在MistralAiChatClient中注册自定义的Java函数,并让Mistral AI模型智能地选择输出一个包含调用一个或多个已注册函数参数的JSON对象。这是一种将语言模型(LLM)功能与外部工具和APIs连接起来的强大技术。阅读更多关于Mistral AI函数调用。
样本控制器(自动配置)
在 https://start.spring.io/ 上[创建]一个新的Spring Boot项目,并将`spring-ai-mistralai-spring-boot-starter`加入到你的pom(或gradle)依赖中。
添加一个`application.properties`文件,在`src/main/resources`目录下,以启用并配置OpenAi聊天客户端:
spring.ai.mistralai.api-key=YOUR_API_KEY
spring.ai.mistralai.chat.options.model=mistral-medium
spring.ai.mistralai.chat.options.temperature=0.7
Tip
|
将 api-key 替换为您的OpenAI凭证。
|
这将创建一个`MistralAiChatClient`实现,您可以将其注入到您的类中。这里有一个简单的`@Controller`类的例子,它使用聊天客户端进行文本生成。
@RestController
public class ChatController {
private final MistralAiChatClient chatClient;
@Autowired
public ChatController(MistralAiChatClient chatClient) {
this.chatClient = chatClient;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatClient.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
var prompt = new Prompt(new UserMessage(message));
return chatClient.stream(prompt);
}
}
手动配置
链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/MistralAiChatClient.java[MistralAiChatClient] 实现了 ChatClient
和 StreamingChatClient
,并使用 低级MistralAiApi客户端 来连接到 MistralAI 服务。
将 spring-ai-mistralai
依赖添加到项目的 Maven pom.xml
文件中:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-mistralai</artifactId>
</dependency>
或者添加到你的Gradle build.gradle
构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-mistralai'
}
Tip
|
请参阅依赖管理部分,以将Spring AI BOM添加到您的构建文件中。 |
接下来,创建一个`MistralAiChatClient`并使用它进行文本生成:
var mistralAiApi = new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));
var chatClient = new MistralAiChatClient(mistralAiApi, MistralAiChatOptions.builder()
.withModel(MistralAiApi.ChatModel.LARGE.getValue())
.withTemperature(0.4f)
.withMaxToken(200)
.build());
ChatResponse response = chatClient.call(
new Prompt("Generate the names of 5 famous pirates."));
// Or with streaming responses
Flux<ChatResponse> response = chatClient.stream(
new Prompt("Generate the names of 5 famous pirates."));
MistralAiChatOptions` 提供了聊天请求的配置信息。MistralAiChatOptions.Builder
是流畅的选项构建器。
低级MistralAiApi客户端
链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/api/MistralAiApi.java[MistralAiApi] 提供了一个轻量级Java客户端,用于访问链接:https://docs.mistral.ai/api/[Mistral AI API]。
这是一个简单的片段,展示了如何以编程方式使用API:
MistralAiApi mistralAiApi =
new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));
ChatCompletionMessage chatCompletionMessage =
new ChatCompletionMessage("Hello world", Role.USER);
// 同步请求
ResponseEntity<ChatCompletion> response = mistralAiApi.chatCompletionEntity(
new ChatCompletionRequest(List.of(chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8f, false));
// Streaming request
Flux<ChatCompletionChunk> streamResponse = mistralAiApi.chatCompletionStream(
new ChatCompletionRequest(List.of(chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8f, true));
遵循https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/api/MistralAiApi.java[MistralAiApi.java]的JavaDoc文档以获取更多信息。
米斯特拉尔人工智能接口样本
-
链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/test/java/org/springframework/ai/mistralai/api/MistralAiApiIT.java[MistralAiApiIT.java] 测试提供了一些如何使用这个轻量级库的通用示例。
-
链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/test/java/org/springframework/ai/mistralai/api/tool/PaymentStatusFunctionCallingIT.java[PaymentStatusFunctionCallingIT.java]测试展示了如何使用低级API调用工具函数。基于链接:https://docs.mistral.ai/guides/function-calling/[MistralAI函数调用]教程。