Spring AI支持Mistral AI的各种AI语言模型。您可以与Mistral AI语言模型交互,并基于Mistral模型创建一个多语言对话助手。

先决条件

您需要创建一个与MistralAI的API才能访问Mistral AI的语言模型。在[MistralAI注册页面]API密钥页面https://console.mistral.ai/api-keys/生成令牌。Spring AI项目定义了一个名为`spring.ai.mistralai.api-key`的配置属性,您应将其设置为从console.mistral.ai获得的`API Key`的值。导出环境变量是设置该配置属性的一种方式:

export SPRING_AI_MISTRALAI_API_KEY=<INSERT KEY HERE>

添加仓库和BOM

Spring AI 的工件发布在 Spring Milestone 和 Snapshot 仓库中。请参考 仓库 部分,将这些仓库添加到您的构建系统中。

为了帮助依赖管理,Spring AI提供了一个BOM(物料清单),确保整个项目中使用一致的Spring AI版本。请参考依赖管理部分,将Spring AI BOM添加到您的构建系统中。

自动配置

Spring AI为MistralAI聊天客户端提供Spring Boot自动配置。要启用它,请将以下依赖项添加到项目的Maven `pom.xml`文件中:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-mistral-ai-spring-boot-starter</artifactId>
</dependency>

或者添加到你的Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-mistral-ai-spring-boot-starter'
}
Tip
请参阅依赖管理部分,以将Spring AI BOM添加到您的构建文件中。

聊天属性

重试属性

前缀 spring.ai.retry 用作属性前缀,允许您为Mistral AI聊天客户端配置重试机制。

属性 描述 默认值

spring.ai.retry.max-attempts

最大重试次数。

10

spring.ai.retry.backoff.initial-interval

指数退避策略的初始休眠时间。

2秒。

spring.ai.retry.backoff.multiplier

退避间隔乘数。

5

spring.ai.retry.backoff.max-interval

最大退避持续时间。

3分钟。

spring.ai.retry.on-client-errors

如果为false,则抛出NonTransientAiException,并且不会针对`4xx`客户端错误代码尝试重试

false

spring.ai.retry.exclude-on-http-codes

应该触发重试的HTTP状态码列表(例如,抛出NonTransientAiException)。

连接属性

前缀`spring.ai.mistralai`被用作属性前缀,让你能够连接到OpenAI。

属性 描述 默认值

spring.ai.mistralai.base-url

要连接的URL

https://api.mistral.ai

spring.ai.mistralai.api-key

API密钥

配置属性

前缀 spring.ai.mistralai.chat 是允许你为MistralAI配置聊天客户端实现的属性前缀。

属性 描述 默认值

spring.ai.mistralai.chat.enabled

启用MistralAI聊天客户端。

true

spring.ai.mistralai.chat.base-url

可选覆盖spring.ai.mistralai.base-url来提供特定于聊天的url

-

spring.ai.mistralai.chat.api-key

可选覆盖spring.ai.mistralai.api-key来提供特定于聊天的api-key

-

spring.ai.mistralai.chat.options.model

使用的MistralAI聊天模型

open-mistral-7bopen-mixtral-8x7bmistral-small-latestmistral-medium-latestmistral-large-latest

spring.ai.mistralai.chat.options.temperature

用于控制生成完成项的创造性的采样温度。温度值较高将使输出更随机,而温度值低将使结果更集中和确定性。不建议同时修改温度和top_p,因为这两个设置的相互作用很难预测。

0.8

spring.ai.mistralai.chat.options.maxTokens

聊天完成中生成的最大令牌数。输入令牌和生成的令牌的总长度受模型的上下文长度限制。

-

spring.ai.mistralai.chat.options.safePrompt

表示是否在所有对话之前注入安全提示。

false

spring.ai.mistralai.chat.options.randomSeed

此功能处于Beta测试阶段。如果指定,我们的系统将尽最大努力确定性采样,这样重复的请求使用相同的种子和参数应返回相同的结果。

-

spring.ai.mistralai.chat.options.stop

最多4个序列,在此API将停止生成进一步令牌。

-

spring.ai.mistralai.chat.options.topP

一个温度采样的替代方法,称为核采样,模型只考虑具有top_p概率质量的结果的令牌。所以0.1意味着只有构成前10%概率质量的令牌才会被考虑。我们通常建议改变这个或温度,但不是两者都改。

-

spring.ai.mistralai.chat.options.responseFormat

指定模型输出格式的对象。设置为 { "type": "json_object" } 启用JSON模式,这样可以保证模型生成的消息是有效的JSON。

-

spring.ai.mistralai.chat.options.tools

模型可以调用的工具列表。目前只支持函数作为工具。使用此功能来提供模型可能为其生成JSON输入的函数的列表。

-

spring.ai.mistralai.chat.options.toolChoice

控制模型调用的功能(如果有)。none意味着模型不会调用功能而是生成消息。auto意味着模型可以选择生成消息或调用功能。通过指定特定功能 {"type": "function", "function": {"name": "my_function"}} 强制模型调用该功能。当没有功能存在时,默认为none。如果存在功能,默认为auto。

-

spring.ai.mistralai.chat.options.functions

为单次提示请求中的函数调用启用的函数列表,通过名称标识。函数回调表中必须存在这些名称的函数。

-

spring.ai.mistralai.chat.options.functionCallbacks

在ChatClient中注册的MistralAI工具函数回调。

-

Note
你可以覆盖`ChatClient`和`EmbeddingClient`实现中通用的`spring.ai.mistralai.base-url`和`spring.ai.mistralai.api-key`。如果设置了`spring.ai.mistralai.chat.base-url`和`spring.ai.mistralai.chat.api-key`属性,那么这些属性会优先于通用属性。如果你希望为不同的模型和不同的模型端点使用不同的MistralAI账户,这将非常有用。
Tip
所有以`spring.ai.mistralai.chat.options`为前缀的属性都可以在运行时被覆盖,方法是在`Prompt`调用中添加一个特定请求的运行时选项

运行时选项

链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/MistralAiChatOptions.java [MistralAiChatOptions.java] 提供模型配置,例如要使用的模型、温度、频率惩罚等。

在启动时,可以通过 MistralAiChatClient(api, options) 构造函数或 spring.ai.mistralai.chat.options.* 属性来配置默认选项。

在运行时,你可以通过向`Prompt`调用添加新的、特定于请求的选项来覆盖默认选项。例如,为了覆盖特定请求的默认模型和温度设置:

ChatResponse response = chatClient.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        MistralAiChatOptions.builder()
            .withModel(MistralAiApi.ChatModel.LARGE.getValue())
            .withTemperature(0.5f)
        .build()
    ));
Tip
除了特定于模型的链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/MistralAiChatOptions.java[MistralAiChatOptions],您还可以使用一个便携式的https://github.com/spring-projects/spring-ai/blob/main/spring-ai-core/src/main/java/org/springframework/ai/chat/ChatOptions.java[ChatOptions]实例,这个实例是通过https://github.com/spring-projects/spring-ai/blob/main/spring-ai-core/src/main/java/org/springframework/ai/chat/ChatOptionsBuilder.java[ChatOptionsBuilder#builder()]创建的。

函数调用

您可以在MistralAiChatClient中注册自定义的Java函数,并让Mistral AI模型智能地选择输出一个包含调用一个或多个已注册函数参数的JSON对象。这是一种将语言模型(LLM)功能与外部工具和APIs连接起来的强大技术。阅读更多关于Mistral AI函数调用

样本控制器(自动配置)

https://start.spring.io/ 上[创建]一个新的Spring Boot项目,并将`spring-ai-mistralai-spring-boot-starter`加入到你的pom(或gradle)依赖中。

添加一个`application.properties`文件,在`src/main/resources`目录下,以启用并配置OpenAi聊天客户端:

spring.ai.mistralai.api-key=YOUR_API_KEY
spring.ai.mistralai.chat.options.model=mistral-medium
spring.ai.mistralai.chat.options.temperature=0.7
Tip
api-key 替换为您的OpenAI凭证。

这将创建一个`MistralAiChatClient`实现,您可以将其注入到您的类中。这里有一个简单的`@Controller`类的例子,它使用聊天客户端进行文本生成。

@RestController
public class ChatController {

    private final MistralAiChatClient chatClient;

@Autowired
    public ChatController(MistralAiChatClient chatClient) {
        this.chatClient = chatClient;
    }

@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
    return Map.of("generation", chatClient.call(message));
}

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return chatClient.stream(prompt);
    }
}

手动配置

链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/MistralAiChatClient.java[MistralAiChatClient] 实现了 ChatClientStreamingChatClient,并使用 低级MistralAiApi客户端 来连接到 MistralAI 服务。

spring-ai-mistralai 依赖添加到项目的 Maven pom.xml 文件中:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-mistralai</artifactId>
</dependency>

或者添加到你的Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-mistralai'
}
Tip
请参阅依赖管理部分,以将Spring AI BOM添加到您的构建文件中。

接下来,创建一个`MistralAiChatClient`并使用它进行文本生成:

var mistralAiApi = new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));

var chatClient = new MistralAiChatClient(mistralAiApi, MistralAiChatOptions.builder()
                .withModel(MistralAiApi.ChatModel.LARGE.getValue())
                .withTemperature(0.4f)
                .withMaxToken(200)
                .build());

ChatResponse response = chatClient.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = chatClient.stream(
    new Prompt("Generate the names of 5 famous pirates."));

MistralAiChatOptions` 提供了聊天请求的配置信息。MistralAiChatOptions.Builder 是流畅的选项构建器。

低级MistralAiApi客户端

链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/api/MistralAiApi.java[MistralAiApi] 提供了一个轻量级Java客户端,用于访问链接:https://docs.mistral.ai/api/[Mistral AI API]。

这是一个简单的片段,展示了如何以编程方式使用API:

MistralAiApi mistralAiApi =
    new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// 同步请求
ResponseEntity<ChatCompletion> response = mistralAiApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8f, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = mistralAiApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8f, true));

遵循https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/main/java/org/springframework/ai/mistralai/api/MistralAiApi.java[MistralAiApi.java]的JavaDoc文档以获取更多信息。

米斯特拉尔人工智能接口样本

  • 链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/test/java/org/springframework/ai/mistralai/api/MistralAiApiIT.java[MistralAiApiIT.java] 测试提供了一些如何使用这个轻量级库的通用示例。

  • 链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-mistral-ai/src/test/java/org/springframework/ai/mistralai/api/tool/PaymentStatusFunctionCallingIT.java[PaymentStatusFunctionCallingIT.java]测试展示了如何使用低级API调用工具函数。基于链接:https://docs.mistral.ai/guides/function-calling/[MistralAI函数调用]教程。