OpenAI 语音转录

Spring AI支持https://platform.openai.com/docs/api-reference/audio/createTranscription[OpenAI的转录模型]。

先决条件

您将需要创建一个OpenAI的API密钥来访问ChatGPT模型。在[OpenAI注册页面](API密钥页面(https://platform.openai.com/account/api-keys)生成令牌。Spring AI项目定义了一个名为`spring.ai.openai.api-key`的配置属性，您应该将其设置为从openai.com获得的`API密钥`的值。导出一个环境变量是设置该配置属性的一种方式：

自动配置

Spring AI为OpenAI图像生成客户端提供了Spring Boot自动配置。要启用它，请将以下依赖项添加到项目的Maven `pom.xml`文件中：

xml
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

或添加到你的Gradle `build.gradle`构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}
Tip
 请参考依赖管理部分，以将Spring AI BOM添加到您的构建文件中。

转录属性

前缀`spring.ai.openai.audio.transcription`被用作属性前缀，它允许您为OpenAI图像客户端配置重试机制。

属性 描述 默认值

spring.ai.openai.audio.transcription.options.model

使用的模型ID。目前仅提供whisper-1模型（由我们的开源Whisper V2模型提供支持）。

whisper-1

spring.ai.openai.audio.transcription.options.response-format

字幕输出的格式，可选项包括：json, text, srt, verbose_json, 或 vtt。

json

spring.ai.openai.audio.transcription.options.prompt

可选文本，用于指导模型的风格或继续前一个音频片段。提示文本应与音频语言匹配。

spring.ai.openai.audio.transcription.options.language

输入音频的语言。以ISO-639-1格式提供输入语言将提高准确性和降低延迟。

spring.ai.openai.audio.transcription.options.temperature

采样温度，介于0到1之间。较高的值如0.8会使输出更随机，而较低的值如0.2则会使其更集中和确定。如果设置为0，模型将使用对数概率自动提高温度，直到达到某些阈值。

0

spring.ai.openai.audio.transcription.options.timestamp_granularities

为这个转录填充时间戳的粒度。response_format必须设置为verbose_json才能使用时间戳粒度。支持以下一个或两个选项：word（单词），或 segment（片段）。注意：生成片段时间戳不会增加额外的延迟，但是生成单词时间戳会导致额外的延迟。

segment

运行时选项

OpenAiAudioTranscriptionOptions` 类提供了进行转录时使用的选项。在启动时，将使用由 spring.ai.openai.audio.transcription 指定的选项，但你可以在运行时覆盖这些选项。

例如：

OpenAiAudioApi.TranscriptResponseFormat responseFormat = OpenAiAudioApi.TranscriptResponseFormat.VTT;

OpenAiAudioTranscriptionOptions transcriptionOptions = OpenAiAudioTranscriptionOptions.builder()
    .withLanguage("en")
    .withPrompt("Ask not this, but ask that")
    .withTemperature(0f)
    .withResponseFormat(responseFormat)
    .build();
AudioTranscriptionPrompt transcriptionRequest = new AudioTranscriptionPrompt(audioFile, transcriptionOptions);
AudioTranscriptionResponse response = openAiTranscriptionClient.call(transcriptionRequest);

手动配置

将 spring-ai-openai 依赖添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或添加到你的Gradle `build.gradle`构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}
Tip
 请参考依赖管理部分，以将Spring AI BOM添加到您的构建文件中。

接下来，创建一个`OpenAiAudioTranscriptionClient

var openAiAudioApi = new OpenAiAudioApi(System.getenv("OPENAI_API_KEY"));

var openAiAudioTranscriptionClient = new OpenAiAudioTranscriptionClient(openAiAudioApi);

var transcriptionOptions = OpenAiAudioTranscriptionOptions.builder()
    .withResponseFormat(TranscriptResponseFormat.TEXT)
    .withTemperature(0f)
    .build();

var audioFile = new FileSystemResource("/path/to/your/resource/speech/jfk.flac");

AudioTranscriptionPrompt transcriptionRequest = new AudioTranscriptionPrompt(audioFile, transcriptionOptions);
AudioTranscriptionResponse response = openAiTranscriptionClient.call(transcriptionRequest);

示例代码

  • 链接:https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-openai/src/test/java/org/springframework/ai/openai/audio/transcription/OpenAiTranscriptionClientIT.java[OpenAiTranscriptionClientIT.java] 测试提供了一些使用该库的通用示例。