Azure OpenAI 转录

前提条件

从Azure门户的“Azure OpenAI服务”部分获取您的Azure OpenAI endpoint 和 api-key 。 Spring AI定义了一个名为 spring.ai.azure.openai.api-key 的配置属性，您应将其设置为从Azure获取的 API Key 的值。 还有一个名为 spring.ai.azure.openai.endpoint 的配置属性，您应将其设置为在Azure中预配模型时获得的端点URL。 导出环境变量是设置该配置属性的一种方法:spring-doc.cadn.net.cn

自动配置

There has been a significant change in the Spring AI auto-configuration, starter modules' artifact names. Please refer to the 升级说明以获取更多信息。spring-doc.cadn.net.cn

Spring AI 为 Azure OpenAI 转录生成客户端提供了 Spring Boot 自动配置。 要启用它，请在项目的 Maven pom.xml 文件中添加以下依赖:spring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-azure-openai</artifactId>
</dependency>

或者添加到您的Gradle 构建脚本文件中。spring-doc.cadn.net.cn

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-azure-openai'
}
参考以下依赖管理部分，添加Spring AI BOM到你的构建文件中。

转录属性

音频转录自动配置的启用和禁用现在通过带有前缀spring.ai.model.audio.transcription的顶级属性进行配置。spring-doc.cadn.net.cn

要启用，请设置 spring.ai.model.audio.transcription=azure-openai （默认情况下已启用）spring-doc.cadn.net.cn

要禁用，请设置 spring.ai.model.audio.transcription=none（或任何不匹配azure-openai的值）。spring-doc.cadn.net.cn

这种修改是为了允许配置多个模型。spring-doc.cadn.net.cn

前缀 spring.ai.openai.audio.transcription 用于作为属性前缀，允许您配置OpenAI图像模型的重试机制。spring-doc.cadn.net.cn

属性 描述 默认

spring.ai.azure.openai.audio.transcription.enabled（已移除，不再有效）spring-doc.cadn.net.cn

启用Azure OpenAI转录模型。spring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

spring.ai.model.audio.transcriptionspring-doc.cadn.net.cn

启用Azure OpenAI转录模型。spring-doc.cadn.net.cn

azure-openaispring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.modelspring-doc.cadn.net.cn

要使用的模型的ID。目前仅提供whisper。spring-doc.cadn.net.cn

耳语spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.deployment-namespring-doc.cadn.net.cn

模型部署时所使用的部署名称。spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.response-formatspring-doc.cadn.net.cn

转录输出的格式，可选以下之一：json、text、srt、verbose_json或vtt。spring-doc.cadn.net.cn

JSON（JavaScript Object Notation）spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.promptspring-doc.cadn.net.cn

一个可选的文本，用于引导模型的风格或延续之前的音频片段。提示应与音频语言相匹配。spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.languagespring-doc.cadn.net.cn

输入音频的语言。以 ISO-639-1 格式提供输入语言将提高准确性和响应速度。spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.temperaturespring-doc.cadn.net.cn

采样温度，介于0和1之间。较高的值，如0.8，将使输出更加随机，而较低的值，如0.2，则会使输出更加集中和确定性。如果设置为0，模型将使用对数概率自动增加温度，直到达到某些阈值。spring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.timestamp-granularitiesspring-doc.cadn.net.cn

为此转录填充的时间戳粒度。必须将response_format设置为verbose_json以使用时间戳粒度。支持以下一个或两个选项：word，或segment。注意：segment时间戳不会增加额外延迟，但生成word时间戳会带来额外延迟。spring-doc.cadn.net.cn

段落spring-doc.cadn.net.cn

运行时选项

AzureOpenAiAudioTranscriptionOptions 类提供了进行转录时可使用的选项。启动时，将使用由 spring.ai.azure.openai.audio.transcription 指定的选项，但您可以在运行时覆盖这些选项。spring-doc.cadn.net.cn

例如：spring-doc.cadn.net.cn

AzureOpenAiAudioTranscriptionOptions.TranscriptResponseFormat responseFormat = AzureOpenAiAudioTranscriptionOptions.TranscriptResponseFormat.VTT;

AzureOpenAiAudioTranscriptionOptions transcriptionOptions = AzureOpenAiAudioTranscriptionOptions.builder()
    .language("en")
    .prompt("Ask not this, but ask that")
    .temperature(0f)
    .responseFormat(this.responseFormat)
    .build();
AudioTranscriptionPrompt transcriptionRequest = new AudioTranscriptionPrompt(audioFile, this.transcriptionOptions);
AudioTranscriptionResponse response = azureOpenAiTranscriptionModel.call(this.transcriptionRequest);

手动配置

将 spring-ai-openai 依赖添加到您项目的 Maven pom.xml 文件中：spring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-azure-openai</artifactId>
</dependency>

或者添加到您的Gradle 构建脚本文件中。spring-doc.cadn.net.cn

dependencies {
    implementation 'org.springframework.ai:spring-ai-azure-openai'
}
参考以下依赖管理部分，添加Spring AI BOM到你的构建文件中。

接下来，创建一个 AzureOpenAiAudioTranscriptionModelspring-doc.cadn.net.cn

var openAIClient = new OpenAIClientBuilder()
    .credential(new AzureKeyCredential(System.getenv("AZURE_OPENAI_API_KEY")))
    .endpoint(System.getenv("AZURE_OPENAI_ENDPOINT"))
    .buildClient();

var azureOpenAiAudioTranscriptionModel = new AzureOpenAiAudioTranscriptionModel(this.openAIClient, null);

var transcriptionOptions = AzureOpenAiAudioTranscriptionOptions.builder()
    .responseFormat(TranscriptResponseFormat.TEXT)
    .temperature(0f)
    .build();

var audioFile = new FileSystemResource("/path/to/your/resource/speech/jfk.flac");

AudioTranscriptionPrompt transcriptionRequest = new AudioTranscriptionPrompt(this.audioFile, this.transcriptionOptions);
AudioTranscriptionResponse response = this.azureOpenAiAudioTranscriptionModel.call(this.transcriptionRequest);