内容审核
介绍
Spring AI 支持由 Mistral AI 引入并由 Mistral 审核模型提供支持的新审核服务。 它支持沿多个策略维度检测有害文本内容。 点击此链接了解有关 Mistral AI 审核模型的更多信息。
前提条件
-
创建 Mistral AI 帐户并获取 API 密钥。您可以在 Mistral AI 注册页面注册并在 API 密钥页面上生成 API 密钥。
-
添加
spring-ai-mistral-ai依赖项添加到项目的构建文件中。有关更多信息，请参阅 依赖关系管理 部分。
自动配置
|
Spring AI 自动配置、启动模块的 artifact 名称发生了重大变化。 有关更多信息，请参阅升级说明。 |
Spring AI 为 Mistral AI 审核模型提供了 Spring Boot 自动配置。
要启用它，请将以下依赖项添加到项目的 Maven 中pom.xml文件：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-mistral-ai</artifactId>
</dependency>或发送到您的 Gradlebuild.gradlebuild 文件：
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-mistral-ai'
}| 请参阅 Dependency Management 部分，将 Spring AI BOM 添加到您的构建文件中。 |
审核属性
连接属性
前缀spring.ai.mistralai用作属性前缀，可让您连接到 Mistral AI。
属性 |
描述 |
默认值 |
spring.ai.mistralai.base-url |
要连接到的 URL |
|
spring.ai.mistralai.api-key |
API 密钥 |
- |
配置属性
|
现在，启用和禁用审核自动配置是通过带有前缀 要启用，spring.ai.model.moderation=mistral （默认情况下是启用的） 要禁用，spring.ai.model.moderation=none（或任何与 mistral 不匹配的值） 进行此更改是为了允许配置多个模型。 |
前缀spring.ai.mistralai.moderation 用作配置 Mistral AI 审核模型的属性前缀。
属性 |
描述 |
默认值 |
spring.ai.model.moderation |
启用审核模型 |
米斯特拉尔 |
spring.ai.mistralai.moderation.base-url |
要连接到的 URL |
|
spring.ai.mistralai.moderation.api-key |
API 密钥 |
- |
spring.ai.mistralai.moderation.options.model |
用于审核的模型的 ID。 |
mistral-moderation-latest |
您可以覆盖常见的spring.ai.mistralai.base-url,spring.ai.mistralai.api-key性能。
这spring.ai.mistralai.moderation.base-url,spring.ai.mistralai.moderation.api-key，属性（如果已设置）优先于公共属性。
如果您想为不同的模型和不同的模型终端节点使用不同的 Mistral AI 账户，这将非常有用。 |
所有前缀为spring.ai.mistralai.moderation.options可以在运行时覆盖。 |
运行时选项
MistralAiModerationOptions 类提供了在发出审核请求时要使用的选项。 在启动时，使用spring.ai.mistralai.moderation 指定的选项，但你可以在运行时覆盖这些选项。
例如：
MistralAiModerationOptions moderationOptions = MistralAiModerationOptions.builder()
.model("mistral-moderation-latest")
.build();
ModerationPrompt moderationPrompt = new ModerationPrompt("Text to be moderated", this.moderationOptions);
ModerationResponse response = mistralAiModerationModel.call(this.moderationPrompt);
// Access the moderation results
Moderation moderation = moderationResponse.getResult().getOutput();
// Print general information
System.out.println("Moderation ID: " + moderation.getId());
System.out.println("Model used: " + moderation.getModel());
// Access the moderation results (there's usually only one, but it's a list)
for (ModerationResult result : moderation.getResults()) {
System.out.println("\nModeration Result:");
System.out.println("Flagged: " + result.isFlagged());
// Access categories
Categories categories = this.result.getCategories();
System.out.println("\nCategories:");
System.out.println("Law: " + categories.isLaw());
System.out.println("Financial: " + categories.isFinancial());
System.out.println("PII: " + categories.isPii());
System.out.println("Sexual: " + categories.isSexual());
System.out.println("Hate: " + categories.isHate());
System.out.println("Harassment: " + categories.isHarassment());
System.out.println("Self-Harm: " + categories.isSelfHarm());
System.out.println("Sexual/Minors: " + categories.isSexualMinors());
System.out.println("Hate/Threatening: " + categories.isHateThreatening());
System.out.println("Violence/Graphic: " + categories.isViolenceGraphic());
System.out.println("Self-Harm/Intent: " + categories.isSelfHarmIntent());
System.out.println("Self-Harm/Instructions: " + categories.isSelfHarmInstructions());
System.out.println("Harassment/Threatening: " + categories.isHarassmentThreatening());
System.out.println("Violence: " + categories.isViolence());
// Access category scores
CategoryScores scores = this.result.getCategoryScores();
System.out.println("\nCategory Scores:");
System.out.println("Law: " + scores.getLaw());
System.out.println("Financial: " + scores.getFinancial());
System.out.println("PII: " + scores.getPii());
System.out.println("Sexual: " + scores.getSexual());
System.out.println("Hate: " + scores.getHate());
System.out.println("Harassment: " + scores.getHarassment());
System.out.println("Self-Harm: " + scores.getSelfHarm());
System.out.println("Sexual/Minors: " + scores.getSexualMinors());
System.out.println("Hate/Threatening: " + scores.getHateThreatening());
System.out.println("Violence/Graphic: " + scores.getViolenceGraphic());
System.out.println("Self-Harm/Intent: " + scores.getSelfHarmIntent());
System.out.println("Self-Harm/Instructions: " + scores.getSelfHarmInstructions());
System.out.println("Harassment/Threatening: " + scores.getHarassmentThreatening());
System.out.println("Violence: " + scores.getViolence());
}手动配置
添加spring-ai-mistral-ai依赖项添加到项目的 Mavenpom.xml文件：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-mistral-ai</artifactId>
</dependency>或发送到您的 Gradlebuild.gradlebuild 文件：
dependencies {
implementation 'org.springframework.ai:spring-ai-mistral-ai'
}| 请参阅 Dependency Management 部分，将 Spring AI BOM 添加到您的构建文件中。 |
接下来，创建一个 MistralAiModerationModel：
MistralAiModerationApi mistralAiModerationApi = new MistralAiModerationApi(System.getenv("MISTRAL_AI_API_KEY"));
MistralAiModerationModel mistralAiModerationModel = new MistralAiModerationModel(this.mistralAiModerationApi);
MistralAiModerationOptions moderationOptions = MistralAiModerationOptions.builder()
.model("mistral-moderation-latest")
.build();
ModerationPrompt moderationPrompt = new ModerationPrompt("Text to be moderated", this.moderationOptions);
ModerationResponse response = this.mistralAiModerationModel.call(this.moderationPrompt);