评估测试

测试人工智能应用程序需要评估生成的内容，以确保人工智能模型没有产生幻觉反应。spring-doc.cadn.net.cn

评估响应的一种方法是使用 AI 模型本身进行评估。选择用于评估的最佳 AI 模型，该模型可能与用于生成响应的模型不同。spring-doc.cadn.net.cn

用于评估响应的 Spring AI 界面是Evaluator，定义为：spring-doc.cadn.net.cn

@FunctionalInterface
public interface Evaluator {
    EvaluationResponse evaluate(EvaluationRequest evaluationRequest);
}

评估的输入是EvaluationRequest定义为spring-doc.cadn.net.cn

public class EvaluationRequest {

	private final String userText;

	private final List<Content> dataList;

	private final String responseContent;

	public EvaluationRequest(String userText, List<Content> dataList, String responseContent) {
		this.userText = userText;
		this.dataList = dataList;
		this.responseContent = responseContent;
	}

  ...
}

相关性评估器

这RelevancyEvaluator是Evaluator界面，旨在评估人工智能生成的响应与所提供上下文的相关性。该评估器通过确定 AI 模型的响应是否与用户针对检索到的上下文的输入相关，帮助评估 RAG 流的质量。spring-doc.cadn.net.cn

评估基于用户输入、人工智能模型的响应和上下文信息。它使用提示模板询问 AI 模型响应是否与用户输入和上下文相关。spring-doc.cadn.net.cn

这是RelevancyEvaluator:spring-doc.cadn.net.cn

Your task is to evaluate if the response for the query
is in line with the context information provided.

You have two options to answer. Either YES or NO.

Answer YES, if the response for the query
is in line with context information otherwise NO.

Query:
{query}

Response:
{response}

Context:
{context}

Answer:
您可以通过提供自己的提示模板来自定义提示模板PromptTemplate对象通过.promptTemplate()builder 方法。有关详细信息，请参阅自定义模板。

集成测试中的用法

下面是RelevancyEvaluator在集成测试中，使用RetrievalAugmentationAdvisor:spring-doc.cadn.net.cn

@Test
void evaluateRelevancy() {
    String question = "Where does the adventure of Anacletus and Birba take place?";

    RetrievalAugmentationAdvisor ragAdvisor = RetrievalAugmentationAdvisor.builder()
        .documentRetriever(VectorStoreDocumentRetriever.builder()
            .vectorStore(pgVectorStore)
            .build())
        .build();

    ChatResponse chatResponse = ChatClient.builder(chatModel).build()
        .prompt(question)
        .advisors(ragAdvisor)
        .call()
        .chatResponse();

    EvaluationRequest evaluationRequest = new EvaluationRequest(
        // The original user question
        question,
        // The retrieved context from the RAG flow
        chatResponse.getMetadata().get(RetrievalAugmentationAdvisor.DOCUMENT_CONTEXT),
        // The AI model's response
        chatResponse.getResult().getOutput().getText()
    );

    RelevancyEvaluator evaluator = new RelevancyEvaluator(ChatClient.builder(chatModel));

    EvaluationResponse evaluationResponse = evaluator.evaluate(evaluationRequest);

    assertThat(evaluationResponse.isPass()).isTrue();
}

您可以在 Spring AI 项目中找到几个使用RelevancyEvaluator以测试QuestionAnswerAdvisor（参见测试）和RetrievalAugmentationAdvisor（参见测试）。spring-doc.cadn.net.cn

自定义模板

这RelevancyEvaluator使用默认模板提示 AI 模型进行评估。您可以通过提供自己的行为来自定义此行为PromptTemplate对象通过.promptTemplate()builder 方法。spring-doc.cadn.net.cn

自定义PromptTemplate可以使用任何TemplateRenderer实现（默认情况下，它使用StPromptTemplate基于 StringTemplate 引擎）。重要的要求是模板必须包含以下占位符：spring-doc.cadn.net.cn

事实核查评估员

FactCheckingEvaluator 是 Evaluator 接口的另一种实现，旨在根据提供的上下文评估 AI 生成的响应的事实准确性。该评估器通过验证给定的陈述（声明）是否得到所提供的上下文（文档）的逻辑支持，帮助检测和减少 AI 输出中的幻觉。spring-doc.cadn.net.cn

将“声明”和“文件”呈现给人工智能模型进行评估。可以使用专门用于此目的的更小、更高效的人工智能模型，例如 Bespoke 的 Minicheck，与 GPT-4 等旗舰模型相比，它有助于降低执行这些检查的成本。Minicheck 也可以通过 Ollama 使用。spring-doc.cadn.net.cn

用法

FactCheckingEvaluator 构造函数将 ChatClient.Builder 作为参数：spring-doc.cadn.net.cn

public FactCheckingEvaluator(ChatClient.Builder chatClientBuilder) {
  this.chatClientBuilder = chatClientBuilder;
}

评估员使用以下提示模板进行事实核查：spring-doc.cadn.net.cn

Document: {document}
Claim: {claim}

哪里{document}是上下文信息，并且{claim}是要评估的 AI 模型的响应。spring-doc.cadn.net.cn

示例

以下是如何将 FactCheckingEvaluator 与基于 Ollama 的 ChatModel 一起使用的示例，特别是 Bespoke-Minicheck 模型：spring-doc.cadn.net.cn

@Test
void testFactChecking() {
  // Set up the Ollama API
  OllamaApi ollamaApi = new OllamaApi("http://localhost:11434");

  ChatModel chatModel = new OllamaChatModel(ollamaApi,
				OllamaOptions.builder().model(BESPOKE_MINICHECK).numPredict(2).temperature(0.0d).build())


  // Create the FactCheckingEvaluator
  var factCheckingEvaluator = new FactCheckingEvaluator(ChatClient.builder(chatModel));

  // Example context and claim
  String context = "The Earth is the third planet from the Sun and the only astronomical object known to harbor life.";
  String claim = "The Earth is the fourth planet from the Sun.";

  // Create an EvaluationRequest
  EvaluationRequest evaluationRequest = new EvaluationRequest(context, Collections.emptyList(), claim);

  // Perform the evaluation
  EvaluationResponse evaluationResponse = factCheckingEvaluator.evaluate(evaluationRequest);

  assertFalse(evaluationResponse.isPass(), "The claim should not be supported by the context");

}