此版本仍在开发中,尚不被认为是稳定的。对于最新的快照版本,请使用 Spring AI 1.0.1spring-doc.cadn.net.cn

提示工程模式

基于综合提示工程指南的提示工程技术的实际实现。该指南涵盖了有效提示工程的理论、原理和模式,而在这里我们演示如何使用 Spring AI 流畅的 ChatClient API 将这些概念转化为工作 Java 代码。本文中使用的演示源代码可在以下位置获得: 提示工程模式示例.spring-doc.cadn.net.cn

1. 配置

配置部分概述了如何使用 Spring AI 设置和调整大型语言模型 (LLM)。它涵盖为您的用例选择正确的 LLM 提供程序以及配置控制模型输出的质量、样式和格式的重要生成参数。spring-doc.cadn.net.cn

LLM 提供商选择

对于提示工程,您将从选择一个模型开始。Spring AI 支持多个 LLM 提供商(例如 OpenAI、Anthropic、Google Vertex AI、AWS Bedrock、Ollama 等),让您无需更改应用程序代码即可切换提供商 - 只需更新您的配置即可。只需添加选定的Starters依赖项spring-ai-starter-model-<MODEL-PROVIDER-NAME>. 例如,以下是启用 Anthropic Claude API 的方法:spring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-anthropic</artifactId>
</dependency>

您可以像这样指定 LLM 模型名称:spring-doc.cadn.net.cn

.options(ChatOptions.builder()
        .model("claude-3-7-sonnet-latest")  // Use Anthropic's Claude model
        .build())

参考文档中查找有关启用每个模型的详细信息。spring-doc.cadn.net.cn

LLM 输出配置

chat options flow

在我们深入研究提示工程技术之前,有必要了解如何配置 LLM 的输出行为。Spring AI 提供了多个配置选项,让您可以通过 ChatOptions 构建器控制生成的各个方面。spring-doc.cadn.net.cn

所有配置都可以以编程方式应用,如下面的示例所示,也可以在启动时通过 Spring 应用程序属性应用。spring-doc.cadn.net.cn

温度

温度控制模型响应的随机性或“创造力”。spring-doc.cadn.net.cn

  • 较低的值 (0.0-0.3):更具确定性、重点的响应。更适合事实问题、分类或一致性至关重要的任务。spring-doc.cadn.net.cn

  • 中值 (0.4-0.7):在确定性和创造力之间取得平衡。适用于一般用例。spring-doc.cadn.net.cn

  • 更高的值 (0.8-1.0):更具创意、多样性且可能令人惊讶的响应。更适合创意写作、头脑风暴或生成多样化的选择。spring-doc.cadn.net.cn

.options(ChatOptions.builder()
        .temperature(0.1)  // Very deterministic output
        .build())

了解温度对于即时工程至关重要,因为不同的技术受益于不同的温度设置。spring-doc.cadn.net.cn

输出长度(MaxTokens)

maxTokens参数限制模型在其响应中可以生成的标记(字块)数量。spring-doc.cadn.net.cn

.options(ChatOptions.builder()
        .maxTokens(250)  // Medium-length response
        .build())

设置适当的输出长度对于确保您获得完整的响应而不会产生不必要的冗长非常重要。spring-doc.cadn.net.cn

采样控制(Top-K 和 Top-P)

这些参数使您可以在生成过程中对Tokens选择过程进行细粒度控制。spring-doc.cadn.net.cn

  • Top-K:将Tokens选择限制为 K 个最有可能的下一个Tokens。更高的值(例如,40-50)会引入更多的多样性。spring-doc.cadn.net.cn

  • Top-P(核心采样):从累积概率超过 P 的最小Tokens集中动态选择。0.8-0.95 等值很常见。spring-doc.cadn.net.cn

.options(ChatOptions.builder()
        .topK(40)      // Consider only the top 40 tokens
        .topP(0.8)     // Sample from tokens that cover 80% of probability mass
        .build())

这些采样控制与温度形状响应特性相结合。spring-doc.cadn.net.cn

结构化响应格式

与纯文本响应(使用.content()),Spring AI 可以轻松地使用.entity()方法。spring-doc.cadn.net.cn

enum Sentiment {
    POSITIVE, NEUTRAL, NEGATIVE
}

Sentiment result = chatClient.prompt("...")
        .call()
        .entity(Sentiment.class);

当与指示模型返回结构化数据的系统提示结合使用时,此功能特别强大。spring-doc.cadn.net.cn

特定于型号的选项

虽然便携式ChatOptions提供跨不同 LLM 提供者的一致接口,Spring AI 还提供特定于模型的选项类,公开特定于提供者的功能和配置。这些特定于模型的选项允许您利用每个 LLM 提供商的独特功能。spring-doc.cadn.net.cn

// Using OpenAI-specific options
OpenAiChatOptions openAiOptions = OpenAiChatOptions.builder()
        .model("gpt-4o")
        .temperature(0.2)
        .frequencyPenalty(0.5)      // OpenAI-specific parameter
        .presencePenalty(0.3)       // OpenAI-specific parameter
        .responseFormat(new ResponseFormat("json_object"))  // OpenAI-specific JSON mode
        .seed(42)                   // OpenAI-specific deterministic generation
        .build();

String result = chatClient.prompt("...")
        .options(openAiOptions)
        .call()
        .content();

// Using Anthropic-specific options
AnthropicChatOptions anthropicOptions = AnthropicChatOptions.builder()
        .model("claude-3-7-sonnet-latest")
        .temperature(0.2)
        .topK(40)                   // Anthropic-specific parameter
        .thinking(AnthropicApi.ThinkingType.ENABLED, 1000)  // Anthropic-specific thinking configuration
        .build();

String result = chatClient.prompt("...")
        .options(anthropicOptions)
        .call()
        .content();

每个模型提供者都有自己的聊天选项实现(例如OpenAiChatOptions,AnthropicChatOptions,MistralAiChatOptions),该参数公开特定于提供程序的参数,同时仍实现通用接口。当需要访问特定提供程序的独特功能时,这种方法使你能够灵活地使用可移植选项来实现跨提供程序兼容性或特定于模型的选项。spring-doc.cadn.net.cn

请注意,使用特定于模型的选项时,您的代码会绑定到该特定提供程序,从而降低可移植性。这是访问特定于高级提供商的功能与在应用程序中保持提供商独立性之间的权衡。spring-doc.cadn.net.cn

2. 提示工程技术

下面的每个部分都实现了指南中的特定提示工程技术。 通过遵循“提示工程”指南和这些实现,您不仅将全面了解可用的提示工程技术,还将全面了解如何在生产 Java 应用程序中有效地实现它们。spring-doc.cadn.net.cn

2.1 零样本提示

零样本提示涉及要求人工智能在不提供任何示例的情况下执行任务。这种方法测试模型从头开始理解和执行指令的能力。大型语言模型在大量文本语料库上进行训练,使它们能够在没有明确演示的情况下理解“翻译”、“摘要”或“分类”等任务需要什么。spring-doc.cadn.net.cn

零样本非常适合模型在训练过程中可能看到类似示例的简单任务,以及想要最小化提示长度时。但是,性能可能会根据任务复杂性和指令的制定程度而有所不同。spring-doc.cadn.net.cn

// Implementation of Section 2.1: General prompting / zero shot (page 15)
public void pt_zero_shot(ChatClient chatClient) {
    enum Sentiment {
        POSITIVE, NEUTRAL, NEGATIVE
    }

    Sentiment reviewSentiment = chatClient.prompt("""
            Classify movie reviews as POSITIVE, NEUTRAL or NEGATIVE.
            Review: "Her" is a disturbing study revealing the direction
            humanity is headed if AI is allowed to keep evolving,
            unchecked. I wish there were more movies like this masterpiece.
            Sentiment:
            """)
            .options(ChatOptions.builder()
                    .model("claude-3-7-sonnet-latest")
                    .temperature(0.1)
                    .maxTokens(5)
                    .build())
            .call()
            .entity(Sentiment.class);

    System.out.println("Output: " + reviewSentiment);
}

此示例演示如何在不提供示例的情况下对电影评论情绪进行分类。请注意低温 (0.1) 以获得更确定的结果,而直接.entity(Sentiment.class)映射到 Java 枚举。spring-doc.cadn.net.cn

参考:布朗,TB 等人(2020 年)。“语言模型是少样本学习器。” arXiv:2005.14165。https://arxiv.org/abs/2005.14165spring-doc.cadn.net.cn

2.2 单次和少次提示

少样本提示为模型提供了一个或多个示例,以帮助指导其响应,这对于需要特定输出格式的任务特别有用。通过显示所需输入输出对的模型示例,它可以学习模式并将其应用于新输入,而无需显式参数更新。spring-doc.cadn.net.cn

One-shot 提供了一个示例,当示例成本高昂或模式相对简单时,这很有用。Few-shot 使用多个示例(通常为 3-5 个)来帮助模型更好地理解更复杂任务中的模式或说明正确输出的不同变体。spring-doc.cadn.net.cn

// Implementation of Section 2.2: One-shot & few-shot (page 16)
public void pt_one_shot_few_shots(ChatClient chatClient) {
    String pizzaOrder = chatClient.prompt("""
            Parse a customer's pizza order into valid JSON

            EXAMPLE 1:
            I want a small pizza with cheese, tomato sauce, and pepperoni.
            JSON Response:
            ```
            {
                "size": "small",
                "type": "normal",
                "ingredients": ["cheese", "tomato sauce", "pepperoni"]
            }
            ```

            EXAMPLE 2:
            Can I get a large pizza with tomato sauce, basil and mozzarella.
            JSON Response:
            ```
            {
                "size": "large",
                "type": "normal",
                "ingredients": ["tomato sauce", "basil", "mozzarella"]
            }
            ```

            Now, I would like a large pizza, with the first half cheese and mozzarella.
            And the other tomato sauce, ham and pineapple.
            """)
            .options(ChatOptions.builder()
                    .model("claude-3-7-sonnet-latest")
                    .temperature(0.1)
                    .maxTokens(250)
                    .build())
            .call()
            .content();
}

少样本提示对于需要特定格式、处理边缘情况或任务定义可能含糊不清而没有示例的任务特别有效。示例的质量和多样性显着影响性能。spring-doc.cadn.net.cn

参考:布朗,TB 等人(2020 年)。“语言模型是少样本学习器。” arXiv:2005.14165。https://arxiv.org/abs/2005.14165spring-doc.cadn.net.cn

2.3 系统、上下文和角色提示

系统提示

系统提示设置了语言模型的整体上下文和目的,定义了模型应该做什么的“大局”。它为模型的响应建立了行为框架、约束和高级目标,与特定的用户查询分开。spring-doc.cadn.net.cn

系统提示充当整个对话中持久的“使命宣言”,允许您设置全局参数,例如输出格式、语气、道德界限或角色定义。与专注于特定任务的用户提示不同,系统提示构建了应如何解释所有用户提示。spring-doc.cadn.net.cn

// Implementation of Section 2.3.1: System prompting
public void pt_system_prompting_1(ChatClient chatClient) {
    String movieReview = chatClient
            .prompt()
            .system("Classify movie reviews as positive, neutral or negative. Only return the label in uppercase.")
            .user("""
                    Review: "Her" is a disturbing study revealing the direction
                    humanity is headed if AI is allowed to keep evolving,
                    unchecked. It's so disturbing I couldn't watch it.

                    Sentiment:
                    """)
            .options(ChatOptions.builder()
                    .model("claude-3-7-sonnet-latest")
                    .temperature(1.0)
                    .topK(40)
                    .topP(0.8)
                    .maxTokens(5)
                    .build())
            .call()
            .content();
}

当与 Spring AI 的实体映射功能结合使用时,系统提示特别强大:spring-doc.cadn.net.cn

// Implementation of Section 2.3.1: System prompting with JSON output
record MovieReviews(Movie[] movie_reviews) {
    enum Sentiment {
        POSITIVE, NEUTRAL, NEGATIVE
    }

    record Movie(Sentiment sentiment, String name) {
    }
}

MovieReviews movieReviews = chatClient
        .prompt()
        .system("""
                Classify movie reviews as positive, neutral or negative. Return
                valid JSON.
                """)
        .user("""
                Review: "Her" is a disturbing study revealing the direction
                humanity is headed if AI is allowed to keep evolving,
                unchecked. It's so disturbing I couldn't watch it.

                JSON Response:
                """)
        .call()
        .entity(MovieReviews.class);

系统提示对于多轮对话特别有价值,确保多个查询的行为一致,以及建立格式约束,例如应应用于所有响应的 JSON 输出。spring-doc.cadn.net.cn

角色提示

角色提示指示模型采用特定的角色或角色,这会影响其生成内容的方式。通过为模型分配特定的身份、专业知识或观点,您可以影响其响应的风格、语气、深度和框架。spring-doc.cadn.net.cn

角色提示利用模型模拟不同专业知识领域和沟通方式的能力。常见的角色包括专家(例如,“您是一位经验丰富的数据科学家”)、专业(例如,“充当旅行指南”)或文体角色(例如,“像莎士比亚一样解释”)。spring-doc.cadn.net.cn

// Implementation of Section 2.3.2: Role prompting
public void pt_role_prompting_1(ChatClient chatClient) {
    String travelSuggestions = chatClient
            .prompt()
            .system("""
                    I want you to act as a travel guide. I will write to you
                    about my location and you will suggest 3 places to visit near
                    me. In some cases, I will also give you the type of places I
                    will visit.
                    """)
            .user("""
                    My suggestion: "I am in Amsterdam and I want to visit only museums."
                    Travel Suggestions:
                    """)
            .call()
            .content();
}

可以通过样式说明增强角色提示:spring-doc.cadn.net.cn

// Implementation of Section 2.3.2: Role prompting with style instructions
public void pt_role_prompting_2(ChatClient chatClient) {
    String humorousTravelSuggestions = chatClient
            .prompt()
            .system("""
                    I want you to act as a travel guide. I will write to you about
                    my location and you will suggest 3 places to visit near me in
                    a humorous style.
                    """)
            .user("""
                    My suggestion: "I am in Amsterdam and I want to visit only museums."
                    Travel Suggestions:
                    """)
            .call()
            .content();
}

这种技术对于专业领域知识特别有效,可以在响应中实现一致的语气,并与用户创建更具吸引力、个性化的交互。spring-doc.cadn.net.cn

参考: 沙纳汉,M. 等人(2023)。“大型语言模型的角色扮演。”arXiv:2305.16367。https://arxiv.org/abs/2305.16367spring-doc.cadn.net.cn

上下文提示

上下文提示通过传递上下文参数为模型提供额外的背景信息。这种技术丰富了模型对特定情况的理解,从而实现更相关和量身定制的响应,而不会使主要指令变得混乱。spring-doc.cadn.net.cn

通过提供上下文信息,可以帮助模型了解与当前查询相关的特定领域、受众、约束或背景事实。这会导致更准确、更相关且框架更适当的响应。spring-doc.cadn.net.cn

// Implementation of Section 2.3.3: Contextual prompting
public void pt_contextual_prompting(ChatClient chatClient) {
    String articleSuggestions = chatClient
            .prompt()
            .user(u -> u.text("""
                    Suggest 3 topics to write an article about with a few lines of
                    description of what this article should contain.

                    Context: {context}
                    """)
                    .param("context", "You are writing for a blog about retro 80's arcade video games."))
            .call()
            .content();
}

Spring AI 使用 param() 方法注入上下文变量,使上下文提示变得干净。当模型需要特定的领域知识、根据特定受众或场景调整响应以及确保响应符合特定约束或要求时,这种技术特别有价值。spring-doc.cadn.net.cn

参考:刘,P.,等人(2021)。“什么是 GPT-3 的良好上下文示例?” arXiv:2101.06804。https://arxiv.org/abs/2101.06804spring-doc.cadn.net.cn

2.4 后退提示

后退提示通过首先获取背景知识将复杂的请求分解为更简单的步骤。这种技术鼓励模型首先从眼前的问题中“退后一步”,在解决特定查询之前考虑与问题相关的更广泛的背景、基本原则或常识。spring-doc.cadn.net.cn

通过将复杂的问题分解为更易于管理的组成部分并首先建立基础知识,该模型可以对困难的问题提供更准确的回答。spring-doc.cadn.net.cn

// Implementation of Section 2.4: Step-back prompting
public void pt_step_back_prompting(ChatClient.Builder chatClientBuilder) {
    // Set common options for the chat client
    var chatClient = chatClientBuilder
            .defaultOptions(ChatOptions.builder()
                    .model("claude-3-7-sonnet-latest")
                    .temperature(1.0)
                    .topK(40)
                    .topP(0.8)
                    .maxTokens(1024)
                    .build())
            .build();

    // First get high-level concepts
    String stepBack = chatClient
            .prompt("""
                    Based on popular first-person shooter action games, what are
                    5 fictional key settings that contribute to a challenging and
                    engaging level storyline in a first-person shooter video game?
                    """)
            .call()
            .content();

    // Then use those concepts in the main task
    String story = chatClient
            .prompt()
            .user(u -> u.text("""
                    Write a one paragraph storyline for a new level of a first-
                    person shooter video game that is challenging and engaging.

                    Context: {step-back}
                    """)
                    .param("step-back", stepBack))
            .call()
            .content();
}

退步提示对于复杂的推理任务、需要专业领域知识的问题以及当您想要更全面、更周到的响应而不是立即答案时特别有效。spring-doc.cadn.net.cn

参考:郑 Z. 等人 (2023)。“退后一步:在大型语言模型中通过抽象唤起推理。”https://arxiv.org/abs/2310.06117spring-doc.cadn.net.cn

2.5 思维链 (CoT)

思维链提示鼓励模型逐步推理解决问题,从而提高复杂推理任务的准确性。通过显式要求模型显示其工作或按逻辑步骤思考问题,可以显著提高需要多步骤推理的任务的性能。spring-doc.cadn.net.cn

CoT 的工作原理是鼓励模型在产生最终答案之前生成中间推理步骤,类似于人类解决复杂问题的方式。这使得模型的思维过程变得明确,并有助于得出更准确的结论。spring-doc.cadn.net.cn

// Implementation of Section 2.5: Chain of Thought (CoT) - Zero-shot approach
public void pt_chain_of_thought_zero_shot(ChatClient chatClient) {
    String output = chatClient
            .prompt("""
                    When I was 3 years old, my partner was 3 times my age. Now,
                    I am 20 years old. How old is my partner?

                    Let's think step by step.
                    """)
            .call()
            .content();
}

// Implementation of Section 2.5: Chain of Thought (CoT) - Few-shot approach
public void pt_chain_of_thought_singleshot_fewshots(ChatClient chatClient) {
    String output = chatClient
            .prompt("""
                    Q: When my brother was 2 years old, I was double his age. Now
                    I am 40 years old. How old is my brother? Let's think step
                    by step.
                    A: When my brother was 2 years, I was 2 * 2 = 4 years old.
                    That's an age difference of 2 years and I am older. Now I am 40
                    years old, so my brother is 40 - 2 = 38 years old. The answer
                    is 38.
                    Q: When I was 3 years old, my partner was 3 times my age. Now,
                    I am 20 years old. How old is my partner? Let's think step
                    by step.
                    A:
                    """)
            .call()
            .content();
}

关键短语“让我们一步一步思考”触发模型显示其推理过程。CoT 对于数学问题、逻辑推理任务以及任何需要多步骤推理的问题特别有价值。它通过明确中间推理来帮助减少错误。spring-doc.cadn.net.cn

参考:Wei, J. 等人 (2022)。“思维链提示引发大型语言模型中的推理。”https://arxiv.org/abs/2201.11903spring-doc.cadn.net.cn

2.6 自洽

自洽性涉及多次运行模型并聚合结果以获得更可靠的答案。该技术通过对同一问题的不同推理路径进行采样并通过多数投票选择最一致的答案来解决 LLM 输出的可变性。spring-doc.cadn.net.cn

通过生成具有不同温度或采样设置的多个推理路径,然后聚合最终答案,自洽性提高了复杂推理任务的准确性。它本质上是一种用于 LLM 输出的集成方法。spring-doc.cadn.net.cn

// Implementation of Section 2.6: Self-consistency
public void pt_self_consistency(ChatClient chatClient) {
    String email = """
            Hi,
            I have seen you use Wordpress for your website. A great open
            source content management system. I have used it in the past
            too. It comes with lots of great user plugins. And it's pretty
            easy to set up.
            I did notice a bug in the contact form, which happens when
            you select the name field. See the attached screenshot of me
            entering text in the name field. Notice the JavaScript alert
            box that I inv0k3d.
            But for the rest it's a great website. I enjoy reading it. Feel
            free to leave the bug in the website, because it gives me more
            interesting things to read.
            Cheers,
            Harry the Hacker.
            """;

    record EmailClassification(Classification classification, String reasoning) {
        enum Classification {
            IMPORTANT, NOT_IMPORTANT
        }
    }

    int importantCount = 0;
    int notImportantCount = 0;

    // Run the model 5 times with the same input
    for (int i = 0; i < 5; i++) {
        EmailClassification output = chatClient
                .prompt()
                .user(u -> u.text("""
                        Email: {email}
                        Classify the above email as IMPORTANT or NOT IMPORTANT. Let's
                        think step by step and explain why.
                        """)
                        .param("email", email))
                .options(ChatOptions.builder()
                        .temperature(1.0)  // Higher temperature for more variation
                        .build())
                .call()
                .entity(EmailClassification.class);

        // Count results
        if (output.classification() == EmailClassification.Classification.IMPORTANT) {
            importantCount++;
        } else {
            notImportantCount++;
        }
    }

    // Determine the final classification by majority vote
    String finalClassification = importantCount > notImportantCount ?
            "IMPORTANT" : "NOT IMPORTANT";
}

自洽性对于高风险决策、复杂的推理任务以及当您需要比单个响应所能提供的更自信的答案时特别有价值。代价是由于多个 API 调用而增加计算成本和延迟。spring-doc.cadn.net.cn

参考:王,X.等人(2022)。“自洽性改善了语言模型中的思维链推理。”https://arxiv.org/abs/2203.11171spring-doc.cadn.net.cn

2.7 思想(ToT)之树

Tree of Thoughts (ToT) 是一个高级推理框架,它通过同时探索多个推理路径来扩展 Chain of Thought。它将解决问题视为一个搜索过程,其中模型生成不同的中间步骤,评估它们的前景,并探索最有前途的路径。spring-doc.cadn.net.cn

对于具有多种可能方法的复杂问题,或者当解决方案需要在找到最佳路径之前探索各种替代方案时,该技术特别强大。spring-doc.cadn.net.cn

原始的“提示工程”指南没有提供 ToT 的实现示例,可能是由于其复杂性。下面是一个演示核心概念的简化示例。spring-doc.cadn.net.cn

游戏解决 ToT 示例:spring-doc.cadn.net.cn

// Implementation of Section 2.7: Tree of Thoughts (ToT) - Game solving example
public void pt_tree_of_thoughts_game(ChatClient chatClient) {
    // Step 1: Generate multiple initial moves
    String initialMoves = chatClient
            .prompt("""
                    You are playing a game of chess. The board is in the starting position.
                    Generate 3 different possible opening moves. For each move:
                    1. Describe the move in algebraic notation
                    2. Explain the strategic thinking behind this move
                    3. Rate the move's strength from 1-10
                    """)
            .options(ChatOptions.builder()
                    .temperature(0.7)
                    .build())
            .call()
            .content();

    // Step 2: Evaluate and select the most promising move
    String bestMove = chatClient
            .prompt()
            .user(u -> u.text("""
                    Analyze these opening moves and select the strongest one:
                    {moves}

                    Explain your reasoning step by step, considering:
                    1. Position control
                    2. Development potential
                    3. Long-term strategic advantage

                    Then select the single best move.
                    """).param("moves", initialMoves))
            .call()
            .content();

    // Step 3: Explore future game states from the best move
    String gameProjection = chatClient
            .prompt()
            .user(u -> u.text("""
                    Based on this selected opening move:
                    {best_move}

                    Project the next 3 moves for both players. For each potential branch:
                    1. Describe the move and counter-move
                    2. Evaluate the resulting position
                    3. Identify the most promising continuation

                    Finally, determine the most advantageous sequence of moves.
                    """).param("best_move", bestMove))
            .call()
            .content();
}

参考:Yao, S. 等人 (2023)。“思想之树:使用大型语言模型进行深思熟虑的问题解决。”https://arxiv.org/abs/2305.10601spring-doc.cadn.net.cn

2.8 自动提示工程

自动提示工程使用 AI 来生成和评估替代提示。这种元技术利用语言模型本身来创建、完善和基准测试不同的提示变体,以找到特定任务的最佳公式。spring-doc.cadn.net.cn

通过系统地生成和评估提示变化,APE 可以找到比手动工程更有效的提示,特别是对于复杂的任务。这是一种使用人工智能来提高自身性能的方法。spring-doc.cadn.net.cn

// Implementation of Section 2.8: Automatic Prompt Engineering
public void pt_automatic_prompt_engineering(ChatClient chatClient) {
    // Generate variants of the same request
    String orderVariants = chatClient
            .prompt("""
                    We have a band merchandise t-shirt webshop, and to train a
                    chatbot we need various ways to order: "One Metallica t-shirt
                    size S". Generate 10 variants, with the same semantics but keep
                    the same meaning.
                    """)
            .options(ChatOptions.builder()
                    .temperature(1.0)  // High temperature for creativity
                    .build())
            .call()
            .content();

    // Evaluate and select the best variant
    String output = chatClient
            .prompt()
            .user(u -> u.text("""
                    Please perform BLEU (Bilingual Evaluation Understudy) evaluation on the following variants:
                    ----
                    {variants}
                    ----

                    Select the instruction candidate with the highest evaluation score.
                    """).param("variants", orderVariants))
            .call()
            .content();
}

APE 对于优化生产系统的提示、解决手动提示工程已达到极限的具有挑战性的任务以及系统地大规模提高提示质量特别有价值。spring-doc.cadn.net.cn

参考:周,Y. 等人(2022)。“大型语言模型是人类级别的提示工程师。”https://arxiv.org/abs/2211.01910spring-doc.cadn.net.cn

2.9 代码提示

代码提示是指用于代码相关任务的专用技术。这些技术利用法学硕士理解和生成编程语言的能力,使他们能够编写新代码、解释现有代码、调试问题以及在语言之间进行翻译。spring-doc.cadn.net.cn

有效的代码提示通常涉及明确的规范、适当的上下文(库、框架、风格指南),有时还涉及类似代码的示例。温度设置往往较低 (0.1-0.3),以获得更确定的输出。spring-doc.cadn.net.cn

// Implementation of Section 2.9.1: Prompts for writing code
public void pt_code_prompting_writing_code(ChatClient chatClient) {
    String bashScript = chatClient
            .prompt("""
                    Write a code snippet in Bash, which asks for a folder name.
                    Then it takes the contents of the folder and renames all the
                    files inside by prepending the name draft to the file name.
                    """)
            .options(ChatOptions.builder()
                    .temperature(0.1)  // Low temperature for deterministic code
                    .build())
            .call()
            .content();
}

// Implementation of Section 2.9.2: Prompts for explaining code
public void pt_code_prompting_explaining_code(ChatClient chatClient) {
    String code = """
            #!/bin/bash
            echo "Enter the folder name: "
            read folder_name
            if [ ! -d "$folder_name" ]; then
            echo "Folder does not exist."
            exit 1
            fi
            files=( "$folder_name"/* )
            for file in "${files[@]}"; do
            new_file_name="draft_$(basename "$file")"
            mv "$file" "$new_file_name"
            done
            echo "Files renamed successfully."
            """;

    String explanation = chatClient
            .prompt()
            .user(u -> u.text("""
                    Explain to me the below Bash code:
                    ```
                    {code}
                    ```
                    """).param("code", code))
            .call()
            .content();
}

// Implementation of Section 2.9.3: Prompts for translating code
public void pt_code_prompting_translating_code(ChatClient chatClient) {
    String bashCode = """
            #!/bin/bash
            echo "Enter the folder name: "
            read folder_name
            if [ ! -d "$folder_name" ]; then
            echo "Folder does not exist."
            exit 1
            fi
            files=( "$folder_name"/* )
            for file in "${files[@]}"; do
            new_file_name="draft_$(basename "$file")"
            mv "$file" "$new_file_name"
            done
            echo "Files renamed successfully."
            """;

    String pythonCode = chatClient
            .prompt()
            .user(u -> u.text("""
                    Translate the below Bash code to a Python snippet:
                    {code}
                    """).param("code", bashCode))
            .call()
            .content();
}

代码提示对于自动化代码文档、原型设计、学习编程概念以及编程语言之间的翻译特别有价值。通过将其与少样本提示或思维链等技术相结合,可以进一步提高有效性。spring-doc.cadn.net.cn

参考:陈,M.,等人(2021)。“评估在代码上训练的大型语言模型。”https://arxiv.org/abs/2107.03374spring-doc.cadn.net.cn

结论

Spring AI 提供了一个优雅的 Java API 来实现所有主要的提示工程技术。通过将这些技术与 Spring 强大的实体映射和流畅的 API 相结合,开发人员可以使用干净、可维护的代码构建复杂的人工智能应用程序。spring-doc.cadn.net.cn

最有效的方法通常涉及结合多种技术 - 例如,使用带有少量示例的系统提示,或将思维链与角色提示一起使用。Spring AI 灵活的 API 使这些组合易于实现。spring-doc.cadn.net.cn

对于生产应用程序,请记住:spring-doc.cadn.net.cn

  1. 具有不同参数(温度、top-k、top-p)的测试提示spring-doc.cadn.net.cn

  2. 考虑使用自洽性进行关键决策spring-doc.cadn.net.cn

  3. 利用 Spring AI 的实体映射实现类型安全响应spring-doc.cadn.net.cn

  4. 使用上下文提示提供特定于应用程序的知识spring-doc.cadn.net.cn

借助这些技术和 Spring AI 强大的抽象,您可以创建强大的人工智能应用程序,从而提供一致、高质量的结果。spring-doc.cadn.net.cn

引用

  1. 布朗,TB 等人(2020 年)。“语言模型是少样本学习器。” arXiv:2005.14165。spring-doc.cadn.net.cn

  2. Wei, J. 等人 (2022)。“思维链提示引发大型语言模型中的推理。”spring-doc.cadn.net.cn

  3. 王,X.等人(2022)。“自洽性改善了语言模型中的思维链推理。”spring-doc.cadn.net.cn

  4. Yao, S. 等人 (2023)。“思想之树:使用大型语言模型进行深思熟虑的问题解决。”spring-doc.cadn.net.cn

  5. 周,Y. 等人(2022)。“大型语言模型是人类级别的提示工程师。”spring-doc.cadn.net.cn

  6. 郑 Z. 等人 (2023)。“退后一步:在大型语言模型中通过抽象唤起推理。”spring-doc.cadn.net.cn

  7. 刘,P.,等人(2021)。“什么是 GPT-3 的良好上下文示例?” arXiv:2101.06804。spring-doc.cadn.net.cn

  8. Shanahan, M. 等人(2023)。“大型语言模型的角色扮演。” arXiv:2305.16367。spring-doc.cadn.net.cn

  9. 陈,M.,等人(2021)。“评估在代码上训练的大型语言模型。”spring-doc.cadn.net.cn

  10. Spring AI 文档spring-doc.cadn.net.cn

  11. ChatClient API 参考spring-doc.cadn.net.cn

  12. Google 的提示工程指南spring-doc.cadn.net.cn