Ollama 嵌入
这OllamaEmbeddingModel实现利用 Ollama Embeddings API 端点。
前提条件
首先需要访问 Ollama 实例。有几个选项，包括以下内容：
-
在本地计算机上下载并安装 Ollama。
-
通过 Kubernetes 服务绑定绑定到 Ollama 实例。
您可以从 Ollama 模型库中提取要在应用程序中使用的模型：
ollama pull <model-name>您还可以拉动数千个免费的 GGUF Hugging Face 模型中的任何一个：
ollama pull hf.co/<username>/<model-repository>或者，您可以启用自动下载任何所需模型的选项：自动拉取模型。
自动配置
|
Spring AI 自动配置、入门模块的工件名称发生了重大变化。有关更多信息，请参阅升级说明。 |
Spring AI 为 Azure Ollama 嵌入模型提供 Spring Boot 自动配置。
要启用它，请将以下依赖项添加到您的 Mavenpom.xml或 Gradlebuild.gradle构建文件：
-
Maven
-
Gradle
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-ollama</artifactId>
</dependency>dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-ollama'
}| 请参阅依赖项管理部分，将 Spring AI BOM 添加到构建文件中。 Spring AI 工件发布在 Maven Central 和 Spring Snapshot 存储库中。 请参阅存储库部分，将这些存储库添加到构建系统中。 |
基本属性
前缀spring.ai.ollama是配置与 Ollama 的连接的属性前缀
属性 |
描述 |
默认值 |
spring.ai.ollama.base-url |
运行 Ollama API 服务器的基本 URL。 |
以下是用于初始化 Ollama 集成和自动拉取模型的属性。
属性 |
描述 |
默认值 |
spring.ai.ollama.init.pull-model-strategy |
是否在启动时拉取模型以及如何拉取模型。 |
|
spring.ai.ollama.init.timeout |
等待模型被拉动需要多长时间。 |
|
spring.ai.ollama.init.max重试 |
模型拉取作的最大重试次数。 |
|
spring.ai.ollama.init.embedding.include |
在初始化任务中包括此类模型。 |
|
spring.ai.ollama.init.embedding.additional-models |
除了通过默认属性配置的模型之外，还要初始化的其他模型。 |
|
嵌入属性
|
现在，通过前缀 要启用，spring.ai.model.embedding=ollama（默认启用） 要禁用，spring.ai.model.embedding=none（或任何与ollama不匹配的值） 进行此更改是为了允许配置多个模型。 |
前缀spring.ai.ollama.embedding.options是配置 Ollama 嵌入模型的属性前缀。
它包括 Ollama 请求（高级）参数，例如model,keep-alive和truncate以及 Ollama 模型options性能。
以下是 Ollama 嵌入模型的高级请求参数：
属性 |
描述 |
默认值 |
spring.ai.ollama.embedding.enabled（已删除且不再有效） |
启用 Ollama 嵌入模型自动配置。 |
true |
spring.ai.model.embedding |
启用 Ollama 嵌入模型自动配置。 |
mxbai-嵌入-大 |
spring.ai.ollama.embedding.options.model |
米斯特拉尔 |
|
spring.ai.ollama.embedding.options.keep_alive |
控制模型在请求后加载到内存中的时间 |
5 分钟 |
spring.ai.ollama.embedding.options.truncate |
截断每个输入的末尾以适合上下文长度。如果 false 且超出上下文长度，则返回错误。 |
true |
剩余的options属性基于 Ollama 有效参数和值以及 Ollama 类型。默认值基于：Ollama 类型默认值。
属性 |
描述 |
默认值 |
spring.ai.ollama.embedding.options.numa |
是否使用 NUMA。 |
false |
spring.ai.ollama.embedding.options.num-ctx |
设置用于生成下一个Tokens的上下文窗口的大小。 |
2048 |
spring.ai.ollama.embedding.options.num-batch |
提示处理最大批量大小。 |
512 |
spring.ai.ollama.embedding.options.num-gpu 的 |
要发送到 GPU 的层数。在 macOS 上，默认为 1 表示启用金属支持，默认为 0 表示禁用。这里的 1 表示 NumGPU 应该动态设置 |
-1 |
spring.ai.ollama.embedding.options.main-gpu |
当使用多个 GPU 时，此选项控制哪个 GPU 用于小张量，对于这些张量，在所有 GPU 之间拆分计算的开销是不值得的。有问题的 GPU 将使用稍微多一点的 VRAM 来存储临时结果的暂存缓冲区。 |
0 |
spring.ai.ollama.embedding.options.low-vram |
- |
false |
spring.ai.ollama.embedding.options.f16-kv |
- |
true |
spring.ai.ollama.embedding.options.logits-all |
返回所有标记的日志，而不仅仅是最后一个标记。要使补全能够返回 logprobs，这必须为 true。 |
- |
spring.ai.ollama.embedding.options.vocab |
仅加载词汇，不加载权重。 |
- |
spring.ai.ollama.embedding.options.use-mmap |
默认情况下，模型映射到内存中，这允许系统根据需要仅加载模型的必要部分。但是，如果模型大于您的 RAM 总量，或者您的系统可用内存不足，则使用 mmap 可能会增加分页的风险，从而对性能产生负面影响。禁用 mmap 会导致加载时间变慢，但如果您不使用 mlock，可能会减少分页次数。请注意，如果模型大于 RAM 总量，则关闭 mmap 将阻止模型加载。 |
零 |
spring.ai.ollama.embedding.options.use-mlock |
将模型锁定在内存中，防止在内存映射时将其换出。这可以提高性能，但会因为需要更多 RAM 来运行，并且在模型加载到 RAM 时可能会减慢加载时间，从而牺牲了内存映射的一些优势。 |
false |
spring.ai.ollama.embedding.options.num-thread |
设置计算期间要使用的线程数。默认情况下，Ollama 将检测到这一点以获得最佳性能。建议将此值设置为系统具有的物理 CPU 内核数（而不是逻辑内核数）。0 = 让运行时决定 |
0 |
spring.ai.ollama.embedding.options.num-keep |
- |
4 |
spring.ai.ollama.embedding.options.seed |
设置要用于生成的随机数种子。将其设置为特定数字将使模型为同一提示生成相同的文本。 |
-1 |
spring.ai.ollama.embedding.options.num-预测 |
生成文本时要预测的最大标记数。（-1 = 无限生成，-2 = 填充上下文） |
-1 |
spring.ai.ollama.embedding.options.top-k |
降低产生废话的概率。较高的值（例如，100）将给出更多样化的答案，而较低的值（例如，10）将更保守。 |
40 |
spring.ai.ollama.embedding.options.top-p |
与 top-k 一起使用。较高的值（例如，0.95）将导致文本更加多样化，而较低的值（例如，0.5）将生成更集中和保守的文本。 |
0.9 |
spring.ai.ollama.embedding.options.min-p |
top_p的替代品，旨在确保质量和多样性的平衡。参数 p 表示相对于最可能Tokens的概率，考虑Tokens的最小概率。例如，如果 p=0.05 且最可能的标记的概率为 0.9，则将过滤掉值小于 0.045 的 logit。 |
0.0 |
spring.ai.ollama.embedding.options.tfs-z |
无尾采样用于减少输出中不太可能的标记的影响。较高的值（例如，2.0）将进一步减少影响，而值为 1.0 将禁用此设置。 |
1.0 |
spring.ai.ollama.embedding.options.typical-p |
- |
1.0 |
spring.ai.ollama.embedding.options.repeat-last-n |
设置模型向后查看以防止重复的距离。（默认值：64,0 = 禁用，-1 = num_ctx） |
64 |
spring.ai.ollama.embedding.options.温度 |
模型的温度。提高温度将使模型回答更具创造性。 |
0.8 |
spring.ai.ollama.embedding.options.repeat-penalty |
设置惩罚重复的强度。较高的值（例如，1.5）将更强烈地惩罚重复，而较低的值（例如，0.9）将更宽松。 |
1.1 |
spring.ai.ollama.embedding.options.presence-penalty |
- |
0.0 |
spring.ai.ollama.embedding.options.频率惩罚 |
- |
0.0 |
spring.ai.ollama.embedding.options.mirostat |
启用 Mirostat 采样以控制困惑度。（默认值：0,0 = 禁用，1 = Mirostat，2 = Mirostat 2.0） |
0 |
spring.ai.ollama.embedding.options.mirostat-tau |
控制输出的一致性和多样性之间的平衡。较低的值将导致文本更加集中和连贯。 |
5.0 |
spring.ai.ollama.embedding.options.mirostat-eta |
影响算法响应生成文本反馈的速度。较低的学习率将导致调整速度较慢，而较高的学习率将使算法响应速度更快。 |
0.1 |
spring.ai.ollama.embedding.options.penalize-newline |
- |
true |
spring.ai.ollama.embedding.options.stop |
设置要使用的停止序列。当遇到此模式时，LLM 将停止生成文本并返回。可以通过在模型文件中指定多个单独的停止参数来设置多个停止模式。 |
- |
spring.ai.ollama.embedding.options.functions |
函数列表，由其名称标识，以便在单个提示请求中启用函数调用。具有这些名称的函数必须存在于 functionCallbacks 注册表中。 |
- |
所有以spring.ai.ollama.embedding.options可以通过将特定于请求的运行时选项添加到EmbeddingRequest叫。 |
运行时选项
OllamaOptions.java提供了 Ollama 配置，例如要使用的型号、低级 GPU 和 CPU 调优等。
可以使用spring.ai.ollama.embedding.options属性也是如此。
在开始时使用OllamaEmbeddingModel(OllamaApi ollamaApi, OllamaOptions defaultOptions)以配置用于所有嵌入请求的默认选项。
在运行时，您可以使用OllamaOptions实例作为EmbeddingRequest.
例如，要覆盖特定请求的默认模型名称：
EmbeddingResponse embeddingResponse = embeddingModel.call(
new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
OllamaOptions.builder()
.model("Different-Embedding-Model-Deployment-Name"))
.truncates(false)
.build());自动拉动模型
Spring AI Ollama 可以在 Ollama 实例中不可用时自动拉取模型。 此功能对于开发和测试以及将应用程序部署到新环境特别有用。
| 您还可以按名称提取数千个免费的 GGUF Hugging Face 模型中的任何一个。 |
拉动模型有三种策略：
-
always（定义在PullModelStrategy.ALWAYS）：始终拉取模型，即使它已经可用。有助于确保您使用的是最新版本的模型。 -
when_missing（定义在PullModelStrategy.WHEN_MISSING）：仅在模型尚不可用时拉取模型。这可能会导致使用旧版本的模型。 -
never（定义在PullModelStrategy.NEVER）：切勿自动拉动模型。
| 由于下载模型时可能会出现延迟，因此不建议在生产环境中自动拉取。相反，请考虑提前评估和预下载必要的模型。 |
通过配置属性和默认选项定义的所有模型都可以在启动时自动拉取。您可以使用配置属性配置拉取策略、超时和最大重试次数：
spring:
ai:
ollama:
init:
pull-model-strategy: always
timeout: 60s
max-retries: 1| 在 Ollama 中所有指定型号都可用之前，应用程序不会完成初始化。根据模型大小和互联网连接速度，这可能会显着减慢应用程序的启动时间。 |
您可以在启动时初始化其他模型，这对于在运行时动态使用的模型很有用：
spring:
ai:
ollama:
init:
pull-model-strategy: always
embedding:
additional-models:
- mxbai-embed-large
- nomic-embed-text如果只想将拉取策略应用于特定类型的模型，可以从初始化任务中排除嵌入模型：
spring:
ai:
ollama:
init:
pull-model-strategy: always
embedding:
include: false此配置会将拉取策略应用于除嵌入模型之外的所有模型。
HuggingFace 模型
Ollama 开箱即用，可以访问所有 GGUF Hugging Face Embedding 模型。
您可以按名称提取以下任何模型：ollama pull hf.co/<username>/<model-repository>或配置自动拉取策略：自动拉取模型：
spring.ai.ollama.embedding.options.model=hf.co/mixedbread-ai/mxbai-embed-large-v1
spring.ai.ollama.init.pull-model-strategy=always-
spring.ai.ollama.embedding.options.model：指定要使用的拥抱面 GGUF 模型。 -
spring.ai.ollama.init.pull-model-strategy=always：（可选）在启动时启用自动拉取模型。 对于生产，您应该预先下载模型以避免延迟：ollama pull hf.co/mixedbread-ai/mxbai-embed-large-v1.
Samples控制器
这将创建一个EmbeddingModel您可以注入到类中的实现。这是一个简单的示例@Controller使用EmbeddingModel实现。
@RestController
public class EmbeddingController {
private final EmbeddingModel embeddingModel;
@Autowired
public EmbeddingController(EmbeddingModel embeddingModel) {
this.embeddingModel = embeddingModel;
}
@GetMapping("/ai/embedding")
public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));
return Map.of("embedding", embeddingResponse);
}
}手动配置
如果您没有使用 Spring Boot，您可以手动配置OllamaEmbeddingModel.
为此，将 spring-ai-ollama 依赖项添加到项目的 Maven pom.xml 或 Gradlebuild.gradle构建文件：
-
Maven
-
Gradle
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama</artifactId>
</dependency>dependencies {
implementation 'org.springframework.ai:spring-ai-ollama'
}| 请参阅依赖项管理部分，将 Spring AI BOM 添加到构建文件中。 |
这spring-ai-ollama依赖项还提供了对OllamaChatModel.
有关OllamaChatModel请参阅 Ollama 聊天客户端部分。 |
接下来，创建一个OllamaEmbeddingModel实例，并使用它使用专用的chroma/all-minilm-l6-v2-f32嵌入模型：
var ollamaApi = OllamaApi.builder().build();
var embeddingModel = new OllamaEmbeddingModel(this.ollamaApi,
OllamaOptions.builder()
.model(OllamaModel.MISTRAL.id())
.build());
EmbeddingResponse embeddingResponse = this.embeddingModel.call(
new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
OllamaOptions.builder()
.model("chroma/all-minilm-l6-v2-f32"))
.truncate(false)
.build());这OllamaOptions提供所有嵌入请求的配置信息。