这部分将指导您设置`AzureVectorStore`以存储文档嵌入,并使用Azure AI搜索服务执行相似性搜索。
链接:[Azure AI Search](https://azure.microsoft.com/zh-cn/products/ai-services/ai-search/) 是一种多功能的云托管信息检索系统,它是微软更大的 AI 平台的一部分。除了其他功能,它允许用户使用基于向量的存储和检索来查询信息。
先决条件
-
Azure 订阅:您将需要一个链接:https://azure.microsoft.com/en-us/free/[Azure 订阅]来使用任何 Azure 服务。
-
Azure AI 搜索服务:创建一个链接:https://portal.azure.com/#create/Microsoft.Search[AI 搜索服务]。服务创建后,从`设置`下的`密钥`部分获取管理员 apiKey,并从`概览`部分下的`Url`字段检索终端点。
-
(可选)Azure OpenAI 服务:创建一个Azure链接:https://portal.azure.com/#create/Microsoft.AIServicesOpenAI[OpenAI服务]。注意:您可能需要填写另外一份表格以获得对Azure Open AI服务的访问权限。创建服务后,从`资源管理`下的`密钥和端点`部分获取端点和apiKey。
配置
在启动时,AzureVectorStore 将尝试在您的 AI 搜索服务实例中创建一个新索引。或者,您也可以手动创建索引。
要设置AzureVectorStore,您需要从上述先决条件中检索的设置以及您的索引名称:
-
Azure AI 搜索终结点
-
Azure AI 搜索密钥
-
(可选)Azure OpenAI API 终端地址
-
(可选的)Azure OpenAI API 密钥
你可以将这些值作为操作系统环境变量提供。
export AZURE_AI_SEARCH_API_KEY=<My AI Search API Key>
export AZURE_AI_SEARCH_ENDPOINT=<My AI Search Index>
export OPENAI_API_KEY=<My Azure AI API Key> (Optional)
Note
|
您可以用任何支持嵌入式接口的有效OpenAI实现来替换Azure Open AI实现。例如,您可以使用Spring AI的Open AI或`TransformersEmbedding`实现来进行嵌入,而不是使用Azure的实现。 |
依赖项
将这些依赖项添加到你的项目中:
1. 选择一个嵌入接口的实现。您可以选择:
-
OpenAI 嵌入:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
-
Azure AI 嵌入:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-azure-openai-spring-boot-starter</artifactId>
</dependency>
-
或本地句子转换器嵌入:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-transformers-spring-boot-starter</artifactId>
</dependency>
2. Azure (AI 搜索) 向量存储
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-azure-vector-store</artifactId>
</dependency>
Tip
|
参考依赖管理章节,以将Spring AI BOM添加到您的构建文件中。 |
样本代码
要在你的应用程序中配置一个Azure SearchIndexClient
,你可以使用以下代码:
@Bean
public SearchIndexClient searchIndexClient() {
return new SearchIndexClientBuilder().endpoint(System.getenv("AZURE_AI_SEARCH_ENDPOINT"))
.credential(new AzureKeyCredential(System.getenv("AZURE_AI_SEARCH_API_KEY")))
.buildClient();
}
要创建一个向量存储,您可以使用上面示例中创建的`SearchIndexClient` bean,以及由Spring AI库提供的实现所需嵌入接口的`EmbeddingClient`,通过以下代码进行注入。
@Bean
public VectorStore vectorStore(SearchIndexClient searchIndexClient, EmbeddingClient embeddingClient) {
return new AzureVectorStore(searchIndexClient, embeddingClient,
// Define the metadata fields to be used
// in the similarity search filters.
List.of(MetadataField.text("country"),
MetadataField.int64("year"),
MetadataField.bool("active")));
}
Note
|
你必须明确列出在过滤表达式中使用的任何元数据键的所有元数据字段名称和类型。上面的列表注册了可过滤的元数据字段:类型为`TEXT`的`country`,类型为`INT64`的`year`,以及类型为`BOOLEAN`的`active`。 如果可筛选的元数据字段增加了新的条目,你必须重新上传/更新带有此元数据的文档。 |
在你的主要代码中,创建一些文档:
List<Document> documents = List.of(
new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("country", "BG", "year", 2020)),
new Document("The World is Big and Salvation Lurks Around the Corner"),
new Document("You walk forward facing the past and you turn back toward the future.", Map.of("country", "NL", "year", 2023)));
将文档添加到你的向量存储中:
vectorStore.add(List.of(document));
最后,检索与查询相似的文档:
List<Document> results = vectorStore.similaritySearch(
SearchRequest
.query("Spring")
.withTopK(5));
如果一切顺利,你应该会检索到包含文本“Spring AI rocks!!”的文档。
元数据过滤
你也可以利用通用的、可移植的链接:https://docs.spring.io/spring-ai/reference/api/vectordbs.html#_metadata_filters [元数据过滤器] 与 AzureVectorStore 一起使用。
例如,你可以使用文本表达式语言:
vectorStore.similaritySearch(
SearchRequest
.query("The World")
.withTopK(TOP_K)
.withSimilarityThreshold(SIMILARITY_THRESHOLD)
.withFilterExpression("country in ['UK', 'NL'] && year >= 2020"));
或者通过使用表达式DSL来编程地实现:
FilterExpressionBuilder b = new FilterExpressionBuilder();
vectorStore.similaritySearch(
SearchRequest
.query("The World")
.withTopK(TOP_K)
.withSimilarityThreshold(SIMILARITY_THRESHOLD)
.withFilterExpression(b.and(
b.in("country", "UK", "NL"),
b.gte("year", 2020)).build()));
便携式过滤表达式会自动转换为专有的Azure Search OData过滤器。例如,以下便携式过滤表达式:
country in ['UK', 'NL'] && year >= 2020
被转换成以下的Azure OData链接:https://learn.microsoft.com/en-us/azure/search/search-query-odata-filter[过滤表达式]:
$filter search.in(meta_country, 'UK,NL', ',') and meta_year ge 2020