本文旨在探讨在使用LangChain结合FaiSS向量库与BGE嵌入模型时，精确匹配查询可能无法获得理论上最高相似度得分（如余弦相似度下的1.0）的原因。文章将深入分析faiss内部的距离计算机制，对比不同嵌入模型（如BGE与OpenAI）在相似度评分上的表现差异，并提供详细的代码示例和调试策略，帮助读者理解并优化向量相似度搜索结果，确保在实际应用中获得更准确和可预测的匹配效果。
引言：理解向量相似度评分的含义
在使用向量数据库进行相似度搜索时，我们通常期望查询与库中完全相同的文本能得到最高的相似度分数。然而，实际操作中，即使查询字符串与向量库中的文档内容完全一致，相似度分数也可能未达到理论上的最大值（例如，余弦相似度中的1.0）。这引发了一个常见疑问：为什么会出现这种“不完美”的匹配分数？
这背后的原因复杂多样，涉及嵌入模型的特性、向量数据库的距离计算方式以及langchain框架的封装逻辑。理解这些核心概念对于优化搜索结果至关重要。
LangChain与FAISS中的相似度计算机制
LangChain的similarity_search_with_score()方法在与FAISS等向量库交互时，会根据底层向量库的配置和嵌入模型的特性来返回相似度分数。关键在于理解FAISS可能使用的距离度量以及这些度量如何转换为最终的“相似度得分”。
FAISS支持多种距离度量，其中最常见的是：
- 欧氏距离 (L2 Distance)：衡量两点在多维空间中的直线距离。距离越小表示越相似，0表示完全相同。
- 余弦相似度 (cosine Similarity)：衡量两个向量方向的相似性。值域通常在-1到1之间，1表示方向完全相同（最相似），-1表示方向完全相反，0表示正交（不相关）。
当使用HuggingFaceBgeEmbeddings并设置encode_kwargs={‘normalize_embeddings’: True}时，这明确指示模型输出归一化的嵌入向量。归一化后的向量，其点积（dot product）即为余弦相似度。因此，在这种配置下，similarity_search_with_score()返回的得分通常代表余弦相似度，理论上，完全相同的文本应该得到1.0的余弦相似度。
然而，用户观察到对于精确匹配的查询’无纸化发送失败?’，返回的得分却是0.9069208，而非预期的1.0。这暗示了以下几种可能性：
分析BGE模型与精确匹配的得分差异
为什么BGE模型在精确匹配时未能达到1.0的余弦相似度？这可能由以下因素导致：
- 嵌入模型的内在特性：
- 非确定性或微小差异：即使是相同的输入文本，大型预训练模型在生成嵌入时，由于内部的随机性（例如Dropout层）、浮点数精度限制或计算图的细微差异，可能无法保证每次都生成完全相同的嵌入向量。这些微小的差异可能导致余弦相似度略低于1.0。
- 训练目标：模型的训练目标是使语义相似的文本向量接近，而不是强制完全相同的文本产生数学上完全相同的向量。对于大多数下游任务，0.9的余弦相似度已经是非常高的匹配度，可以视为语义上的“完全匹配”。
- 浮点数精度问题：在向量计算和存储过程中，浮点数的精度限制可能导致微小的误差累积，从而影响最终的相似度计算结果。
- FAISS内部处理：FAISS在构建索引和执行查询时，可能会进行一些内部优化或近似计算，这在极少数情况下也可能导致微小的精度损失。
为了验证是否是BGE模型本身的问题，可以尝试直接计算相同字符串的嵌入向量的余弦相似度：
from transformers import AutoModel, AutoTokenizer from sklearn.metrics.pairwise import cosine_similarity import torch model_name = "BAAI/bge-large-zh-v1.5" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name) model.eval() # Set model to evaluation mode def get_bge_embedding(text): inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True) with torch.no_grad(): outputs = model(**inputs) # Get the last hidden state and apply pooling (BGE uses CLS token embedding) embeddings = outputs.last_hidden_state[:, 0] # Normalize embeddings embeddings = torch.nn.functional.normalize(embeddings, p=2, dim=1) return embeddings.cpu().numpy() query_text = '无纸化发送失败?' embedding1 = get_bge_embedding(query_text) embedding2 = get_bge_embedding(query_text) # Embed the exact same text again # Calculate cosine similarity directly direct_similarity = cosine_similarity(embedding1, embedding2)[0][0] print(f"Direct cosine similarity for identical texts: {direct_similarity}")
如果上述代码输出的direct_similarity接近1.0（例如0.9999999），那么问题可能更多在于LangChain/FAISS的集成或浮点数误差。如果它也略低于1.0，则说明这是BGE模型本身的特性。
对比不同嵌入模型的效果
不同的嵌入模型和LangChain的集成方式可能导致相似度得分的含义和表现有所不同。例如，OpenAI的嵌入模型在LangChain中通常表现出不同的得分特性。
考虑以下使用OpenAI嵌入模型和FAISS的例子：
from langchain.document_loaders import TextLoader from langchain.embeddings.openai import OpenAIEmbeddings from langchain.text_splitter import CharacterTextSplitter from langchain.vectorstores import FAISS import os # 假设您已设置OPENAI_API_KEY环境变量 # 或者直接传入 model_name, openai_api_key 等参数 # embeddings = OpenAIEmbeddings(model_name="text-embedding-ada-002", openai_api_key="YOUR_API_KEY") embeddings = OpenAIEmbeddings() # 默认使用 text-embedding-ada-002 # 创建一个临时文本文件 with open("./text.txt", "w", encoding="utf-8") as f: f.write("无纸化发送失败?n") f.write("凭证打包失败?n") f.write("edi发送不了?n") loader = TextLoader("./text.txt", encoding="utf-8") documents = loader.load() # 注意：这里直接从文档创建FAISS，而不是加载本地文件 # 这样可以确保嵌入过程是在当前环境下进行的 db = FAISS.from_documents(documents, embeddings) query = '无纸化发送失败?' res = db.similarity_search_with_score(query, k=3) print("OpenAI Embeddings Results (L2 Distance, lower is better):") print(res) query2 = '纸化发送失败?' # 略有差异的查询 res2 = db.similarity_search_with_score(query2, k=3) print("OpenAI Embeddings Results for slightly different query:") print(res2)
示例输出（OpenAI）：
OpenAI Embeddings Results (L2 Distance, lower is better): [(Document(page_content='无纸化发送失败?', metadata={'source': './text.txt'}), 0.0)] OpenAI Embeddings Results for slightly different query: [(Document(page_content='无纸化发送失败?', metadata={'source': './text.txt'}), 0.08518691)]
从OpenAI的输出可以看出，对于精确匹配的查询，其得分是0.0。这表明OpenAIEmbeddings（或其在LangChain中的集成）可能默认使用欧氏距离（L2距离），并且对于完全相同的输入，它能够产生完全相同的嵌入向量，从而导致L2距离为0。
核心区别总结：
- BGE + normalize_embeddings=True: 返回的得分是余弦相似度，值域接近0-1，1为最相似。即使精确匹配也可能因为模型特性和浮点精度略低于1.0。
- OpenAIEmbeddings: 在LangChain中可能默认使用欧氏距离（L2），值域0到正无穷，0为最相似。精确匹配通常能得到0.0。
因此，用户遇到的0.9分数对于余弦相似度而言，已经是非常高的相似度，可以认为是“几乎完美匹配”。问题不在于分数“低”，而在于它没有达到理论上的1.0。
注意事项与最佳实践
-
理解相似度分数的含义：
- 对于余弦相似度，分数越接近1.0越好，1.0是完美匹配。
- 对于欧氏距离 (L2)，分数越接近0.0越好，0.0是完美匹配。
- 始终确认你的模型和向量库使用的是哪种距离度量，以及similarity_search_with_score返回的数值代表什么。
-
数据预处理一致性：确保在构建向量索引时和执行查询时，文本的预处理（如大小写转换、标点符号处理、分词等）保持一致。任何不一致都可能导致嵌入向量的差异。
-
模型选择与调优：
- 如果对精确匹配的“完美1.0”或“完美0.0”有严格要求，可能需要尝试不同的嵌入模型。某些模型在处理完全相同输入时可能表现出更高的确定性。
- 对于大多数语义搜索场景，0.9以上的余弦相似度通常已经足够表明高度相关性。
-
调试策略：
- 当遇到意外的相似度分数时，首先通过独立的代码片段（如上文所示）验证嵌入模型本身对相同输入是否产生完全相同的嵌入向量。
- 检查LangChain和FAISS的版本，确保没有已知的bug或不兼容性。
总结
LangChain结合FAISS与BGE嵌入模型进行相似度搜索时，精确匹配的查询得到0.9左右的余弦相似度分数是正常现象。这通常不是一个“问题”，而是嵌入模型特性、浮点精度以及距离计算方式共同作用的结果。重要的是理解这个分数的含义：对于余弦相似度，0.9已经代表了极高的相似性。如果追求0.0（L2距离）或1.0（余弦相似度）的“完美”分数，需要深入理解所选嵌入模型和向量库的内部机制，并可能需要尝试不同的模型或调整配置。在实际应用中，关注模型的整体性能和召回率，而不是过于纠结于精确匹配的微小分数差异，通常更为重要。
