本文旨在解决在使用Langchain和ChromaDB构建向量存储时，检索操作返回大量重复文档的问题。通过分析问题根源，本文提供两种解决方案：一是避免重复向ChromaDB数据库插入相同文档，二是利用EmbeddingsredundantFilter过滤掉相似的向量，确保检索结果的多样性。本文将通过代码示例和详细解释，帮助读者有效解决此问题，提升检索系统的准确性和实用性。
在使用Langchain和ChromaDB构建向量存储时，一个常见的问题是检索结果中出现大量重复的文档。这通常发生在每次运行程序时，都会将相同的数据重复插入到ChromaDB数据库中。以下将介绍两种解决此问题的方法。
解决方案一：避免重复插入文档
最直接的解决方案是避免每次运行程序时都重新创建向量存储。如果您使用的是相同的文件作为数据源，可以采取以下措施：
-
首次运行后注释掉插入代码： 在第一次运行程序，成功将文档插入ChromaDB后，可以将以下代码段注释掉，避免后续重复插入。
vectorstore = Chroma.from_documents(documents=all_splits, embedding=OpenAIEmbeddings())
-
持久化向量存储： 将向量存储持久化到磁盘，并在后续运行中加载已存在的向量存储。这样可以避免每次都从头开始构建向量存储。
# 首次创建并保存 persist_directory = "chroma_db" # 定义持久化存储的目录 vectorstore = Chroma.from_documents(documents=all_splits, embedding=OpenAIEmbeddings(), persist_directory=persist_directory) vectorstore.persist() # 后续加载已存在的向量存储 vectorstore = Chroma(persist_directory=persist_directory, embedding_function=OpenAIEmbeddings())
注意： persist_directory 变量指定了向量存储的保存路径。请确保在后续加载时使用相同的路径。
解决方案二：使用EmbeddingsRedundantFilter过滤重复文档
即使采取了避免重复插入的措施，由于文档内容的高度相似性，仍然可能出现重复的检索结果。这时，可以使用EmbeddingsRedundantFilter来过滤掉相似的向量。
EmbeddingsRedundantFilter通过比较文档的嵌入向量来判断文档是否冗余，并移除相似的文档。
以下是使用EmbeddingsRedundantFilter的代码示例：
import os from langchain.llms import OpenAI import bs4 import langchain from langchain import hub from langchain.document_loaders import UnstructuredFileLoader from langchain.embeddings import OpenAIEmbeddings from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.vectorstores import Chroma from langchain_community.document_transformers import EmbeddingsRedundantFilter from langchain.retrievers import ContextualCompressionRetriever from langchain.chains import RetrievalQA from langchain.llms import OpenAI from langchain.retrievers.document_compressors import EmbeddingsFilter os.environ["OPENAI_API_KEY"] = "KEY" loader = UnstructuredFileLoader( 'path_to_file' ) docs = loader.load() text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=200, add_start_index=True ) all_splits = text_splitter.split_documents(docs) vectorstore = Chroma.from_documents(documents=all_splits, embedding=OpenAIEmbeddings()) #vectorstore = Chroma(persist_directory=persist_directory, embedding_function=OpenAIEmbeddings()) # 创建冗余过滤器 redundant_filter = EmbeddingsRedundantFilter(embeddings=OpenAIEmbeddings()) # 创建压缩检索器 compression_retriever = ContextualCompressionRetriever( base_compressor=redundant_filter, base_retriever=vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 6}) ) # 获取相关文档 retrieved_docs = compression_retriever.get_relevant_documents( "What is X?" ) print(retrieved_docs)
代码解释：
- 导入必要的模块： 导入EmbeddingsRedundantFilter以及其他相关模块。
- 创建EmbeddingsRedundantFilter对象： 使用OpenAIEmbeddings创建一个EmbeddingsRedundantFilter对象。
- 创建ContextualCompressionRetriever对象： 使用EmbeddingsRedundantFilter作为压缩器，并使用vectorstore.as_retriever()创建基础检索器，构建ContextualCompressionRetriever。
- 使用get_relevant_documents方法： 使用compression_retriever.get_relevant_documents()方法检索相关文档。EmbeddingsRedundantFilter会在检索过程中过滤掉相似的文档。
注意事项：
- EmbeddingsRedundantFilter需要计算文档的嵌入向量，这会增加计算成本。
- EmbeddingsRedundantFilter的过滤效果取决于嵌入向量的质量和相似度阈值的设置。
总结
通过避免重复插入文档和使用EmbeddingsRedundantFilter，可以有效地解决Langchain/ChromaDB向量存储返回重复文档的问题。选择哪种解决方案取决于具体的应用场景和需求。如果数据源稳定，可以优先考虑避免重复插入；如果数据源存在大量相似文档，则可以使用EmbeddingsRedundantFilter进行过滤。结合这两种方法，可以构建更加准确和高效的检索系统。
