使用Langchain与Redis构建高效文本嵌入向量数据库教程

本教程详细阐述了如何利用Langchain框架，结合redis向量数据库，实现自定义文本数据的加载、分割、嵌入生成及高效存储与检索。我们将通过实际代码示例，指导读者从本地文件读取文本，将其转化为向量嵌入，并持久化到redis中，最终执行语义相似度搜索，为构建智能问答、推荐系统等应用奠定基础。

引言：Langchain与Redis在向量检索中的应用

在人工智能和自然语言处理领域，将非结构化文本数据转化为数值向量（即嵌入，embeddings）并进行高效存储与检索已成为核心需求。向量数据库应运而生，它能够存储高维向量，并支持基于相似度的快速检索。redis，作为一款高性能的内存数据库，结合其redisearch模块，可以作为强大的向量数据库使用。langchain作为一个大型语言模型（llm）应用开发框架，则提供了便捷的工具链，简化了文本处理、嵌入生成以及与各类向量数据库的交互过程。本教程将聚焦于如何利用langchain，将自定义文本文件处理后存储到redis向量数据库中，并进行后续的相似度搜索。

准备工作：环境配置

在开始之前，请确保您已安装必要的python库，并运行着一个Redis服务器实例。

1. 安装Python库:

   pip install langchain redis openai tiktoken
   • langchain: Langchain框架的核心库。
   • redis: Python Redis客户端，用于连接Redis服务器。
   • openai: 如果使用OpenAI的嵌入模型，需要安装此库。
   • tiktoken: OpenAI模型所需的分词器。
2. 运行Redis服务器: 确保您的本地或远程Redis服务器正在运行，并且启用了RediSearch模块。RediSearch是Redis支持向量索引和查询的关键组件。

数据加载与文本分割

在将文本转化为嵌入之前，通常需要从文件加载文本，并将其分割成适合处理的较小块。这有助于提高嵌入的质量，并更好地管理上下文。

1. 加载文本文件

Langchain的TextLoader可以方便地从本地文件加载文本内容。

from langchain.document_loaders import TextLoader  # 假设您有一个名为 'union.txt' 的文本文件 # 请根据您的实际文件路径和编码进行调整 loader = TextLoader("union.txt", encoding="utf-8") documents = loader.load()  print(f"已加载 {len(documents)} 个文档（文件）。") # 每个文档对象通常包含 page_content（文本内容）和 metadata（元数据） # print(documents[0].page_content[:200]) # 打印前200个字符预览

2. 分割文本

对于大型文档，直接生成嵌入可能会导致信息丢失或超出模型输入限制。CharacterTextSplitter等文本分割器可以将长文本分割成更小的、有意义的块。

from langchain.text_splitter import CharacterTextSplitter  # 初始化文本分割器 # chunk_size: 每个文本块的最大字符数 # chunk_overlap: 相邻文本块之间的重叠字符数，有助于保留上下文 text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)  # 分割加载的文档 docs = text_splitter.split_documents(documents)  print(f"原始文档分割后生成了 {len(docs)} 个文本块。") # print(docs[0].page_content[:200]) # 打印分割后第一个文本块的预览

注意事项:

• chunk_size和chunk_overlap的选择取决于您的具体应用场景和嵌入模型的上下文窗口大小。
• CharacterTextSplitter是基于字符进行分割，Langchain还提供了其他分割器，如RecursiveCharacterTextSplitter，它会尝试保留更有意义的结构（如段落、句子）。

生成文本嵌入 (Embeddings)

将文本分割成块后，下一步是使用嵌入模型将这些文本块转换为高维向量。

from langchain.embeddings import OpenAIEmbeddings # from langchain.embeddings.sentence_transformer import SentenceTransformerEmbeddings # 也可以选择本地模型  # 初始化嵌入模型 # 如果使用OpenAIEmbeddings，请确保您的OPENAI_API_KEY环境变量已配置 # 或者通过 os.environ["OPENAI_API_KEY"] = "your_api_key" 设置 embeddings = OpenAIEmbeddings()  # 如果您希望使用本地模型，可以尝试 SentenceTransformerEmbeddings # embeddings = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")

选择嵌入模型:

• OpenAIEmbeddings: 易于使用，效果通常很好，但需要API密钥并产生费用。
• SentenceTransformerEmbeddings: 可以在本地运行，无需外部API，适合对数据隐私有要求或需要离线部署的场景，但需要下载模型文件。

将文档与嵌入存储到Redis

一旦文本块和嵌入模型准备就绪，就可以将它们存储到Redis向量数据库中。Langchain的Redis向量存储类提供了便捷的接口。

from langchain.vectorstores import Redis  # 将文档和嵌入存储到Redis # docs: 经过分割的文档列表 # embeddings: 初始化的嵌入模型实例 # redis_url: Redis服务器的连接地址，格式为 "redis://<host>:<port>" # index_name: 在Redis中创建的向量索引名称，用于区分不同的数据集 vectorstore = Redis.from_documents(     docs,     embeddings,     redis_url="redis://localhost:6379",     index_name="my_custom_text_index", # 建议使用有意义的索引名称 )  print(f"文档和嵌入已成功存储到Redis索引 '{vectorstore.index_name}' 中。")

关键参数:

• docs: 包含文本内容和元数据的Document对象列表。
• embeddings: 用于生成和查询嵌入的嵌入模型实例。
• redis_url: Redis服务器的连接字符串。
• index_name: 这是一个非常重要的参数，它定义了在Redis中存储这些向量和元数据的索引名称。不同的数据集应该使用不同的索引名称。

执行相似度搜索

数据存储完成后，您可以根据查询文本执行语义相似度搜索，检索出最相关的文档块。

# 初始化一个Redis向量存储实例以进行查询（如果之前未保留实例） # vectorstore = Redis( #     embedding_function=embeddings.embed_query, # 查询时也需要嵌入函数 #     redis_url="redis://localhost:6379", #     index_name="my_custom_text_index" # )  # 定义查询文本 query = "乌克兰人民怎么样了？" # 示例查询，与union.txt内容相关  # 1. 执行相似度搜索 (只返回文档内容) results = vectorstore.similarity_search(query) print("n--- 相似度搜索结果 (仅内容) ---") for i, doc in enumerate(results):     print(f"结果 {i+1}:n{doc.page_content}n---")  # 2. 执行带分数的相似度搜索 (返回文档内容和相似度分数) # 分数通常表示距离，值越小表示越相似（例如，余弦距离） results_with_score = vectorstore.similarity_search_with_score(query) print("n--- 相似度搜索结果 (带分数) ---") for i, (doc, score) in enumerate(results_with_score):     print(f"结果 {i+1}:")     print(f"内容: {doc.page_content}")     print(f"分数: {score}n---")

搜索方法:

• similarity_search(query): 返回与查询最相似的Document对象列表。
• similarity_search_with_score(query): 返回一个元组列表，每个元组包含一个Document对象和对应的相似度分数。分数越小通常代表相似度越高（取决于所使用的距离度量，如余弦距离）。

注意事项与进阶考量

1. 索引命名 (index_name): 为不同的数据集或应用场景选择有意义且唯一的index_name至关重要。这有助于管理和区分Redis中的向量数据。
2. Redis连接 (redis_url): 确保redis_url正确指向您的Redis服务器，并且该服务器已启动并启用了RediSearch模块。如果Redis需要密码认证，可以在URL中包含密码，例如redis://:password@localhost:6379。
3. 嵌入模型的选择: 根据您的预算、性能需求、隐私要求以及是否需要离线部署来选择合适的嵌入模型。OpenAI模型通常性能优异，但有api调用限制和成本；Sentence Transformers等本地模型则更灵活。
4. 关于嵌入数据的TTL (Time-to-Live): 原始问题中提到了TTL。Langchain的Redis向量存储在通过from_documents方法存储数据时，没有直接提供设置单个嵌入数据TTL的参数。Redis本身支持对键设置TTL（EXPIRE命令），但Langchain的抽象层并未直接暴露此功能给向量存储的文档。如果您的应用需要对存储的嵌入数据设置过期时间，您可能需要：
   • 在Langchain存储数据后，通过底层的redis-py客户端手动对Redis中存储文档的哈希键（通常是doc::格式）设置TTL。
   • 在数据摄取管道中，自行管理数据的生命周期，例如定期清理旧数据或重新索引。
   • 考虑使用支持原生TTL的向量数据库，或通过更高级的Langchain集成（如使用自定义的add_documents实现）来管理。 对于大多数教程场景，数据通常被视为持久化存储，除非手动删除。

总结

本教程详细介绍了如何利用Langchain框架，结合Redis向量数据库，构建一个端到端的文本嵌入存储与检索系统。从加载本地文本文件，到进行有效的文本分割，再到生成高质量的文本嵌入，并最终将这些数据高效地存储到Redis中并执行相似度搜索，整个流程清晰明了。掌握这些技能，将使您能够为各种智能应用（如语义搜索、问答系统、内容推荐等）构建强大的向量检索能力。记住，根据您的具体需求，可以灵活调整文本分割策略、嵌入模型选择以及Redis的部署方式。