Skip to content

RAG 检索增强生成 ​

Retrieval-Augmented Generation — 让Agent拥有精准的领域知识


📋 什么是 RAG? ​

RAG(Retrieval-Augmented Generation) 是一种将信息检索与生成式AI相结合的技术,它让大型语言模型能够访问外部知识库并基于检索到的信息生成答案,而不是仅依赖模型内部的训练数据。

核心价值:

  • ✅ 知识时效性:突破LLM训练数据截止日期的限制
  • ✅ 领域专业性:提供精准的行业知识和企业内部文档
  • ✅ 减少幻觉:基于事实回答,降低虚构内容的风险
  • ✅ 可追溯性:每个回答都可以追溯到来源文档

🏗️ RAG 架构设计 ​

标准 RAG 流程 ​

┌─────────────────┐     ┌─────────────────┐     ┌─────────────────┐
│   文档加载      │ →   │   文档处理      │ →   │   向量化存储    │
│  Document      │     │  Processing     │     │  Vector Store   │
│  Loading       │     │                 │     │                 │
└─────────────────┘     └─────────────────┘     └────────┬────────┘
                                                         │
┌─────────────────┐     ┌─────────────────┐     ┌────────▼────────┐
│   最终回答      │ ←   │   答案生成      │ ←   │   相似度检索    │
│  Final Answer   │     │  Generation     │     │  Retrieval      │
└─────────────────┘     └─────────────────┘     └─────────────────┘

架构分层 ​

层级组件职责
输入层文档加载器、数据连接器从各种数据源加载文档
处理层文本分割器、嵌入模型将文档转换为向量表示
存储层向量数据库存储和索引向量数据
检索层查询编码器、相似度搜索根据用户查询检索相关文档
生成层LLM、提示词模板基于检索结果生成答案

🔧 核心组件 ​

1. 文档加载器 ​

支持多种数据源:

python
from langchain.document_loaders import (
    TextLoader,
    CSVLoader,
    PDFLoader,
    WebBaseLoader,
    DirectoryLoader
)

# 加载本地文件
loader = TextLoader("docs/knowledge.txt")
documents = loader.load()

# 加载网页内容
loader = WebBaseLoader("https://example.com/docs")
documents = loader.load()

# 加载整个目录
loader = DirectoryLoader("docs/", glob="**/*.md")
documents = loader.load()

2. 文本分割器 ​

python
from langchain.text_splitter import (
    RecursiveCharacterTextSplitter,
    TokenTextSplitter
)

# 按字符递归分割
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    length_function=len
)
chunks = text_splitter.split_documents(documents)

# 按Token分割
text_splitter = TokenTextSplitter(
    chunk_size=512,
    chunk_overlap=20
)
chunks = text_splitter.split_documents(documents)

3. 嵌入模型 ​

python
from langchain.embeddings import (
    OpenAIEmbeddings,
    SentenceTransformerEmbeddings
)

# 使用 OpenAI Embeddings
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")

# 使用开源模型
embeddings = SentenceTransformerEmbeddings(
    model_name="all-MiniLM-L6-v2"
)

4. 向量数据库 ​

python
from langchain.vectorstores import Chroma, FAISS, Pinecone
import pinecone

# 使用本地 Chroma
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"
)

# 使用 Pinecone(云端)
pinecone.init(api_key="your-api-key", environment="us-west1-gcp")
vectorstore = Pinecone.from_documents(
    documents=chunks,
    embedding=embeddings,
    index_name="agent-knowledge"
)

5. 检索器 ​

python
from langchain.retrievers import (
    ContextualCompressionRetriever,
    MergerRetriever
)
from langchain.retrievers.document_compressors import LLMChainExtractor

# 基础检索器
retriever = vectorstore.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 5}
)

# 压缩检索器(提取关键信息)
compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor,
    base_retriever=retriever
)

🔄 高级 RAG 技术 ​

1. Multi-Query RAG ​

为单个查询生成多个变体,提高检索召回率:

python
from langchain.retrievers.multi_query import MultiQueryRetriever

multi_query_retriever = MultiQueryRetriever.from_llm(
    retriever=retriever,
    llm=llm
)

docs = multi_query_retriever.get_relevant_documents("什么是Harness Engineering?")

2. RAG-Fusion ​

融合多个查询的检索结果:

python
from langchain.retrievers import BM25Retriever, EnsembleRetriever

# BM25 检索器
bm25_retriever = BM25Retriever.from_documents(chunks)

# 融合检索器
ensemble_retriever = EnsembleRetriever(
    retrievers=[retriever, bm25_retriever],
    weights=[0.5, 0.5]
)

3. 检索增强生成链 ​

python
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate

prompt_template = """使用以下上下文信息回答用户问题:

{context}

问题:{question}

请基于上述上下文给出详细、准确的回答。如果上下文没有相关信息,请明确说明。
"""

prompt = PromptTemplate(
    template=prompt_template,
    input_variables=["context", "question"]
)

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=retriever,
    chain_type_kwargs={"prompt": prompt},
    return_source_documents=True
)

result = qa_chain({"query": "Harness Engineering的核心架构是什么?"})
print(result["result"])
print([doc.metadata["source"] for doc in result["source_documents"]])

⚡ 性能优化 ​

缓存策略 ​

python
from langchain.cache import SQLiteCache
from langchain.globals import set_llm_cache

# 设置 LLM 缓存
set_llm_cache(SQLiteCache(database_path=".langchain.db"))

# 设置嵌入缓存
from langchain.embeddings.cache import CacheBackedEmbeddings
from langchain.storage import LocalFileStore

store = LocalFileStore("./embedding_cache")
cached_embeddings = CacheBackedEmbeddings.from_bytes_store(
    embeddings, store, namespace="openai"
)

检索优化 ​

技术说明效果
向量索引使用 HNSW、IVF 等索引算法查询速度提升 10-100x
语义缓存缓存相似查询的结果降低 LLM 调用成本
分层检索先粗检索再精检索平衡召回率与性能
过滤检索按元数据过滤后再检索提高相关性

📊 评估指标 ​

指标说明计算方式
召回率检索到相关文档的比例相关文档数 / 总相关文档数
精确率检索结果中相关文档的比例相关文档数 / 检索结果数
MRR平均倒数排名1 / 首个相关文档的排名
NDCG归一化折损累计增益考虑文档相关性的排名质量

🔗 快速导航 ​

章节内容
项目概述RAG 核心概念与架构
文档处理加载、分割、向量化
检索策略相似度搜索与高级检索
生成优化提示词工程与答案生成
评估监控质量评估与性能监控