RAG 检索增强生成
Retrieval-Augmented Generation — 让Agent拥有精准的领域知识
📋 什么是 RAG?
RAG(Retrieval-Augmented Generation) 是一种将信息检索与生成式AI相结合的技术,它让大型语言模型能够访问外部知识库并基于检索到的信息生成答案,而不是仅依赖模型内部的训练数据。
核心价值:
- ✅ 知识时效性:突破LLM训练数据截止日期的限制
- ✅ 领域专业性:提供精准的行业知识和企业内部文档
- ✅ 减少幻觉:基于事实回答,降低虚构内容的风险
- ✅ 可追溯性:每个回答都可以追溯到来源文档
🏗️ RAG 架构设计
标准 RAG 流程
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
│ 文档加载 │ → │ 文档处理 │ → │ 向量化存储 │
│ Document │ │ Processing │ │ Vector Store │
│ Loading │ │ │ │ │
└─────────────────┘ └─────────────────┘ └────────┬────────┘
│
┌─────────────────┐ ┌─────────────────┐ ┌────────▼────────┐
│ 最终回答 │ ← │ 答案生成 │ ← │ 相似度检索 │
│ Final Answer │ │ Generation │ │ Retrieval │
└─────────────────┘ └─────────────────┘ └─────────────────┘架构分层
| 层级 | 组件 | 职责 |
|---|---|---|
| 输入层 | 文档加载器、数据连接器 | 从各种数据源加载文档 |
| 处理层 | 文本分割器、嵌入模型 | 将文档转换为向量表示 |
| 存储层 | 向量数据库 | 存储和索引向量数据 |
| 检索层 | 查询编码器、相似度搜索 | 根据用户查询检索相关文档 |
| 生成层 | LLM、提示词模板 | 基于检索结果生成答案 |
🔧 核心组件
1. 文档加载器
支持多种数据源:
python
from langchain.document_loaders import (
TextLoader,
CSVLoader,
PDFLoader,
WebBaseLoader,
DirectoryLoader
)
# 加载本地文件
loader = TextLoader("docs/knowledge.txt")
documents = loader.load()
# 加载网页内容
loader = WebBaseLoader("https://example.com/docs")
documents = loader.load()
# 加载整个目录
loader = DirectoryLoader("docs/", glob="**/*.md")
documents = loader.load()2. 文本分割器
python
from langchain.text_splitter import (
RecursiveCharacterTextSplitter,
TokenTextSplitter
)
# 按字符递归分割
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=500,
chunk_overlap=50,
length_function=len
)
chunks = text_splitter.split_documents(documents)
# 按Token分割
text_splitter = TokenTextSplitter(
chunk_size=512,
chunk_overlap=20
)
chunks = text_splitter.split_documents(documents)3. 嵌入模型
python
from langchain.embeddings import (
OpenAIEmbeddings,
SentenceTransformerEmbeddings
)
# 使用 OpenAI Embeddings
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
# 使用开源模型
embeddings = SentenceTransformerEmbeddings(
model_name="all-MiniLM-L6-v2"
)4. 向量数据库
python
from langchain.vectorstores import Chroma, FAISS, Pinecone
import pinecone
# 使用本地 Chroma
vectorstore = Chroma.from_documents(
documents=chunks,
embedding=embeddings,
persist_directory="./chroma_db"
)
# 使用 Pinecone(云端)
pinecone.init(api_key="your-api-key", environment="us-west1-gcp")
vectorstore = Pinecone.from_documents(
documents=chunks,
embedding=embeddings,
index_name="agent-knowledge"
)5. 检索器
python
from langchain.retrievers import (
ContextualCompressionRetriever,
MergerRetriever
)
from langchain.retrievers.document_compressors import LLMChainExtractor
# 基础检索器
retriever = vectorstore.as_retriever(
search_type="similarity",
search_kwargs={"k": 5}
)
# 压缩检索器(提取关键信息)
compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
base_compressor=compressor,
base_retriever=retriever
)🔄 高级 RAG 技术
1. Multi-Query RAG
为单个查询生成多个变体,提高检索召回率:
python
from langchain.retrievers.multi_query import MultiQueryRetriever
multi_query_retriever = MultiQueryRetriever.from_llm(
retriever=retriever,
llm=llm
)
docs = multi_query_retriever.get_relevant_documents("什么是Harness Engineering?")2. RAG-Fusion
融合多个查询的检索结果:
python
from langchain.retrievers import BM25Retriever, EnsembleRetriever
# BM25 检索器
bm25_retriever = BM25Retriever.from_documents(chunks)
# 融合检索器
ensemble_retriever = EnsembleRetriever(
retrievers=[retriever, bm25_retriever],
weights=[0.5, 0.5]
)3. 检索增强生成链
python
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate
prompt_template = """使用以下上下文信息回答用户问题:
{context}
问题:{question}
请基于上述上下文给出详细、准确的回答。如果上下文没有相关信息,请明确说明。
"""
prompt = PromptTemplate(
template=prompt_template,
input_variables=["context", "question"]
)
qa_chain = RetrievalQA.from_chain_type(
llm=llm,
chain_type="stuff",
retriever=retriever,
chain_type_kwargs={"prompt": prompt},
return_source_documents=True
)
result = qa_chain({"query": "Harness Engineering的核心架构是什么?"})
print(result["result"])
print([doc.metadata["source"] for doc in result["source_documents"]])⚡ 性能优化
缓存策略
python
from langchain.cache import SQLiteCache
from langchain.globals import set_llm_cache
# 设置 LLM 缓存
set_llm_cache(SQLiteCache(database_path=".langchain.db"))
# 设置嵌入缓存
from langchain.embeddings.cache import CacheBackedEmbeddings
from langchain.storage import LocalFileStore
store = LocalFileStore("./embedding_cache")
cached_embeddings = CacheBackedEmbeddings.from_bytes_store(
embeddings, store, namespace="openai"
)检索优化
| 技术 | 说明 | 效果 |
|---|---|---|
| 向量索引 | 使用 HNSW、IVF 等索引算法 | 查询速度提升 10-100x |
| 语义缓存 | 缓存相似查询的结果 | 降低 LLM 调用成本 |
| 分层检索 | 先粗检索再精检索 | 平衡召回率与性能 |
| 过滤检索 | 按元数据过滤后再检索 | 提高相关性 |
📊 评估指标
| 指标 | 说明 | 计算方式 |
|---|---|---|
| 召回率 | 检索到相关文档的比例 | 相关文档数 / 总相关文档数 |
| 精确率 | 检索结果中相关文档的比例 | 相关文档数 / 检索结果数 |
| MRR | 平均倒数排名 | 1 / 首个相关文档的排名 |
| NDCG | 归一化折损累计增益 | 考虑文档相关性的排名质量 |
🔗 快速导航
| 章节 | 内容 |
|---|---|
| 项目概述 | RAG 核心概念与架构 |
| 文档处理 | 加载、分割、向量化 |
| 检索策略 | 相似度搜索与高级检索 |
| 生成优化 | 提示词工程与答案生成 |
| 评估监控 | 质量评估与性能监控 |