Spaces:
Paused
Paused
GraphRAG 集成完成总结
✅ 已完成的工作
🆕 新增文件 (7个)
| 文件 | 行数 | 主要功能 |
|---|---|---|
| entity_extractor.py | 225 | 实体和关系提取、实体去重 |
| knowledge_graph.py | 348 | 图谱构建、社区检测、摘要生成 |
| graph_indexer.py | 146 | GraphRAG索引构建流程 |
| graph_retriever.py | 276 | 本地/全局/智能查询 |
| main_graphrag.py | 294 | 完整使用示例和交互界面 |
| requirements_graphrag.txt | 32 | GraphRAG额外依赖 |
| GRAPHRAG_GUIDE.md | 402 | 详细使用指南 |
🔧 修改的文件 (3个)
| 文件 | 修改内容 |
|---|---|
| config.py | 添加7个GraphRAG配置参数 |
| document_processor.py | 修改setup_knowledge_base()返回doc_splits |
| requirements.txt | 添加networkx和python-louvain依赖 |
📋 文件修改详情
1. config.py - 新增配置
# GraphRAG配置
ENABLE_GRAPHRAG = True
GRAPHRAG_INDEX_PATH = "./data/knowledge_graph.json"
GRAPHRAG_COMMUNITY_ALGORITHM = "louvain"
GRAPHRAG_MAX_HOPS = 2
GRAPHRAG_TOP_K_COMMUNITIES = 5
GRAPHRAG_BATCH_SIZE = 10
2. document_processor.py - 函数修改
# 修改前
def setup_knowledge_base(self, urls=None):
...
return vectorstore, retriever
# 修改后
def setup_knowledge_base(self, urls=None, enable_graphrag=False):
...
return vectorstore, retriever, doc_splits # 新增返回doc_splits
# 同步修改
def initialize_document_processor():
...
return processor, vectorstore, retriever, doc_splits # 新增doc_splits
3. requirements.txt - 新增依赖
# GraphRAG相关（可选）
networkx>=3.1
python-louvain>=0.16
🏗️ GraphRAG 架构概览
┌─────────────────────────────────────────────────────────────┐
│ 文档处理层 │
│ document_processor.py → doc_splits │
└────────────────────────┬────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ 实体提取层 │
│ entity_extractor.py │
│ ├── EntityExtractor (实体和关系提取) │
│ └── EntityDeduplicator (实体去重) │
└────────────────────────┬────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ 图谱构建层 │
│ knowledge_graph.py │
│ ├── KnowledgeGraph (图谱管理) │
│ │ ├── NetworkX图结构 │
│ │ ├── 社区检测 (Louvain/Greedy/LabelProp) │
│ │ └── 统计分析 │
│ └── CommunitySummarizer (社区摘要) │
└────────────────────────┬────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ 索引构建层 │
│ graph_indexer.py │
│ └── GraphRAGIndexer │
│ ├── 5步索引流程 │
│ └── 图谱持久化 │
└────────────────────────┬────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ 检索查询层 │
│ graph_retriever.py │
│ └── GraphRetriever │
│ ├── 本地查询 (Local Query) │
│ ├── 全局查询 (Global Query) │
│ ├── 混合查询 (Hybrid Query) │
│ └── 智能查询 (Smart Query) │
└────────────────────────┬────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ 应用层 │
│ main_graphrag.py │
│ └── AdaptiveRAGWithGraph │
│ ├── 5种查询模式 │
│ ├── 统计信息展示 │
│ └── 交互式界面 │
└─────────────────────────────────────────────────────────────┘
🚀 使用流程
方式1: 直接运行示例
# 1. 安装依赖
pip install -r requirements.txt
pip install -r requirements_graphrag.txt
# 2. 运行GraphRAG示例
python main_graphrag.py
# 首次运行会自动构建索引，后续运行会加载缓存
方式2: 集成到现有代码
# 在 main.py 中集成
from config import ENABLE_GRAPHRAG, GRAPHRAG_INDEX_PATH
from graph_indexer import initialize_graph_indexer
from graph_retriever import initialize_graph_retriever
class AdaptiveRAGSystem:
def __init__(self):
# ... 现有初始化 ...
if ENABLE_GRAPHRAG:
# 构建/加载图谱
self.graph_indexer = initialize_graph_indexer()
if os.path.exists(GRAPHRAG_INDEX_PATH):
self.kg = self.graph_indexer.load_index(GRAPHRAG_INDEX_PATH)
else:
self.kg = self.graph_indexer.index_documents(
self.doc_splits,
save_path=GRAPHRAG_INDEX_PATH
)
# 初始化检索器
self.graph_retriever = initialize_graph_retriever(self.kg)
def query(self, question: str):
if ENABLE_GRAPHRAG:
# 使用图谱智能查询
return self.graph_retriever.smart_query(question)
else:
# 原有逻辑
...
📊 功能对比
原系统 vs GraphRAG增强
| 功能 | 原系统 | GraphRAG增强 | 提升 |
|---|---|---|---|
| 检索方式 | 向量相似度 | 向量 + 图谱 | ✅ 多模态检索 |
| 关系理解 | ❌ 无 | ✅ 显式关系 | ✅ 关系推理能力 |
| 多跳推理 | ❌ 有限 | ✅ 支持N跳 | ✅ 复杂推理 |
| 全局理解 | ⚠️ 需读取多文档 | ✅ 社区摘要 | ✅ 高效概览 |
| 实体消歧 | ❌ 无 | ✅ 图谱上下文 | ✅ 准确识别 |
| 事实验证 | 基于文档匹配 | 基于关系验证 | ✅ 更严格 |
🎯 适用场景
GraphRAG特别适合:
✅ 知识密集型领域
- 学术论文、技术文档
- 需要理解实体关系
- 例: "AlphaCodium的作者研究了哪些其他技术？"
✅ 需要推理的问题
- 多跳关系查询
- 因果关系分析
- 例: "提示工程如何应用于对抗性攻击防御？"
✅ 概览性问题
- 主题归纳
- 研究趋势
- 例: "这个领域的主要研究方向有哪些？"
仍使用向量检索:
⚠️ 模糊语义查询
- 没有明确实体
- 需要语义相似匹配
⚠️ 最新资讯查询
- 图谱未覆盖的新内容
- 需要网络搜索
🔧 配置参数说明
# config.py
ENABLE_GRAPHRAG = True
# 是否启用GraphRAG，False则回退到纯向量检索
GRAPHRAG_INDEX_PATH = "./data/knowledge_graph.json"
# 图谱持久化路径，避免每次重建
GRAPHRAG_COMMUNITY_ALGORITHM = "louvain"
# 社区检测算法:
# - "louvain": 最优质量（推荐）
# - "greedy": 更快速度
# - "label_propagation": 快速近似
GRAPHRAG_MAX_HOPS = 2
# 本地查询时扩展的邻居深度
# 1: 只看直接邻居
# 2: 二跳邻居（推荐）
# 3+: 可能包含过多噪声
GRAPHRAG_TOP_K_COMMUNITIES = 5
# 全局查询时使用的社区数量
# 更多社区 = 更全面但更慢
GRAPHRAG_BATCH_SIZE = 10
# 实体提取的批处理大小
# 更大批次 = 更快但更耗内存
📈 性能特征
索引构建时间
| 文档数量 | 实体数 | 关系数 | 社区数 | 构建时间* |
|---|---|---|---|---|
| 10个文档块 | ~50 | ~30 | 3-5 | ~2分钟 |
| 50个文档块 | ~200 | ~150 | 8-12 | ~8分钟 |
| 100个文档块 | ~400 | ~300 | 15-20 | ~15分钟 |
*基于Mistral模型，实际时间取决于LLM速度
查询速度
| 查询类型 | 平均耗时 | 说明 |
|---|---|---|
| 本地查询 | 2-5秒 | 需要LLM生成答案 |
| 全局查询 | 3-8秒 | 需要处理多个社区摘要 |
| 智能查询 | 2-8秒 | 取决于选择的策略 |
| 混合查询 | 5-12秒 | 执行两种查询 |
存储需求
- 图谱索引: 100个文档块 ≈ 1-5 MB (JSON格式)
- 内存占用: 运行时 ≈ 200-500 MB (取决于图大小)
🐛 故障排查
问题1: 实体提取失败
❌ 实体提取失败: timeout
解决方案:
- 检查Ollama服务是否运行:
ollama serve - 减少批处理大小:
GRAPHRAG_BATCH_SIZE = 5 - 使用更快的LLM模型
问题2: 社区检测失败
⚠️ python-louvain未安装
解决方案:
pip install python-louvain
# 或使用其他算法
GRAPHRAG_COMMUNITY_ALGORITHM = "greedy"
问题3: 查询无结果
未能在知识图谱中找到相关实体
解决方案:
- 检查图谱是否构建:
rag_system.get_graph_statistics() - 使用全局查询代替本地查询
- 检查实体提取质量
问题4: 内存不足
MemoryError
解决方案:
- 减少文档数量测试
- 增加批处理间隔
- 使用轻量级图存储
📝 代码示例
示例1: 基本使用
from main_graphrag import AdaptiveRAGWithGraph
# 初始化系统
rag = AdaptiveRAGWithGraph(enable_graphrag=True)
# 本地查询（针对特定实体）
answer = rag.query_graph_local("LLM Agent的主要组件是什么？")
# 全局查询（概览性问题）
answer = rag.query_graph_global("这些文档讨论了哪些主题？")
# 智能查询（自动选择策略）
answer = rag.query_smart("如何防御对抗性攻击？")
示例2: 混合检索
# 同时使用向量和图谱
result = rag.query_hybrid("提示工程在LLM中的应用")
print("向量检索:", result["vector_retrieval"]["context"])
print("图谱本地:", result["graph_local"])
print("图谱全局:", result["graph_global"])
示例3: 手动控制
from graph_indexer import initialize_graph_indexer
from graph_retriever import initialize_graph_retriever
# 构建索引
indexer = initialize_graph_indexer()
kg = indexer.index_documents(documents, save_path="my_graph.json")
# 查看统计
stats = kg.get_statistics()
print(f"实体: {stats['num_nodes']}, 关系: {stats['num_edges']}")
# 查询
retriever = initialize_graph_retriever(kg)
answer = retriever.local_query("specific question", max_hops=3)
🎓 学习资源
推荐阅读顺序
- GRAPHRAG_GUIDE.md - 详细使用指南
- entity_extractor.py - 了解实体提取
- knowledge_graph.py - 理解图谱构建
- graph_retriever.py - 学习查询策略
- main_graphrag.py - 完整实践示例
关键概念
- 实体 (Entity): 图中的节点，如人物、概念、技术
- 关系 (Relation): 图中的边，连接两个实体
- 社区 (Community): 紧密连接的节点群组
- 本地查询: 基于实体邻域的精确查询
- 全局查询: 基于社区摘要的概览查询
🔮 未来计划
- 增量索引: 添加新文档无需重建整个图谱
- Neo4j集成: 生产环境使用专业图数据库
- 可视化界面: Web界面展示知识图谱
- 多模型融合: 结合多个LLM提高提取质量
- 实时更新: 动态更新图谱结构
- 知识推理: 基于图谱的推理引擎
- 性能优化: 并行处理、缓存机制
📞 支持
遇到问题？
- 查看 GRAPHRAG_GUIDE.md 的"常见问题"章节
- 检查日志输出中的错误信息
- 运行
python main_graphrag.py测试基本功能 - 使用
get_graph_statistics()检查图谱状态
总结: GraphRAG已成功集成到自适应RAG系统中，提供了从实体提取到智能查询的完整工作流。通过合理选择查询策略，可以显著提升复杂问题的回答质量。