Skip to content

RAG 对话

TrustRAG 的核心功能是基于文档的 RAG(检索增强生成)对话。

工作流程

text
用户提问 → 检索相关段落 → 构建上下文 → LLM 生成回答 → 附加引用标记

1. 文档检索

根据运行模式使用不同的检索策略:

  • 桌面模式:FTS5 全文搜索,基于 BM25 算法排序
  • 服务器模式:pgvector 向量搜索 + 全文搜索混合检索

2. 上下文构建

检索到的相关段落会被组装为 LLM 的上下文,每段都包含来源信息(文档名、页码、段落位置)。

3. 回答生成

LLM 基于上下文生成回答,并被要求在回答中标注引用来源。

4. 引用追踪

系统解析 LLM 输出中的引用标记,建立回答与原文段落的映射关系。

使用方式

  1. 选择一个工作区
  2. 确保已上传相关文档
  3. 在对话窗口输入问题
  4. 查看带引用标记的回答
  5. 点击引用标记查看原文

支持的 LLM

TrustRAG 通过 OpenAI 兼容 API 支持多种 LLM:

  • OpenAI GPT-4o / GPT-4
  • Claude (通过兼容层)
  • 本地模型 (Ollama)
  • 其他 OpenAI 兼容 API

在设置中配置 API 地址和密钥即可切换模型。

Released under the Apache 2.0 License.