TrustRAG:通过配置化模块化的检索增强生成（RAG）框架提高生成结果的可靠性和可追溯性
TrustRAG旨在风险感知的信息检索场景中提高生成内容的一致性和可信度。用户可以利用私有语料库构建自己的RAG应用程序，研究库中的RAG组件，并使用定制模块进行实验。论文展示了TrustRAG系统在摘要问答任务中的应用，并通过案例研究验证了其有效性。总体而言，TrustRAG通过语义增强索引、效用增强检索和引用增强生成，显著提高了RAG系统的可靠性和可信度。
研究背景
- 研究问题：这篇文章要解决的问题是如何增强检索增强生成（RAG）系统的可信度。尽管RAG技术在提高答案准确性方面取得了显著进展，但生成结果的可信度仍然是一个挑战。
- 研究难点：该问题的研究难点包括：处理实时信息的缺失、领域知识的不足以及生成虚假答案的风险，这些因素导致在实际应用中生成结果的不可靠性。
- 相关工作：该问题的研究相关工作包括RAG框架的改进、源归属的改进以及各种开源系统的开发。例如，Self-RAG、ActiveRAG、CoRAG等框架旨在提高答案的准确性，而InstructRAG、LongCite、SelfCite等则专注于改进结果的可信度。此外，Langchain、LlamaIndex、LightRAG等开源系统支持RAG的开发和应用。
研究方法
这篇论文提出了TrustRAG框架，用于解决RAG系统可信度不高的问题。具体来说，TrustRAG从索引、检索和生成三个阶段进行改进：
- 语义增强索引：为了解决现有文本分块方法导致的语义丢失问题，TrustRAG引入了语义增强分块策略。该策略首先使用大型语言模型（LLM）进行共指消解，以解决代词或不完全引用引起的歧义。其次，将文档中的时间字段标准化为基于发布日期的标准日期格式，以恢复丢失的语义信息。最后，支持高级语义分段技术，通过嵌入技术和大型语言模型动态识别语义边界，确保分块的高质量和上下文一致性。参见trustrag/modules/refiner/decontextualizer.py、trustrag/modules/chunks/semantic_chunk.py。
- 效用增强检索：传统的RAG系统中，检索到的文档相关性仅由向量相似性决定。TrustRAG引入了效用判断和细粒度证据提取两个关键创新：
- 效用判断：通过精心设计提示，使用大型语言模型评估每个文档对用户查询和生成任务的相关性。这种评估超越了表面相似性，结合了更深层次的上下文理解，确保只选择最有用的文档。参见trustrag/modules/judger/llm_judger.py。
- 细粒度证据提取：在识别有用文档后，TrustRAG通过细粒度证据提取提取最相关的句子。该过程利用模型蒸馏技术降低计算成本，同时保持高准确性和相关性。参见trustrag/modules/refiner/compressor.py。
- <