RAG优化:python实现基于问题生成（扩展语义表示、优化检索粒度和提升上下文关联性）的文档增强RAG

基于问题生成的文档增强RAG通过扩展语义表示、优化检索粒度和提升上下文关联性，解决了传统RAG在复杂场景下的局限性。尽管需要权衡预处理成本和模型质量，但其在精度、鲁棒性和扩展性上的优势，使其成为实际应用中值得优先考虑的方案。对于算法工程师，核心挑战在于设计高效的问题生成策略和优化嵌入匹配算法，以实现最佳的性能-资源平衡。
注意：
- 1 大家可以提前https://studio.nebius.com/注册一个api，然后获取一个api key,免费1刀，
其他平台薅羊毛也可以，很多可以免费薅羊毛！下文的结果是基于"BAAI/bge-en-icl"
- 2 请提前下载数据
- 3 提前准备好你的环境
- 4 本地嵌入模型搭建 基于本地的模型进行语义嵌入，可以利用FlagEmbedding,可以好好学习下，量大的话api的嵌入还是比较贵的哦

pip install -U pymupdf openai