【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
目录
- 理解文档加载器
- 非结构化数据加载器
- 结构化数据加载器
- 使用文档加载器的实际指南
- 设置和配置
- 安装必要的包（注意：这些包可能已经在你的环境中安装好了）
- 从 .env 文件加载环境变量
- 从环境变量中设置 OpenAI API 密钥
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。LangChain 作为一个开源框架，在这个过程中扮演着核心角色，它提供了一整套文档加载器来处理广泛的数据类型和来源。
理解文档加载器
文档加载器是 LangChain 中专门用来访问和转换来自不同格式和来源的数据到标准化文档对象的组件。这样的对象通常包含内容及其相关的元数据，以便于在 LangChain 应用程序中进行无缝集成和处理。文档加载器的灵活性支持从网站、数据库和多媒体源等地方获取数据，并能处理诸如 PDF、HTML 和 JSON 等格式。
LangChain 提供了超过 80 种不同的文档加载器，每一种都是针对特定的数据源和格式而设计的。本指南将专注于几种关键类型的加载器，为理解和使用这套强大的工具集奠定基础。
非结构化数据加载器
这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。对于需要访问广泛非结构化数据的应用程序来说，它们是必不可少的。
结构化数据加载器
对于涉及表格数据（带有文本单元格或行）的应用程序，结构化数据加载器就派上了用场。它们支持如 Airbyte、Stripe 和 Airtable 等来源，使用户能够在结构化数据集上执行语义搜索和问答。
使用文档加载器的实际指南
设置和配置
在与外部数据交互之前，正确配置环境是非常重要的。这包括安装必要的包和设置如 OpenAI 这样的服务的 API 密钥。
安装必要的包（注意：这些包可能已经在你的环境中安装好了）
!pip install langchain dotenv
import os
from dotenv import load_dotenv, find_dotenv
从 .env 文件加载环境变量
load_dotenv(find_dotenv())
从环境变量中设置 OpenAI API 密钥
openai_api_key = os.environ[‘OPENAI_API_KEY’]
加载 PDF 文档
一个常见的数据源是 PDF 文档。下面的例子展示了如何加载一个 PDF 文档，具体来说是一系列讲座的讲稿。
from langchain.document_loaders import PyPDFLoader
import re
from collections import Counter# 使用 PDF 文件的路径初始化 PDF 加载器
pdf_loader = PyPDFLoader("docs/lecture_series/Lecture01.pdf")# 加载文档页面
document_pages = pdf_loader.load()# 清洗和分词函数
def clean_and_tokenize(text):# 去除非字母字符并将文本拆分为小写字母单词words = re.findall(r'\b[a-z]+\b', text.lower())return words# 初始化一个计数器对象来跟踪单词频率
word_frequencies = Counter()# 遍历文档中的每一页
for page in document_pages:# 检查页面是否为空if page.page_content.strip():# 清洗和分词页面内容words = clean_and_tokenize(page.page_content)# 更新单词频率word_frequencies.update(words)else:# 处理空白页面print(f"在索引 {document_pages.index(page)} 处找到空白页面")# 示例：打印文档中最常见的 10 个单词
print("文档中最常见的单词:")
for word, freq in word_frequencies.most_common(10):print(f"{word}: {freq}")# 访问第一页的元数据作为示例
first_page_metadata = document_pages[0].metadata
print("\n第一页的元数据:")
print(first_page_metadata)# 可选：将清洗后的文本保存到文件中
with open("cleaned_lecture_series_lecture01.txt", "w") as text_file:for page in document_pages:if page.page_content.strip(): # 检查页面是否为空cleaned_text = ' '.join(clean_and_tokenize(page.page_content))text_file.write(cleaned_text + "\n")
这个例子包括以下几个额外的步骤：
文本清洗和分词：添加了一个 clean_and_tokenize 函数来去除任何非字母字符，并将文本拆分为小写字母单词进行基本规范化。
单词频率分析：使用 collections 模块中的 Counter 类，脚本现在计算整个文档中每个单词出现的频率。这对于了解讲座系列中最常讨论的主题或关键词很有用。
处理空白页面：检查空白页面，并在发现时打印一条消息。这对于调试文档加载问题或确保所有内容都被准确捕获非常有用。
保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这对于进一步分析或处理非常有用，比如将文本送入自然语言处理管道。
这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。