GLUE数据集的预处理

1.来源：

https://gluebenchmark.com/tasks

2.相关介绍：

https://blog.csdn.net/weixin_57128596/article/details/140524968?spm=1001.2014.3001.5501

3.数据集预处理：

# 导入必要的库
import pandas as pd
import json# 定义TSV文件路径
file_path = '/mnt/data/train.tsv'# 读取TSV文件到DataFrame
df = pd.read_csv(file_path, sep='\t')# 定义一个函数，将DataFrame转换为所需的JSON格式
def transform_to_json(df):result = []for _, row in df.iterrows():# 构建input文本input_text = f"{row['sentence1']}sentence2是否与{row['sentence2']}相关（回答相关/不相关）？"# 根据label转换为中文的output文本output_text = "相关" if row['label'] == "entailment" else "不相关"# 构建单条记录conversation = {"input": input_text, "output": output_text}result.append({"conversation": [conversation]})return result# 将DataFrame转换为JSON格式数据
json_data = transform_to_json(df)# 定义输出JSON文件路径
output_path = '/mnt/data/train_converted.json'# 将JSON数据写入文件
with open(output_path, 'w', encoding='utf-8') as f:json.dump(json_data, f, ensure_ascii=False, indent=4)# 输出生成的JSON文件路径
print(output_path)