模型评测AI 评测人工智能大模型【免费下载链接】LongMemEvalBenchmarking Chat Assistants on Long-Term Interactive Memory (ICLR 2025)项目地址https://gitcode.com/gh_mirrors/lo/LongMemEval点击查看免费下载LongMemEval 是一个用于测试聊天助手长期记忆能力的开源评测数据集ICLR 2025包含 500 道高质量问题。本文将带你读懂它的 3 个 JSON 文件、每个实例的核心字段以及大海捞针式 Haystack 历史的设计思路让你快速上手评估自己的记忆系统。1. 先认识 LongMemEval它到底在考什么 LongMemEval 的 500 道问题覆盖了 5 种核心长期记忆能力Information Extraction信息抽取Multi-Session Reasoning多会话推理Knowledge Updates知识更新Temporal Reasoning时间推理Abstention拒答——知道我不知道也是能力它的设计灵感来自经典的 needle-in-a-haystack 测试把藏有答案的少数会话针埋入大量无关聊天历史干草堆中模型必须在读完全部历史后先记住再回答。一图看懂 7 类问题示例2. 3个JSON文件速览s / m / oracle 怎么选官方数据包共 3 个文件难度不同但每个文件都包含 500 个评测实例文件历史规模设计意图longmemeval_s.json约 115k tokens~40 个会话可塞进 128k 上下文适合做长上下文全量阅读测试longmemeval_m.json每个实例约 500 个会话远超 s 版本是记忆检索系统的重头戏longmemeval_oracle.json只含证据会话oracle 检索去掉检索环节纯粹考答题正确性选型建议想测模型能否完整读全并记住全部历史→ 选longmemeval_s.json或longmemeval_oracle.json二者均可放入 128k 上下文。想测基于检索的记忆系统→ 用longmemeval_m.json它太长无法全量喂入。三个文件的详细说明见 README.md 的 Dataset Format 章节。3. 每个实例的 9 个核心字段详解3 个文件结构完全一致每个实例包含以下字段字段含义question_id问题唯一 ID以_abs结尾则是 abstention 拒答题question_type问题类型共 6 种映射关系见下文question问题内容answer标准答案question_date提问日期haystack_session_ids历史会话 ID 列表s/m 版本按时间戳排序oracle 不排序haystack_dates每个会话对应的时间戳列表haystack_sessions聊天历史的实际内容answer_session_ids证据会话 ID 列表即针的位置haystack_sessions 的三层嵌套结构haystack_sessions的组织是实例 → 会话列表 → 轮次列表 → 轮次字典。每个轮次的格式为{role: user/assistant, content: 消息内容}。 注意一个细节包含关键证据的轮次会额外附带has_answer: true标签这是轮次级记忆召回准确率评测的依据。answer_session_ids检索评测的标准答案answer_session_ids记录了针藏在哪些会话里用于会话级记忆召回评测。做检索评测时通常会跳过 30 个_abs拒答实例——因为它们指向不存在的事件没有真实的答案位置详见 src/evaluation/print_retrieval_metrics.py。4. 6 种 question_type数据命名与官方名称对照question_type有 6 个官方取值而发布的数据里使用了另一套命名。对照表如下来自历史编译脚本的说明数据中的名称官方名称single_hopsingle-session-userassistant_previnfosingle-session-assistantimplicit_preference_v2single-session-preferencetwo_hop/multi_session_synthesismulti-sessiontemp_reasoning_explicit/temp_reasoning_implicittemporal-reasoningknowledge_updateknowledge-update除了以上 6 种当question_id以_abs结尾时该题属于abstention类型所问信息从未出现在历史中正确答案是表示不知道而不是编造。5. Haystack 设计深挖大海捞针是怎么造出来的 LongMemEval 的高难度来自一条属性受控的编译流水线haystack 绝不是随机垃圾文本用户属性背景每个虚拟用户有一致的属性设定如职业、设备、偏好证据会话围绕这些属性生成保证历史自洽不矛盾。填充干扰会话填充会话按固定比例混入——约 50% 用户模拟会话、25% ShareGPT、25% UltraChat。这个比例直接写在 data/custom_history/sample_haystack_and_timestamp.py 的haystack_source_ratio_user, haystack_source_ratio_sharegpt, haystack_source_ratio_ultrachat 0.5, 0.25, 0.25中。时间戳约束按任务需求分配日期。例如knowledge-update任务保证旧信息早于新信息、temporal-reasoning任务的时间顺序与推理要求严格对齐最终 s/m 版本的haystack_dates按时间升序排列。长度控制s 版本用enforce_json_length115000控制总长度超长时随机丢弃填充会话但证据会话永远保留。正因为这套流水线历史既是连贯的同一用户属性不自相矛盾又是可扩展的——你可以轻松把历史加长到 500 个会话以上构造比longmemeval_m更难的自定义数据集。6. 上手实操三步评估你自己的系统 ⚡第一步喂历史、收答案把带时间戳的历史直接喂给你的聊天系统收集输出保存为jsonl格式每行只需两个字段question_id和hypothesis。第二步跑评测脚本export OPENAI_API_KEYYOUR_API_KEY cd src/evaluation python3 evaluate_qa.py gpt-4o your_hypothesis_file ../../data/longmemeval_oracle.json第三步聚合分数python3 print_qa_metrics.py gpt-4o your_hypothesis_file.log ../../data/longmemeval_oracle.json若想复现论文中的检索实验可直接使用 src/retrieval/run_retrieval.sh 与 src/generation/run_generation.sh支持 BM25 及多种稠密检索器、turn/session 两种粒度参数细节见 README.md。7. 进阶如何构造自定义 Haystack 历史想造出超过longmemeval_m规模的历史流程如下下载四部分语料用户属性背景、问题与证据会话、filler 会话、模拟会话解压到data/custom_history目录。运行抽样脚本复现历史编译python3 sample_haystack_and_timestamp.py task n_questions min_n_haystack_filler max_n_haystack_filler enforce_json_length官方取值longmemeval_s用min_n_haystack_fillermax_n_haystack_filler80、enforce_json_length115000longmemeval_m用 500 个会话且不限制 token 长度。总结一张表带你看懂 LongMemEval你想了解去哪里看三种难度版本区别README.md Dataset Format 章节字段结构与 has_answer 标签本文第 3 节历史编译与时间戳逻辑data/custom_history/sample_haystack_and_timestamp.py问答 / 检索 / 生成实验src/evaluation/、src/retrieval/、src/generation/LongMemEval 的核心思想一句话概括把证据几根针埋进一大片自洽的干草堆里看助手能不能记住并用上它们。读懂了这 3 个 JSON 文件与 9 个字段你就可以复现、扩展这个基准并公平地评估任何长期记忆系统。赞分享模型评测AI 评测人工智能大模型【免费下载链接】LongMemEvalBenchmarking Chat Assistants on Long-Term Interactive Memory (ICLR 2025)项目地址https://gitcode.com/gh_mirrors/lo/LongMemEval点击查看免费下载相关推荐为什么Balena Etcher成为系统部署的终极安全选择为什么Balena Etcher成为系统部署的终极安全选择 你是否曾经在制作系统启动盘时因为一个错误的点击而差点格式化掉整个硬盘或者在深夜加班部署系统时桌面应用开发工具智能硬件tmux-copycat实战教程如何快速定位Git提交哈希和文件路径tmux copycat实战教程如何快速定位Git提交哈希和文件路径 tmux copycat是一款强大的tmux插件它显著增强了tmux的搜索功能让用户开发工具OpenCompass Needlebench 完全指南大海捞针式长上下文检索与推理评估已废弃版OpenCompass Needlebench 完全指南大海捞针式长上下文检索与推理评估已废弃版 本文是 OpenCompass 开源评测平台中 need模型评测人工智能大模型AI 评测创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LongMemEval数据集格式完全指南：3个JSON文件与Haystack大海捞针设计详解
模型评测AI 评测人工智能大模型【免费下载链接】LongMemEvalBenchmarking Chat Assistants on Long-Term Interactive Memory (ICLR 2025)项目地址https://gitcode.com/gh_mirrors/lo/LongMemEval点击查看免费下载LongMemEval 是一个用于测试聊天助手长期记忆能力的开源评测数据集ICLR 2025包含 500 道高质量问题。本文将带你读懂它的 3 个 JSON 文件、每个实例的核心字段以及大海捞针式 Haystack 历史的设计思路让你快速上手评估自己的记忆系统。1. 先认识 LongMemEval它到底在考什么 LongMemEval 的 500 道问题覆盖了 5 种核心长期记忆能力Information Extraction信息抽取Multi-Session Reasoning多会话推理Knowledge Updates知识更新Temporal Reasoning时间推理Abstention拒答——知道我不知道也是能力它的设计灵感来自经典的 needle-in-a-haystack 测试把藏有答案的少数会话针埋入大量无关聊天历史干草堆中模型必须在读完全部历史后先记住再回答。一图看懂 7 类问题示例2. 3个JSON文件速览s / m / oracle 怎么选官方数据包共 3 个文件难度不同但每个文件都包含 500 个评测实例文件历史规模设计意图longmemeval_s.json约 115k tokens~40 个会话可塞进 128k 上下文适合做长上下文全量阅读测试longmemeval_m.json每个实例约 500 个会话远超 s 版本是记忆检索系统的重头戏longmemeval_oracle.json只含证据会话oracle 检索去掉检索环节纯粹考答题正确性选型建议想测模型能否完整读全并记住全部历史→ 选longmemeval_s.json或longmemeval_oracle.json二者均可放入 128k 上下文。想测基于检索的记忆系统→ 用longmemeval_m.json它太长无法全量喂入。三个文件的详细说明见 README.md 的 Dataset Format 章节。3. 每个实例的 9 个核心字段详解3 个文件结构完全一致每个实例包含以下字段字段含义question_id问题唯一 ID以_abs结尾则是 abstention 拒答题question_type问题类型共 6 种映射关系见下文question问题内容answer标准答案question_date提问日期haystack_session_ids历史会话 ID 列表s/m 版本按时间戳排序oracle 不排序haystack_dates每个会话对应的时间戳列表haystack_sessions聊天历史的实际内容answer_session_ids证据会话 ID 列表即针的位置haystack_sessions 的三层嵌套结构haystack_sessions的组织是实例 → 会话列表 → 轮次列表 → 轮次字典。每个轮次的格式为{role: user/assistant, content: 消息内容}。 注意一个细节包含关键证据的轮次会额外附带has_answer: true标签这是轮次级记忆召回准确率评测的依据。answer_session_ids检索评测的标准答案answer_session_ids记录了针藏在哪些会话里用于会话级记忆召回评测。做检索评测时通常会跳过 30 个_abs拒答实例——因为它们指向不存在的事件没有真实的答案位置详见 src/evaluation/print_retrieval_metrics.py。4. 6 种 question_type数据命名与官方名称对照question_type有 6 个官方取值而发布的数据里使用了另一套命名。对照表如下来自历史编译脚本的说明数据中的名称官方名称single_hopsingle-session-userassistant_previnfosingle-session-assistantimplicit_preference_v2single-session-preferencetwo_hop/multi_session_synthesismulti-sessiontemp_reasoning_explicit/temp_reasoning_implicittemporal-reasoningknowledge_updateknowledge-update除了以上 6 种当question_id以_abs结尾时该题属于abstention类型所问信息从未出现在历史中正确答案是表示不知道而不是编造。5. Haystack 设计深挖大海捞针是怎么造出来的 LongMemEval 的高难度来自一条属性受控的编译流水线haystack 绝不是随机垃圾文本用户属性背景每个虚拟用户有一致的属性设定如职业、设备、偏好证据会话围绕这些属性生成保证历史自洽不矛盾。填充干扰会话填充会话按固定比例混入——约 50% 用户模拟会话、25% ShareGPT、25% UltraChat。这个比例直接写在 data/custom_history/sample_haystack_and_timestamp.py 的haystack_source_ratio_user, haystack_source_ratio_sharegpt, haystack_source_ratio_ultrachat 0.5, 0.25, 0.25中。时间戳约束按任务需求分配日期。例如knowledge-update任务保证旧信息早于新信息、temporal-reasoning任务的时间顺序与推理要求严格对齐最终 s/m 版本的haystack_dates按时间升序排列。长度控制s 版本用enforce_json_length115000控制总长度超长时随机丢弃填充会话但证据会话永远保留。正因为这套流水线历史既是连贯的同一用户属性不自相矛盾又是可扩展的——你可以轻松把历史加长到 500 个会话以上构造比longmemeval_m更难的自定义数据集。6. 上手实操三步评估你自己的系统 ⚡第一步喂历史、收答案把带时间戳的历史直接喂给你的聊天系统收集输出保存为jsonl格式每行只需两个字段question_id和hypothesis。第二步跑评测脚本export OPENAI_API_KEYYOUR_API_KEY cd src/evaluation python3 evaluate_qa.py gpt-4o your_hypothesis_file ../../data/longmemeval_oracle.json第三步聚合分数python3 print_qa_metrics.py gpt-4o your_hypothesis_file.log ../../data/longmemeval_oracle.json若想复现论文中的检索实验可直接使用 src/retrieval/run_retrieval.sh 与 src/generation/run_generation.sh支持 BM25 及多种稠密检索器、turn/session 两种粒度参数细节见 README.md。7. 进阶如何构造自定义 Haystack 历史想造出超过longmemeval_m规模的历史流程如下下载四部分语料用户属性背景、问题与证据会话、filler 会话、模拟会话解压到data/custom_history目录。运行抽样脚本复现历史编译python3 sample_haystack_and_timestamp.py task n_questions min_n_haystack_filler max_n_haystack_filler enforce_json_length官方取值longmemeval_s用min_n_haystack_fillermax_n_haystack_filler80、enforce_json_length115000longmemeval_m用 500 个会话且不限制 token 长度。总结一张表带你看懂 LongMemEval你想了解去哪里看三种难度版本区别README.md Dataset Format 章节字段结构与 has_answer 标签本文第 3 节历史编译与时间戳逻辑data/custom_history/sample_haystack_and_timestamp.py问答 / 检索 / 生成实验src/evaluation/、src/retrieval/、src/generation/LongMemEval 的核心思想一句话概括把证据几根针埋进一大片自洽的干草堆里看助手能不能记住并用上它们。读懂了这 3 个 JSON 文件与 9 个字段你就可以复现、扩展这个基准并公平地评估任何长期记忆系统。赞分享模型评测AI 评测人工智能大模型【免费下载链接】LongMemEvalBenchmarking Chat Assistants on Long-Term Interactive Memory (ICLR 2025)项目地址https://gitcode.com/gh_mirrors/lo/LongMemEval点击查看免费下载相关推荐为什么Balena Etcher成为系统部署的终极安全选择为什么Balena Etcher成为系统部署的终极安全选择 你是否曾经在制作系统启动盘时因为一个错误的点击而差点格式化掉整个硬盘或者在深夜加班部署系统时桌面应用开发工具智能硬件tmux-copycat实战教程如何快速定位Git提交哈希和文件路径tmux copycat实战教程如何快速定位Git提交哈希和文件路径 tmux copycat是一款强大的tmux插件它显著增强了tmux的搜索功能让用户开发工具OpenCompass Needlebench 完全指南大海捞针式长上下文检索与推理评估已废弃版OpenCompass Needlebench 完全指南大海捞针式长上下文检索与推理评估已废弃版 本文是 OpenCompass 开源评测平台中 need模型评测人工智能大模型AI 评测创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考