当前位置: 首页 > news >正文

[论文笔记] eval-big-refactor lm_eval 每两个任务使用一个gpu,并保证端口未被使用

1.5B在eval时候两个任务一个gpu是可以的。

7B+在eval belebele时会OOM,所以分配时脚本不同。

eval_fast.py:

import subprocess
import argparse
import os
import socket# 参数列表
task_name_list = ["flores_mt_en_to_id","flores_mt_en_to_vi","flores_mt_en_to_th","flores_mt_en_to_ms","flores_mt_id_to_en","flores_mt_vi_to_en","flores_mt_th_to_en","flores_mt_ms_to_en","ceval","mmlu","arc_challenge","arc_easy","hellaswag","belebele",
]# 解析命令行参数
parser = argparse.ArgumentParser(description="Run evaluation")
parser.add_argument("--model_names", type=str, required=True, help="Space-separated list of model names")
parser.add_argument("--model_path_relatives", type=str, required=True, help="Comma-separated li

http://www.mrgr.cn/news/8620.html

相关文章:

  • [论文笔记]Improving Retrieval Augmented Language Model with Self-Reasoning
  • 04_DOM的diffing算法
  • 【设计模式】组合模式和(宏)命令模式
  • Oracle 同义词SYNONYM 的实战使用
  • fpga图像处理实战-图像膨胀
  • 通过FileReader API获取上传音频的长度
  • 在编程学习的道路上,面对Bug和复杂算法时,我们常常会感到挫折和困惑。以下是一些克服这些挑战的有效方法:
  • Gstreamer-OpenCV的RTSP服务搭建以及推拉流实现
  • C++STL之list的使用详解
  • 常见虚拟现实硬件设备及特点
  • Vue2的16种传参通信方式
  • 选择合适的待办事项软件:用户体验报告
  • 并行 parallel DOP 受 Resource Manager 限制
  • jmespath用法总结
  • Spark MLlib 特征工程系列—特征转换PCA(Principal Component Analysis)
  • 8.Java基础概念-方法
  • 依赖倒置原则
  • Redis | 非关系型数据库Redis的初步认识
  • 刷题DAY17
  • 微服务 - 分布式锁的实现与处理策略