当前位置: 首页 > news >正文

[针对于个人用户] 显卡与计算卡性能对比表

笔者使用 Quadro M4000 显卡用于 LLM 相关任务,但奈何该卡发布的年代过于久远,以至于 LLM 相关任务只能使用例如:Phi3 mini、Qwen 2 2B、GLM 4 8B 以及 Gemini v2 2B等小参数模型,且速度不堪理想,也经常因为显卡过热降频导致对话效率低下。

对于家用而言,不会去考虑那些特别新的 Tesla 计算卡,而会考虑一些旧的大显存平台,最好是大于10 GB 的显存,这样可以跑一些经过量化的、参数量高一些的模型。对于计算相关,推理相关的更应注重FP16的计算能力,如果有微调需求,同时也应注重FP32的计算能力。

最近总想着置办一张计算卡用于 Homelab 的 LLM 应用,但是市面上的计算卡/显卡种类太多了,有的时候不晓得要看哪一张显卡,故从TechPowerUp 网站摘录下表,以供参考。

显卡型号ChipReleasedVRAMBandwidthBF16FP16FP32FP64TDP (W)
Quadro M4000 (现役)GM204Jun 29th, 20158 GB GDDR5192.3 GB/sNanNan2.573 TFlops80.39 GFlops120
Tesla P4GP104Sep 13th, 20168GB GDDR5192.3GB/sNan89.12 GFlops5.704 TFlops178.2 GFlops75
Tesla P40GP102Sep 13th, 201624GB GDDR5347.1 GB/sNan183.7 GFlops11.76 TFlops367.4 GFlops250
Tesla P100 PCIEGP100Jun 20th, 201616GB HBM2732.2 GB/sNan19.05 TFlops9.526 TFlops4.763 TFlops250
Tesla P100 SXM2GP100Apr 5th, 201616GB HBM2732.2 GB/sNan21.22 TFlops10.61 TFlops5.304 TFlops300
GTX 1080GP104May 27th, 20168GB GDDR5X320.3 GB/sNan138.6 GFlops8.873 TFlops277.3 GFlops180
RTX 2080 TiTU102Sep 20th, 201811GB GDDR6616.0 GB/sNan26.9 TFlops13.45 TFlops420.2 GFlops250
Tesla V100 PCIeGV100Jun 21st, 201716 GB HBM2897.0 GB/sNan28.26 TFlops14.13 TFlops7.066 TFlops300
Tesla V100 PCIeGV100Mar 27th, 201832 GB HBM2897.0 GB/sNan28.26 TFlops14.13 TFlops7.066 TFlops250
Tesla T4TU104Sep 13th, 201816 GB GDDR6320.0 GB/sNan65.13 TFlops8.141 TFlops254.4 GFlops70
RTX3060GA104Sep 1st, 202112GB GDDR6360.0 GB/sUnknow12.74 TFlops12.74 TFlops199.0 GFlops170
RTX3060GA106Jan 12th, 202112GB GDDR6360.0 GB/sUnknow12.74 TFlops12.74 TFlops199.0 GFlops170
RTX3060 TiGA104Dec 1st, 20208GB GDDR6448.0 GB/sUnknow16.2 TFlops16.2 TFlops253.1 GFlops200
RTX 3080 TiGA102Jan 202220GB GDDR6X760.3 GB/sUnknow34.1 TFlops34.1 TFlops532.8 GFlops350
RTX 3090GA102Sep 1st, 202024 GB GDDR6X936.2 GB/sUnknow35.58 TFlops35.58 TFlops556.0 GFlops350
RTX 3090 TiGA102Jan 27th, 202224GB GDDR6X1.01 TB/sUnknow40 TFlops40 TFlops625.0 GFlops450
A100 PCIeGA100Jun 22nd, 202040 GB HBM2e1.56 TB/s311.84 TFlops77.97 TFlops19.49 TFlops9.746 TFlops250
RTX 4060AD107May 18th, 20238 GB GDDR6272.0 GB/sUnknow15.11 TFlops15.11 TFlops236.2 GFlops115
RTX 4060 TiAD106May 18th, 202316 GB GDDR6288.0 GB/sUnknow22.06 TFlops22.06 TFlops344.8 GFlops165
RTX 4070 SUPERAD104Jan 8th, 202412 GB GDDR6X504.2 GB/sUnknow35.48 TFlops35.48 TFlops554.4 GFlops220
RTX 4070 Ti SUPERAD103Jan 8th, 202416 GB GDDR6X672.3 GB/sUnknow44.10 TFlops44.10 TFlops689.0 GFlops285
RTX 4080AD103Sep 20th, 202216 GB GDDR6X716.8 GB/sUnknow48.74 TFlops48.74 TFlops761.5 GFlops320
RTX 4080 SUPERAD103Jan 8th, 202416 GB GDDR6X736.3 GB/sUnknow52.22 TFlops52.22 TFlops816.0 GFlops320
RTX 4090AD102Sep 20th, 202224 GB GDDR6X1.01 TB/sUnknow82.58 TFlops82.58 TFlops1,290 GFlops450
RTX 4090 DAD102Sep 20th, 202224 GB GDDR6X1.01 TB/sUnknow73.54 TFlops73.54 TFlops1,149 GFlops450

http://www.mrgr.cn/news/23949.html

相关文章:

  • Groovy -> Groovy数据类型和字符串
  • 0910作业+思维导图
  • 《C++》解密--算法复杂度
  • HTML5+CSS+JS制作中秋佳节页面
  • redis的基础数据结构-list列表
  • 0. 阿里大模型API获取步骤
  • LVGL 控件之线条(lv_line)
  • TwinCAT3 实时核中ADS实现C++ server、clinet数据传输
  • 【MADRL】反事实多智能体策略梯度法(COMA)算法
  • StarRocks 培训课程重磅上线!专家出品,助你升级打怪不走弯路!
  • 枚举,LeetCode 2552. 统计上升四元组
  • day-52 下一个排列
  • 向量——通俗地解释
  • 【Qt】Qt音频
  • ECOLOGY携带BearerToken后根据手机号码获取北森系统人员id
  • 数学建模笔记—— 多目标规划
  • 覆盖索引是什么意思?
  • 9.10总结
  • day10-配置文件日志多线程
  • 迟滞比较器/施密特触发器