我的家乡网站设计模板,雅安移动网站建设,wordpress 随机展示,win10装Wordpress训练生成效果评测
Fastchat Chatbot Arena推出了模型在线对战平台#xff0c;可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标#xff0c;并且可以查看两两模型的对战胜率等结果。生成回复具有随机性#xff0c;受解码超参、随机种子等因素影响#xff…训练生成效果评测
Fastchat Chatbot Arena推出了模型在线对战平台可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标并且可以查看两两模型的对战胜率等结果。生成回复具有随机性受解码超参、随机种子等因素影响因此相关评测并非绝对严谨结果仅供晾晒参考。
⚔️ 模型竞技场http://llm-arena.ymcui.com
系统对战胜率无平局 ↓Elo评分Chinese-Alpaca-2-13B-16K86.84%1580Chinese-Alpaca-2-13B72.01%1579Chinese-Alpaca-Pro-33B64.87%1548Chinese-Alpaca-2-7B64.11%1572Chinese-Alpaca-Pro-7B62.05%1500Chinese-Alpaca-2-7B-16K61.67%1540Chinese-Alpaca-Pro-13B61.26%1567Chinese-Alpaca-Plus-33B31.29%1401Chinese-Alpaca-Plus-13B23.43%1329Chinese-Alpaca-Plus-7B20.92%1379
以上结果截至2023年9月1日。最新结果请进入⚔️竞技场进行查看。
客观效果评测C-Eval
C-Eval是一个全面的中文基础模型评估套件其中验证集和测试集分别包含1.3K和12.3K个选择题涵盖52个学科。实验结果以“zero-shot / 5-shot”进行呈现。C-Eval推理代码请参考本项目GitHub Wiki
LLaMA ModelsValidTestAlpaca ModelsValidTestChinese-LLaMA-2-13B40.6 / 42.738.0 / 41.6Chinese-Alpaca-2-13B44.3 / 45.942.6 / 44.0Chinese-LLaMA-2-7B28.2 / 36.030.3 / 34.2Chinese-Alpaca-2-7B41.3 / 42.940.3 / 39.5Chinese-LLaMA-Plus-33B37.4 / 40.035.7 / 38.3Chinese-Alpaca-Plus-33B46.5 / 46.344.9 / 43.5Chinese-LLaMA-Plus-13B27.3 / 34.027.8 / 33.3Chinese-Alpaca-Plus-13B43.3 / 42.441.5 / 39.9Chinese-LLaMA-Plus-7B27.3 / 28.326.9 / 28.4Chinese-Alpaca-Plus-7B36.7 / 32.936.4 / 32.3
客观效果评测CMMLU
CMMLU是另一个综合性中文评测数据集专门用于评估语言模型在中文语境下的知识和推理能力涵盖了从基础学科到高级专业水平的67个主题共计11.5K个选择题。CMMLU推理代码请参考本项目GitHub Wiki
LLaMA ModelsTest (0/few-shot)Alpaca ModelsTest (0/few-shot)Chinese-LLaMA-2-13B38.9 / 42.5Chinese-Alpaca-2-13B43.2 / 45.5Chinese-LLaMA-2-7B27.9 / 34.1Chinese-Alpaca-2-7B40.0 / 41.8Chinese-LLaMA-Plus-33B35.2 / 38.8Chinese-Alpaca-Plus-33B46.6 / 45.3Chinese-LLaMA-Plus-13B29.6 / 34.0Chinese-Alpaca-Plus-13B40.6 / 39.9Chinese-LLaMA-Plus-7B25.4 / 26.3Chinese-Alpaca-Plus-7B36.8 / 32.6
长上下文版模型16K评测
LongBench是一个大模型长文本理解能力的评测基准由6大类、20个不同的任务组成多数任务的平均长度在5K-15K之间共包含约4.75K条测试数据。LongBench推理代码请参考本项目GitHub Wiki
Models单文档QA多文档QA摘要Few-shot学习代码补全合成任务AvgChinese-Alpaca-2-13B-16K48.126.012.823.345.521.529.5Chinese-Alpaca-2-13B38.420.012.218.046.29.024.0Chinese-Alpaca-2-7B-16K46.623.614.529.047.19.028.3Chinese-Alpaca-2-7B32.017.211.521.548.85.022.7Chinese-LLaMA-2-13B-16K37.318.13.430.813.03.017.6Chinese-LLaMA-2-13B26.714.04.416.39.85.512.8Chinese-LLaMA-2-7B-16K33.716.55.324.39.94.215.6Chinese-LLaMA-2-7B20.714.56.512.811.55.311.9
量化效果评测
以Chinese-LLaMA-2-7B为例对比不同精度下的模型大小、PPL困惑度、C-Eval效果方便用户了解量化精度损失。PPL以4K上下文大小计算C-Eval汇报的是valid集合上zero-shot和5-shot结果。
精度模型大小PPLC-EvalFP1612.9 GB9.37328.2 / 36.08-bit量化6.8 GB9.47626.8 / 35.44-bit量化3.7 GB10.13225.5 / 32.8
特别地以下是在llama.cpp下不同量化方法的评测数据供用户参考速度以ms/tok计测试设备为M1 Max。具体细节见GitHub Wiki
llama.cppF16Q2_KQ3_KQ4_0Q4_1Q4_KQ5_0Q5_1Q5_KQ6_KQ8_0PPL9.12811.1079.5769.4769.5769.2409.1569.2139.1689.1339.129Size12.91G2.41G3.18G3.69G4.08G3.92G4.47G4.86G4.59G5.30G6.81GCPU Speed11742513944434851505465GPU Speed531921171820xx2526x
