CMMLU vs chat2doc.cn：怎么选？

关于 CMMLU

CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识的人文科学和社会科学,以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。

CMMLU数据集采用Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Note：自2023-12-16日起，对于未开放公测的API模型，我们将验证 1.模型是否有基本的指令跟随能力；2.是否存在数据污染，通过验证的模型会被更新在榜单。

Chat2Doc.cn是一款专注于文档交互的AI聊天工具，用户可以通过自然语言与上传的PDF、Word、Excel等文件进行对话，快速获取信息。其核心功能包括智能问答，能够理解文档内容并直接回答用户提出的问题，例如从合同或报告中提取关键数据；还支持多文档对比分析，帮助用户同时处理多个文件，找出差异或汇总要点。此外，它具备上下文记忆能力，可基于连续对话深入挖掘文档细节。这款工具适合需要频繁处理文档的办公人员、学生和研究者，尤其适用于合同审查、学术文献解读、数据分析报告梳理等场景，能显著提升信息检索和整理效率。