论文《From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models》总结与翻译一、论文主要内容该论文聚焦金融领域大型语言模型（LLMs）的评估问题，针对现有评估基准存在的“分数扁平化”（仅用单一分数概括性能，掩盖模型真实知识掌握情况与局限）和“覆盖不均衡”（仅涵盖少数金融概念，忽略现实应用关键领域）两大缺陷，提出了首个面向金融LLMs的认知诊断评估框架FinCDM，并构建了首个基于注册会计师（CPA）考试的认知导向金融评估数据集CPA-KQA。1. 核心框架：FinCDM设计灵感：源于教育评估中的认知诊断模型（CDM），将LLMs视为“考生”，通过模型在带有技能标签任务上的响应模式，评估其对具体金融知识与技能的掌握或缺失情况，而非依赖单一汇总分数。技术原理：采用基于非负矩阵共因子分解的CDM模型，结合LLMs的响应数据，分解得到模型在不同金融技能上的熟练度。通过构建响应矩阵(X)（LLMs对问题的作答结果）和Q矩阵（问题与金融概念的关联），将其分解为低维 latent 矩阵(E)（问题与潜在技能的关系）、(U)（模型在潜在技能上的熟练度）、(V