ChatGPT 和 GPT-4 均无法通过成为 CFA 所需的所有级别的考试

11 月 3 日消息:根据最近的一项研究，ChatGPT 未能通过特许金融分析师（CFA）考试——这是许多华尔街金融专业人士的基准资格。这项研究由摩根大通的 AI 研究团队和大学学者联合进行，他们使用 CFA 风格的问题测试了 ChatGPT 和 GPT-4（两款由 OpenAI 创建的大型语言模型）是否具备复杂的财务推理能力。

研究人员在报告中写道：根据估计的通过率和平均自报成绩，我们得出结论，ChatGPT 在所有测试设置下可能都无法通过 CFA 的第一和第二级。CFA 是一个严格的三部分测试，旨在衡量证券分析和投资组合管理的知识。专业人士需要花费多年时间完成考试的所有三个级别，考生通常会投入数百小时的准备时间。一旦获得认证，它被视为一种荣誉，并通常会为接受者提供更多的职业机会。

CFA 考试的通过率一直不高。根据 CFA 协会的数据，2023 年 2 月，只有 38％的考生通过了一级考试，5 月，52％的考生通过了二级考试，而最近在 8 月举行的三级考试的通过率为 47％。

研究显示，ChatGPT 和许多考生一样，未能通过测试。在回答模拟一级考试中包含多项选择答案的问题时，ChatGPT 犯了许多基于知识的错误，研究人员将其定义为模型缺乏回答问题所需的关键知识的错误。GPT-4 也犯了同样类型的基于知识的错误，但没有 ChatGPT 那么糟糕。

虽然一般认为一级考试比二级考试更难，但这些模型在第二级上的表现更差，二级考试需要对诸如股权投资和财务报告等主题的信息进行更多的分析和解释。

总的来说，GPT-4 在两个级别上的表现都优于 ChatGPT——实际上，如果得到足够的提示，它的表现足以通过 CFA 考试的前两个级别。

研究人员写道：如果使用 [少量示例] 和/或 [思维链场景] 提示，GPT-4 有不错的机会通过 CFA 的第一和第二级。

确实，自然语言处理技术，即软件理解和操作人类语言的能力，已经在金融的多个领域得到应用，例如在情感分析或总结报告中。

但随着像 ChatGPT 这样的大型语言模型的进步，今年早些时候它凭借其类人的响应引起了极大的关注，AI 取代人类金融专业人员的问题已经在华尔街引起了广泛的讨论。

幸运的是，目前这种情况似乎还远远没有成为现实。