OpenAI 的 ChatGPT 在文本标注任务方面优于人类工作者「openai文本生成器」

3月29日消息:苏黎世大学的研究人员在论文预印本平台 arXiv 上发表论文，报告 OpenAI 的 AI 聊天机器人 ChatGPT 在文本标注任务中的表现超过了众包工人。

大量的自然语言处理（NLP） 应用程序需要为各种任务手动标注数据，特别是训练分类器或评估无监督模型的性能。根据规模和复杂程度，任务可能由众包工作者在 MTurk 等平台上以及训练有素的标注人员（如研究助理）上执行。

研究人员使用包含 2382 条推文的样本，对比证明了 ChatGPT 在多项标注任务（包括相关性、立场、主题和框架检测）方面优于众包工作者。

具体来说，在五分之四的任务中，ChatGPT 的评估一致性（intercoder agreement）超过了众包工作者，而 ChatGPT 的编码器间协议在所有任务上都超过了众包工作者和训练有素的标注人员。

此外，ChatGPT 的每条标注成本不到 0.003 美元——大约比 MTurk 便宜 20 倍。研究显示大语言模型可显著提高文本分类的效率。