英伟达ChipNeMo使用了多少个参数来训练它的模型_英伟达 hopper

英伟达推出了一个名为ChipNeMo的大语言模型，它有430亿个参数，专门针对芯片设计领域。它可以帮助工程师提升工作效率，简化芯片设计的过程，涵盖了多种任务，如问答、EDA脚本生成和Bug总结等。

（ChipNeMo更多详细介绍）

英伟达的首席科学家Bill Dally表示，ChipNeMo即使只能稍微提高生产率，也是非常有价值的。

ChipNeMo的训练数据包括Bug总结、设计源、文档以及与硬件相关的代码和自然语言文本，经过收集、清理和筛选后，共有241亿个token。

为了让大语言模型在工程助理聊天机器人、EDA脚本生成和Bug摘要和分析等领域表现更好，英伟达使用了领域自适应技术。这些技术包括定制的标记器、领域自适应持续预训练、带有领域特定指令的监督微调等方式。

实验结果表明，这些领域自适应技术不仅提升了模型在这些领域的表现，还降低了模型的大小，但还有进步的空间。英伟达的这一行动意味着大语言模型在半导体设计领域的应用迈出了重要的一步，为专业化领域提供了有用的生成式AI模型。

更多详细介绍可以前往Aibase产品库了解，各位小伙伴们快去试试吧!