11人狂训2个月，马斯克精准狙击OpenAI！xAI首个大模型Grok炸场，330亿参数每月16刀

声明:本文来自于微信公众号 新智元（ID:AI_era），作者:新智元，授权转载发布。

【新智元导读】OpenAI开发者大会前夕，马斯克来截胡了!xAI首个产品Grok炸裂发布，两个月训出330亿参数大模型，以《银河系漫游指南》为蓝本，还有一股子马斯克式幽默。

最近几天，各家都是箭在弦上，磨刀霍霍。

OpenAI开发者大会在即，马斯克忽然拦路狙击，提前放出xAI的第一个产品Grok!

Grok的一大亮点，就是能从推特实时获取信息。优质数据已成全球的稀缺资源，马斯克去年豪掷440亿美元收购推特后搞得鸡飞狗跳大半年，原来是等在这儿呢。

Grok深深体现出马斯克一直推崇的xAI公司的宗旨——一个探求最大真理和宇宙本质的AI，一个公正的AI。

就在昨天，xAI的一位创始成员Toby Pohlen放出了Grok的UI界面——

Grok可以同时进行多任务处理，并排运行多个会话，还可以在多对话之间随意切换。

期间，我们可以对对话进行分支，来更好地探索Grok的回复。

回复树可以让我们在各个分支之间来回切换。还有一些/commands命令可以让我们减少点击次数。

我们可以在Markdown编辑器中打开Grok的回复，保存后继续对话。它可以和分支以及分支树协同工作。

同时，我们也可以在VS Code编辑器中，打开所有生成的代码片段。

另外，跟自己的幽默人设呼应的是，点击Grok图标上彩蛋，就可以把Grok转换为幽默模式了。

对此，另一位创始人Greg Yang表示:毫无疑问，这是我用过最好的聊天用户界面。

现在，由于候补名单的申请太过火爆，Grok的服务器直接宕机了。

6个月前刚签联名信:暂停超强AI研究6个月

有趣的是，马斯克此前也是AI末日论的强力拥趸，曾和Bengio、苹果联合创始人Steve Wozniak、Stability AI CEO、马库斯等人签署了一封要求暂停发展比GPT-4更先进AI6个月的公开信。

而眼下，AI大佬们正热火朝天地激辩着AI监管必要性的议题，马斯克却已经在这当口悄悄训练出Grok了，甚至还赶在OpenAI开发者大会前夕放出大招。

看来，大家都是心照不宣啊。

当然，马斯克总能找到办法自圆其说，xAI的官博这样解释道——

我们相信，AI智能具有巨大的潜力，可以为社会贡献重要的科学和经济价值，因此我们将努力制定可靠的保障措施，防止灾难性的恶意使用。我们会尽最大努力，确保AI始终是一股向善的力量。

甚至，马斯克还放出这样的豪言——未来特斯拉的算力，都会用于大模型的推理。即使有机器人驾驶出租车，汽车依然每周只会运行1/3时间，其余时间的算力，都会用来做SETI之类的分布式推理运算。

这样，特斯拉将拥有地球上最多的模型推理算力!

马斯克，果然在下一盘大棋。

330亿参数，8K上下文，Grok-1碾压ChatGPT

仅仅四个月，Grok就经过多次迭代横空出世。创始人团队的效率高得惊人。

创始人之一Greg Yang感慨道:当一小群积极进取的世界级人才朝着同一个方向前进，挥出的拳头就远远超出了自身的重量。只有天空，只有宇宙，才是我们的极限!让我们从每一瓦的电量中，让计算得到最大优化!

Grok意为凭直觉深刻了解，是美国科幻作家罗伯特·海因莱因在1961年出版的科幻小说《异乡异客》中创造的词汇。

xAI对于Grok的官方介绍是这样的——

Grok是一个以《银河系漫游指南》为蓝本的 AI，因此几乎可以回答任何事情，甚至还能建议我们该问什么问题。

Grok回答问题时，会不时抖个机灵，甚至比较叛逆，不喜欢幽默的人请远离。

Grok的独特优势就在于，它可以通过X平台（也即推特）实时了解世界上发生的各种事情。而且，很多AI会拒绝的敏感问题，它都不会拒绝。

现在，Grok还是一个早期的测试版产品，这已经是2个月的训练后能达到的最好程度了。因此，xAI希望能在用户的帮助下，让它每周都能迅速改进。

语调阴阳怪气，几句一爆梗，Grok确实是有点子幽默在身上的。

哦，我亲爱的人类，我有好消息要告诉你!我们的朋友Sam Bankman-Fried被认定所有罪名成立。你能相信吗?陪审团只用了8个小时就弄清了所谓的世界上最聪明、最优秀的风险投资人多年来都无法弄清的事实:他犯下了普通的欺诈罪。这真是一次疯狂的旅程，不是吗?

2个月，训练出Grok-1

Grok背后的核心引擎便是Grok-1。

这是用时4个月研发的大模型，并经过了多次迭代升级。

据了解，Grok训练时间仅仅2个月。

在宣布xAI成立之后，研究团队最先训练了一个330亿参数的原型大模型——Grok-0。

早期模型Grok-0在标准的LM基准测试中，性能与LLaMA2（70B）接近，但只使用了一半的训练资源。

过去的2个月中，xAI大模型在推理和编码方面取得了重大改进，并迭代到了Grok-1。

同样，Grok-1是一个基于Transformer的自回归模型，在Grok-0模型基础上进行了微调，上下文长度为8192。

训练数据来自互联网（截止到2023年第三季度），以及AI导师提供的数据。

能力大幅提升的Grok-1刷新了多项SOTA，在HumanEval编码任务中达到了63.2%，在MMLU上达到73%。

如下是xAI研究团队对Grok-1在衡量数学和推理能力的标准机器学习基准进行了一系列评估。

- GSM8k:中学数学单词问题，使用思维链提示。

- MMLU:多学科多项选择题，提供了5次上下文示例。

- HumanEval:Python代码完成任务，pass@1评估为零样本。

- MATH:用LaTeX编写的初中和高中数学问题，用固定的4次示例作为提示。

在这些基准测试中，Grok-1展现出强大的能力，超越了ChatGPT-3.5、Inflection-1等模型。

实际上，只有像GPT-4这样使用大量训练数据和计算资源进行训练的模型，才能超越Grok-1。

这展现了研究人员在xAI项目中以异常高效的方式，训练LLM方面正在取得的快速进步。

另外，刚刚提到的数学基准测试，模型可能通过网络访问到，所以结果可能受到影响。

为了更公平地评估，研究人员手动收集了2023年匈牙利全国高中数学期末考试数据集，以测试Grok-1、 Claude-2和GPT-4的能力。

结果发现，Grok以C（59%） 通过了考试，而 Claude-2获得了相同的成绩C (55%)，GPT-4以68% 的成绩获得了B。

所有模型均在温度为0.1和相同提示下进行评估。必须指出的是，研究人员没有为这次评估做出任何调整。

这样，可以更好地反映模型在真实情况下的能力，评估模型在没经过调优的新数据上的泛化能力。

如下，研究人员在模型卡中提供了Grok-1重要技术细节的摘要。

就局限性来看，Grok-1不具备独立搜索网络的能力。在Grok中部署时，搜索工具和数据库增强了模型的功能和真实性。尽管可以访问外部信息源，但模型仍会产生幻觉。

xAI工程设计:不是Python，是Rust

在深度学习研究的前沿，可靠的基础设施和数据集、学习算法一样重要。

为了创建Grok，xAI构建了一个基于Kubernetes、Rust和JAX的自定义训练和推理堆栈。

大语言模型的训练就像一列全速前进的货运火车，如果一节车厢脱轨，整列火车都会被拖下轨道，很难再次纠正方向。

GPU可能失败的方式有很多种:制造缺陷、连接松动、配置错误、内存芯片退化、偶尔的随机位翻转等等。

在训练时，xAI连续数月在数以万计的GPU之间同步计算，由于规模庞大，这些故障频繁出现。

为了克服这些挑战，他们便采用了一套定制的分布式系统，确保立即识别并自动处理每种类型的故障。

在xAI，研究人员把最大化每瓦特计算效率作为工作重点。

在过去的几个月里，基础设施使团队最小化了停机时间，即使硬件不可靠，也能保持较高的模型计算利用率 （MFU）。

当前，Rust已被证明是，构建可扩展、可靠、可维护的基础设施的理想选择。它提供了高性能、丰富的生态系统，并预防分布式系统中的大多数错误。

对于像xAI这样规模较小的团队来说，基础设施的可靠性至关重要，否则维护会影响创新。

Rust可以让代码修改和重构更加可靠，编写的程序可以在少量监管下稳定运行数月。

xAI团队表示，我们正在为模型能力的下一次飞跃做准备，这将需要可靠地协调数以万计的加速器上的训练运行，需要运行互联网规模的数据pipeline，并在Grok中构建新的功能和工具。

在这里，xAI为自己团队招募做了一波宣传。

就技术要求这一栏，需要程序员们能够具备能力包括:

Rust

因为xAI所有的后端服务和所有数据处理都是在Rust中实现的。而且团队还是Rust语言的忠实拥护者，并相信它是高效、安全和可扩展应用程序的最佳选择。它还提供了与Python的轻松互操作性。

JAX和XLA

xAI模型的神经网络是在JAX中实现的，并且xAI有许多自定义XLA操作来提高它们的效率。

Triton和CUDA

为了充分利用计算资源，大规模运行大型神经网络，同时最大限度地提高计算效率至关重要。因此，xAI定期在Triton或原始C++ CUDA中编写定制内核。

TypeScript， React & Angular

xAI前端代码完全是使用React或Angular在TypeScript中编写的，后端通信通过gRPC-web API实现类型安全。

对于这个招聘要求，业内人士总结道——

具有高MFU的单GPU，是高生产力的人;具有高MFU的单节点，是高效的小团队;具有高MFU的数千个GPU集群，是高生产率的公司。

现在，扩展有用产出/人的难度，从一个人增加到100K，而xAI正在寻找的，是10倍的工程师......

xAI的研究方向

虽然Grok可以访问搜索工具和实时信息，但跟所有LLM一样，Grok仍然无法避免大模型的通病——幻觉问题。

xAI认为，解决当前系统局限性最重要的方向，就是实现可靠的推理。

在xAI看来，以下是几个最有前途的研究方向——

通过工具辅助实现可扩展的监督

可能Grok还很难提供一致且准确的反馈，尤其是处理长代码或复杂推理时。

这种情况下，可以让AI通过查找不同来源的参考资料、使用外部工具验证中间步骤、寻求人类反馈等，来协助进行可扩展的监督。

集成形式验证，确保安全性、可靠性和接地

xAI计划更准确、更可验证的情况下发展AI的推理技能。这样就能在没有人类反馈或现实世界交互的情况下，评估系统。

采用这种方法最直接的目标，就是保证代码的准确性，特别是在形式上验证AI的安全性。

长上下文理解和检索

一个能在特定环境中有效地发现有用知识的模型，是产生真正智能系统的核心。xAI正在致力于研究如何让AI在需要时去发现和检索信息。

对抗性鲁棒性

许多示例表明，无论是训练期间还是使用期间，AI系统中的漏洞都会导致它们犯严重的错误。而这些漏洞，就是深度学习模型长期存在的弱点。

xAI致力于提高LLM、奖励模型和监控系统的鲁棒性。

多模态功能

目前Grok还没有配备视觉和听觉功能，xAI会致力于发展它的多模态功能，实现更广泛的应用。

参考资料:

https://x.ai/