智源发布FlagAttention算子集 适配多种大模型训练芯片

12月8日 消息:为了满足大模型对计算资源的需求，智源研究院开发了 FlagAttention 项目，旨在构建一套适配多种芯片的大模型核心算子集合。

该项目选择使用 Triton 作为开发语言，通过 Triton 的开放性和易用性，使得 FlagAttention 不仅支持 NVIDIA GPU，还可以显著降低不同芯片之间模型适配的成本，提高大模型的训练与推理效率。

FlagAttention 目前包含两个算子:piecewise_attention 和 flash_attention。

其中，piecewise_attention 是针对长文本模型的分段式 Attention 算子，而 flash_attention 是基于 Triton 的高效 Multihead Attention 实现。

通过 FlagAttention，希望能够消除现有 AI 生态中的软件壁垒，让更广泛的模型用户能够使用到最新的模型优化技术。

未来，FlagAttention 还将支持更多功能，并与其他芯片厂商合作，优化算子的性能和适配。

项目地址:

https://github.com/FlagOpen/FlagAttention

https://github.com/FlagOpen/FlagAttention/issues