蚂蚁集团CodeFuse代码大模型开源ModelCache大模型语义缓存_蚂蚁分类源码

11月6日 消息:蚂蚁集团旗下CodeFuse 代码大模型宣布开源了 ModelCache 大模型语义缓存，可以降低大型模型应用的推理成本，提升用户体验。

ModelCache 的架构包括 adapter、embedding、similarity 和 data_manager 模块。adapter 模块处理业务逻辑，embedding 模块将文本转换为语义向量表示，similarity 模块对向量进行相似度排序和评估，data_manager 模块负责数据的存储和查询。ModelCache 还支持一键清空和缓存淘汰策略等缓存数据管理功能，数据隔离功能以确保不同环境、产品和模型之间的数据独立性，以及数据回流功能来保存重要数据。

ModelCache 的线上效果统计表明，命中缓存可以将平均耗时降低10倍，提速率可达14.5%。此外，ModelCache 还对 embedding 模型进行了持续优化，以提高语义相似度的准确性。

未来，ModelCache 将继续优化性能和精度，通过算法优化、数据存取和计算资源调配等手段提升召回时间和准确率。同时，将进一步改进语义表示技术和相似度评估模块，以提高模型对复杂语义的理解能力和召回率。

CodeFuse-ModelCache 项目地址:

https://github.com/codefuse-ai/CodeFuse-ModelCache