蚂蚁集团CodeFuse代码大模型开源ModelCache大模型语义缓存
站长网2023-11-06 16:29:240阅
蚂蚁集团旗下CodeFuse 代码大模型宣布开源了 ModelCache 大模型语义缓存,可以降低大型模型应用的推理成本,提升用户体验。
ModelCache 的架构包括 adapter、embedding、similarity 和 data_manager 模块。adapter 模块处理业务逻辑,embedding 模块将文本转换为语义向量表示,similarity 模块对向量进行相似度排序和评估,data_manager 模块负责数据的存储和查询。ModelCache 还支持一键清空和缓存淘汰策略等缓存数据管理功能,数据隔离功能以确保不同环境、产品和模型之间的数据独立性,以及数据回流功能来保存重要数据。
![](https://i.zz5.net/images/article/2023/11/06/162924740.jpg)
ModelCache 的线上效果统计表明,命中缓存可以将平均耗时降低10倍,提速率可达14.5%。此外,ModelCache 还对 embedding 模型进行了持续优化,以提高语义相似度的准确性。
未来,ModelCache 将继续优化性能和精度,通过算法优化、数据存取和计算资源调配等手段提升召回时间和准确率。同时,将进一步改进语义表示技术和相似度评估模块,以提高模型对复杂语义的理解能力和召回率。
CodeFuse-ModelCache 项目地址:
https://github.com/codefuse-ai/CodeFuse-ModelCache
0000
评论列表
共(0)条相关推荐
- 0000
- 0001
- 0000
- 0001
- 0001