蛋白质通用大模型xTrimoPGLM来了 由百图生科与清华大学合作开发

百图生科与清华大学合作开发了一款名为xTrimoPGLM的蛋白质语言模型，该模型的参数量高达1000亿，是目前蛋白质领域首个达到这一规模的“通用大模型”。xTrimoPGLM在13个任务上取得了SOTA（State-of-the-Art）成果，超越了AlphaFold2等蛋白质AI模型。

论文地址:https://www.biorxiv.org/content/10.1101/2023.07.05.547496v1

该模型结合了GLM（通用语言模型）和MLM(掩码语言模型)的优势，既具备理解任务的能力，也能完成生成任务。在抗体结构预测任务中，xTrimoPGLM不仅效果更好，而且速度也提升了一个数量级。该模型的参数量达到千亿级，是因为蛋白质数据的规模庞大，需要更大的模型来处理。

xTrimoPGLM的应用范围涵盖了蛋白质结构预测、蛋白质设计等多个任务，可用于行业研究人员的工作。未来，团队计划将模型扩展到RNA、DNA等生命科学数据，并探索更加通用的生命科学大模型。发展“通用大模型”的路径可以是单个模型的参数量扩大，也可以是多个模型联合的方式。百图生科团队将继续采取多个大模型联动的方式，探索通用大模型之路。