FC-CLIP彻底改变全景分割：统一的单级AI 框架

要点:

1、全景分割将语义分割和实例分割相结合，对图像进行精细分割标注，但受限于数据集标注成本。

2、FC-CLIP通过冻结卷积CLIPbackbone实现掩码生成和CLIP文本对齐分类的单阶段统一，突破闭词汇限制。

3、FC-CLIP设计简单高效，参数和计算量都大大减少，性能显著提升，可扩展到开放词汇场景。

全景分割是将图像分割成有意义的部分或区域的基础计算机视觉任务，对各种应用如医学图像分析和自动驾驶具有关键作用。全景分割将语义分割的对每个像素进行对象分类，和实例分割的对同类不同实例进行区分相结合，目标是为每个实例生成不重叠的掩码并赋予类别标签。

多年来，研究者不断提升全景分割模型性能，重点关注全景质量指标。但是基于闭词汇的限制严重制约了这些模型的实际应用，因为数据集细颗粒度标注的高成本限制了语义类别数目。这成为全景分割应用的关键难题。

项目地址:https://github.com/bytedance/fc-clip

计算机视觉社区探索开放词汇分割来克服闭词汇的限制。这种范式利用单词的文本嵌入作为类别标签嵌入，大大增强了模型处理更广泛类别的能力。CLIP等多模态预训练模型利用其从海量互联网数据中学习对齐图像文本特征表示的能力，在开放词汇分割中显示出巨大潜力。

近期的两阶段方法如SimBaseline和OVSeg改编了CLIP进行开放词汇分割，但固有的低效和分割与分类不一致的问题仍然存在。提出单阶段统一框架FC-CLIP正是为解决这一关键问题。

FC-CLIP在共享的冻结卷积CLIP backbone上无缝集成了掩码生成和CLIP分类。这种设计基于以下核心思路:

冻结的CLIP backbone保留了预训练的图像文本对齐，支持开放词汇分类。

添加轻量级解码器后，CLIP backbone可作为强大的掩码生成器。

卷积CLIP在输入尺寸放大时泛化能力提升，适合密集预测任务。

单一冻结卷积CLIP backbone带来极简但高效的设计。相较先前方法，FC-CLIP参数和计算量大幅减少，训练时间也更短，实用性强。在多个数据集上，FC-CLIP都显著提升了状态转换水平。

FC-CLIP开创性的单阶段框架统一了掩码生成和文本匹配分类，具有巨大的潜力推动全景分割向开放词汇场景扩展，实现真正的图像理解和交互。这项突破性工作为端到端的单阶段全景分割方法提供了范例，值得进一步改进和扩展。