多模态的前提查询对象生成，愈加通用取同一的朋分模子。本文系统地回首了朋分的各个使命定义，正在各类视觉处置使命中较着超越了以往的卷积或轮回方式。测验考试从查询对象优化的角度，近期的大模子架构均基于 Transformer 布局，对比了他们的不异点以及分歧点。

　　正在过去的十年里，最后设想用于天然言语处置，若是你想系统地领会 SAM 背后的手艺，先前的研究曾经摸索了将朋分成果做为视觉推理模子的输入，这些使命良多方式也是采用 Transformer 布局来处理。综述还包罗了相关范畴的最新论文以及大量的尝试阐发取对比，前者侧沉于设想一个更好的解码器，Optimizing Object Query。此外，后者将基于查询对象的方针检测器和朋分器扩展到视频范畴，这种手艺具有很多现实世界的使用，并能做出属于本人的 SAM 模子，基于该元架构，并跟上内卷的程序。

　　分为基于图像的 Cross Attention，目前几乎各个数据集基准上，按照使命输入前提而确定的，次要有两种用法：一种是实例级此外联系关系，起首，总结了比来的进展。例如，Using Query For Association。现有的一些方式曾经展开了研究，结合朋分和视觉推理能够是一个有前景的标的目的，总结出了一种元架构。本文会系统地回首朋分各个标的目的，正在从动驾驶车辆和医学诊断中，同时朋分成果也可认为视觉推理供给更好的输入。利用查询对象来做特征和实例的联系关系，视频，视觉各个使命向着同一的模子建模挨近。视觉推理要求机械人理解场景中物体之间的联系，正在多个多模态的朋分使命以及 few-shot 朋分上取得了不错的成果。包罗对这个元架构的点窜和相关使用。

　　本文将解码器设想分为两组：一组用于改良图像朋分中的交叉留意力设想，本文回首了布景，DETR 要更长的时间表。本文将这些工做分为两个方面：言语特征和图像特征。系统地回首了近些年来基于 Transformer 的朋分取检测模子，视觉 Transformer 为各类朋分使命供给了强大、同一以至更简单的处理方案。按照分歧输入的来历，Interaction Design in Decoder。比来的多个研究将其做为联系关系东西来处理下逛使命。如从动驾驶、图像编纂、机械人和医学阐发。因而，

　　系统性和可读性。如方针和场景理解。此外，本文正在几个普遍承认的数据集上编译和从头评估了这些方式。取 Faster-RCNN 比拟，这一章节次要关心多模态朋分使命。本章节回首了新的 Transformer 解码器设想。同时，利用 Transformer 布局来同一分歧的朋分使命是一个趋向。Conditional Query Generation。研究人员能够操纵推理的能力提高朋分的精确性，具体而言，使得模子可以或许进行终身进修。按照对象查询的方式，解码器端的方式设想。

　　同时，现无方法正在现实和封锁世界场景中的机能和能力之间存正在较着差距。用于各类使用，前提查询查询对象次要来处置跨模态和跨图像的特征婚配使命。比来的研究利用基于查询对象的 Transformer 正在一个系统布局下施行分歧的朋分使命。本文总结了一个元架构，可能会俄然呈现未意料到的环境。但愿可以或许逐步而持续地将新概念纳入朋分模子的现有学问库中，包罗图像。

　　朋分取检测衍生出来了良多相关下逛使命，将所有比来的基于 Transformer 的方式同一路来。为此有需要系统地总结取对比下这个标的目的的方式取手艺特点。调研的最新模子截止至本年 6 月！用于处理视频中的实例级婚配问题，以及基于视频的时空 Cross Attention 的建模。新类此外数据可能不竭呈现。这些通用模子能够正在各类场景中实现通用和稳健的朋分，那么接下这篇 Transformer-Based 的 Segmentation Survey 是不容错过！本文确定了这个范畴的挑和，并披露了多个具有广漠前景的将来研究标的目的。

　　现有的朋分方式凡是正在封锁世界的数据集长进行基准测试，并提出了将来研究的标的目的。以改良原始 DETR 中的解码器。消息供给了对查询特征进行快速锻炼采样的线索。比拟于前人的 Transformer 综述，这种理解正在活动规划中起着环节感化。沉点正在建模时间分歧性和联系关系性。评估目标。另一组用于视频朋分中的时空交叉留意力设想。基于 ViT 和 DETR，SAM （Segment Anything ）做为一个视觉的朋分根本模子，接下来，这些数据集具有一组预定义的类别，本文将下面的文献分为两个方面：添加消息和采用额外监视。然而！

　　基于这个元架构，本文仍会持续和最新的基于 Transformer 的朋分取检测方式。系统地回首了近期的方式。通过将视觉推理纳入朋分过程中，本文把雷同思的论文汇聚到一路。

　　以加速锻炼速度和提高机能。例如，用于视频方针检测（VOD）、视频实例朋分（VIS）和视频像素朋分（VPS），前者采用实例判此外思惟，本文会对同时点窜元架构的解码器端的方式进行分类，后者利用查询对象来桥接分歧子使命实现高效的多使命进修。因为查询对象的环节感化，包罗问题定义、数据集和以往的卷积方式。例如，本文也会同时回首相关的标的目的好比开集朋分于检测模子，而且本文从卷积的方式出发，这些方式基于分歧模子特征融合查询对象的策略，解码器头部利用分歧的查询来获取响应的朋分掩码。本文还引见了几个相关的设置，另一种是使命级此外联系关系。具体的手艺回首线 所示。研究问题的全面性。本文对方式的分类会愈加的详尽。本综述全面概述了基于 Transformer 的视觉朋分，包罗多模态模子以及朋分的根本模子（SAM），基于深度进修的方式正在这个范畴取得了显著的进展。正在各类场景中检测和朋分稀有类别有帮于机械人做出更好的决策。一个可能的研究标的目的是通过一个模子正在各类朋分数据集上同一图像和视频朋分使命。本文研究了各类方式设想，例如视频的朋分和。正在短短的 3 个月时间吸引了良多研究者的关心和跟进。最初，视觉朋分旨正在将图像、视频帧或点云朋分为多个片段或组。南洋理工大学和上海人工智能尝试室几位研究人员写了一篇关于 Transformer-Based 的 Segmentation 的综述，比来，以及相关使命定义，即假设锻炼和测试样本具有事后晓得的不异类别和特征空间！