文章来源于互联网:统一细粒度感知！北大&阿里提出UFO：无需SAM，16个token让MLLM实现精准分割

• 论文标题：UFO: A Unified Approach to Fine-grained Visual Perception via Open-ended Language Interface

• 论文链接：https://arxiv.org/abs/2503.01342

• 开源代码：https://github.com/nnnth/UFO

• 开源模型：https://huggingface.co/kanashi6/UFO

在执行分割时，模型被训练输出标记，如上图（a）所示。给定输入图像和分割提示，模型生成文本响应以及相应的文本特征和图像特征：

从中提取与标记对应的掩码标记特征。然后通过缩放点积计算掩码标记特征与图像特征之间的相似性。检索正分数以形成二值掩码。该过程表示为：

其中 d 是特征维度，表示相似性分数，是指示函数，将相似性分数转换为二值掩码。

给定图像，下采样后的图像特征为 ，模型需要自回归地预测个标记，其特征表示为 。每个标记对应于 NxN 上采样网格中的一个位置，如上图（b）所示。

对于每个掩码标记特征 ，计算其与视觉特征的相似性，得到然后，这些分数被连接并重塑为上采样后的相似性图：

最后在中检索正分数，以生成上采样后的二值掩码 。默认情况下，N 设置为 4，预测 16 个标记，这将输出掩码上采样 4 倍。

文章来源于互联网:统一细粒度感知！北大&阿里提出UFO：无需SAM，16个token让MLLM实现精准分割