主题

图像分割

在图像与视频中分离对象的可提示和自动化系统。

对比与解读

图像分割 · Mask2Former vs Mask R-CNN vs SAM vs SAM 2

43.7 对 37.2,Mask2Former 领先 Mask R-CNN;SAM 零样本 46.5 对 51.0;SAM 2 视频 76.8 J&F 超 XMem 60.1,快 6 倍。

DeepLab:空洞卷积语义分割把语义图像分割落到具体方法和可检查结果上,适合判断该方向的真实进展。

Mask R-CNN:实例分割经典框架把实例分割落到具体方法和可检查结果上,适合判断该方向的真实进展。

U-Net:生物医学图像分割基线把生物医学图像分割落到具体方法和可检查结果上,适合判断该方向的真实进展。

Mask2Former 用 masked attention 统一语义、实例和全景分割,COCO panoptic 达 57.8 PQ,ADE20K 达 57.7 mIoU。

Meta AI 的 SAM 把分割重构为可提示任务，并配套 SA-1B 数据集（1100 万图像、11 亿掩码），让单一模型零样本迁移到新对象与新分布。

SAM 2 用流式记忆模块让一次点击跟住整段视频里的对象,视频分割交互比此前方法少约三分之二,图像分割比初代 SAM 快 6 倍。