0%

ECCV2018 SPG

ECCV2018 SPG

Self-produced Guidance for Weakly-supervised Object Localization 自生成导向的弱监督对象定位

背景

Acol、object mining等方法忽视了像素之间的相关性。

思路

注意力图可以有效地提供每个像素成为前景或背景的概率。虽然高前景/背景概率的像素可能不能覆盖整个目标物体/背景,但它们仍然为获取目标物体的一些共同模式提供了重要线索。

在此基础上,我们可以简单地利用这些可靠的前景/背景种子作为监督,鼓励网络感知前景物体和背景区域的分布。由于具有相关性的像素(例如在相同的对象或背景中)通常具有相似的外观,更可靠的前景/背景像素可以很容易地通过学习发现的种子。利用更可靠的引导像素进行监控,可以逐步将整个前景对象从背景中区分出来,最终有利于弱目标的定位

SPG方法概述

image-20220427201040021

利用分类网络生成注意力图,按照置信度高低分为三个区域,高置信度区域为目标,低置信度区域为背景,中等置信度区域为未确定。

将深层特征图的注意力利用阈值得到前景和背景、位置区域的掩码,作为浅层网络产生的特征图的监督信息。

将前景(即感兴趣的对象)与背景分开,为分类网络提供像素的空间相关信息。然后将生成的 SPG 掩码用作辅助监督,以鼓励网络学习像素之间的相关性。因此,同一对象内的像素在特征图中将具有相同的响应。由于详细信息(即对象边缘和边界)在顶级特征图中通常非常抽象,因此我们使用中间特征来生成精确的 SPG 掩码。

实验

Datasets

ILSVRC 2016

CUB-200-2011