CVPR2021 DAP:Detection-Aware Pre-training with Weak Supervision
DAP:Detection-Aware Pre-training with Weak Supervision
使用WSOL方法来预训练目标检测网络
传统的分类预训练加微调方式存在的问题
传统的分类预训练加微调只包含DAP工作流程中的1和4
分类预训练带来的目标检测经验增益随着预训练数据集的不断增大而递减，且当数据集足够大时，随机初始化也能得到和分类预训练加微调类似的较好结果。
本文认为预训练和微调任务的不匹配造成了分类预训练的增益递减。不匹配体现在：
- 现有的分类预训练通常不知道下游的检测任务。预训练采用单一的全图像分类损失，鼓励平移和尺度不变特征，而检测微调涉及几种不同的分类和回归损失，对目标位置和尺度敏感。
- 数据分布不一致。在分类预训练中，检测所需要的定位信息并没有明确提供。
- 架构不一致。用于预训练的网络是一个裸骨干网，如ResNet模型，然后是平均池化和线性分类层。相比之下，目标检测器中的网络包含各种附加的架构组件，如区域建议网络(RPN)、特征金字塔网络(FPN)、ROI分类头和边界框回归头等。检测器中这些独特的架构组件没有经过预先训练，而是在检测微调中随机初始化，这可能是次优的。
DAP工作流程
- 弱监督数据集上进行分类器预训练
- 使用WSOL方法生成为标签标注框
- 使用为标签进行检测器预训练
- 检测数据集微调训练