RPN网络处理流程:
1、在底层共享卷积层的输出特性图上,每个位置中心生成k个anchor,计算anchor和原图像GT的IoU,根据IoU的结果,anchor的label为正类1,负类0,忽略-1
2 )然后对feature map进行两个卷积。 卷积内核分别为1x1x2k和1x1x4k,表示RPN网络输出的各anchor中包含的物体的概率值和物体的坐标
3、将RPN网络输出的每个anchor的概率得分和每个anchor的物体坐标作为预测信号,将步骤1中计算出的每个anchor的label及其对应的Ground Truth的坐标作为监视信号,计算RPN网络的损耗,并
4 .基于损耗函数优化RPN网络的输出结果,使得RPN网络输出的region proposal中包含物体的概率得分和物体坐标位置更加准确
5、RPN网络的输出结果(anchor的概率分数和坐标位置)为区域传播,对区域传播进行NMS,只留下预测概率高的区域传播,ROI轮询层
RPN分类分支:计算RPN在每个滑动窗口位置的预测概率和anchor真标签的分类损失
将33558www.Sina.com/anchor及其对应的Ground Truth的bounding box作为监视信号,将RPN在各滑动位置的预测坐标与anchor的对应关系作为预测信号,将RPN的预测结果设为更高级的ground
RPN回归分支:
为什么要引入anchor ?为什么不直接计算Ground Truth与预测结果之间的损失,而要通过anchor来计算预测损失?
备注:在Faster R-CNN论文中,anchor_scale=[ 128,256,512 ]相对于原始像素,在采用VGG16作为主干网络的情况下,anchor _ scale与VGG16的输出相对应