concat是通道数增加,add是特征量的相加,通道数不变的例子Resnet是值的重叠,通道数不变
DenseNet是频道合并DenseNet的不足在于由于需要进行多次Concatnate操作,数据需要被复制多次,显存容易增加得很快,需要一定的显存优化技术。另外,DenseNet是一种更为特殊的网络,ResNet则相对一般化一些,因此ResNet的应用范围更广泛。
也就是说,concat层多用于利用不同尺度特征图的语义信息,以增加通道的方式实现高性能,但往往concat应该在BN之后发挥其作用
本文参照文献