【torch】torch.cat和直接相加的区别

描述

项目里有这样一句代码：
out2 = self.conv_blk(torch.cat([x, out1], dim=1))
x和out1的形状都是这样的：
--------out1.shape: torch.Size([16, 180, 32, 32])
channel_first格式，即通道数为180
尝试输出out2的形状后，结果为：
--------out2_input.shape: torch.Size([16, 360, 32, 32])

解析

可以看出，torch.cat()函数的作用是两个张量按通道合并起来
所以cat后，通道数翻倍了（也可以看出用cat时，两个张量的通道数不必一致）
如果想要实现残差连接的话，直接用+即可（但是通道数要保证一致）