class="markdown_views prism-github-gist">
最近复现论文有这么一个结构:
池化之后有一个
l2-norm
。
norm
是
normalization
的缩写。Ok,看看这是啥:
标准化?正规化?归一化?…
正确答案
L2归一化:将一组数变成0-1之间。
pytorch
调用的函数是
F.normalize
。文档是这样写的:
对于L2来说,p=2,分母就是
(x12+x22+...+xn2),分子是
xi。所以如果有一个tensor长这样:
20.22+30.3220.2=0.5547001962252291
20.22+30.3230.3=0.8320502943378437
40.42+50.5240.4=0.6246950475544243
40.42+50.5250.5=0.7808688094430304
现在我们来验证一下:
嘻嘻,666!