到底什么是L2 Norm

2019-04-14 12:43发布生成海报

站内文章 / 模拟电子

14008 0

class="markdown_views prism-github-gist"> 最近复现论文有这么一个结构：
在这里插入图片描述

池化之后有一个l2-norm。norm是normalization的缩写。Ok，看看这是啥：
在这里插入图片描述

标准化？正规化？归一化？…

正确答案

L2归一化：将一组数变成0-1之间。pytorch调用的函数是F.normalize。文档是这样写的：
在这里插入图片描述

对于L2来说，p=2，分母就是

sqrt{( x_1^2 + x_2^2 + ... +x_n^2)}

，分子是

x_i

。所以如果有一个tensor长这样：
在这里插入图片描述

frac{20.2}{sqrt{20.2^2+30.3^2}}=0.5547001962252291

frac{30.3}{sqrt{20.2^2+30.3^2}}=0.8320502943378437

frac{40.4}{sqrt{40.4^2+50.5^2}}=0.6246950475544243

frac{50.5}{sqrt{40.4^2+50.5^2}}=0.7808688094430304

现在我们来验证一下：
在这里插入图片描述

嘻嘻，666！