从指数分布族到广义线性模型再到逻辑回归的sigmoid

2019-04-13 20:33发布

指数分布族须满足这个公式形式:       其中  叫自然参数,一般是一个实数, 叫做充分统计量,统计学里的知识,一般为等于。                            当 不同时,分布就不同。     指数分布族包括很多(高斯分布,伯努利分布,泊松分布,伽马分布,指数分布等等) 下面证明伯努利分布属于指数分布族(对应逻辑斯蒂回归):    伯努利分布:          等于1的概率                  对照两个式子得出:                      ;                          所以伯努利分布满足指数分布族式子规范,即属于指数分布族。      且根据 得到     广义线性模型必须满足三个假设(嫌字多直接跳到我下面的解释):       解释下这三个假设从而推出sigmoid:    第一项,属于指数分布族,逻辑斯蒂回归满足。(因为逻辑回归假设x条件下y服从伯努利分布)    第二项,学习的输出即preY=E(T(y)|x),这里E(T(y)|x)就是x条件下y的期望,怎么计算?回忆下概率     论的知识,y是随机变量, 取值为{0,1},概率 p(y=1)=,则期望=1*  p(y=1)+0*p(y=0)       = ,所以preY=,又根据上述推导,所以preY=    第三项,推出sigmoid函数。         好多博客说法很不规范,包括将预测的函数说成目标函数,还有推导也不清晰,所以自己总结了下,只证明逻辑回归,线性回归的话请看下面的链接。参考了此博客(这篇相对很规范也很清晰):   http://blog.csdn.net/pi9nc/article/details/12571657 转自博客:https://blog.csdn.net/shevchenkoniit/article/details/79593837