特殊函数

特殊函数

sigmoid 函数

σ(x)=11+exp(x)\sigma(x)=\frac{1}{1+\exp (-x)}

该函数可以用于生成二项分布的 $\phi$ 参数,当 $x$ 很大或者很小时,该函数处于饱和状态。此时函数的曲线非常平坦,并且自变量的一个较大的变化只能带来函数值的一个微小的变化,即:导数很小。

sigmoid 函数遵循以下性质:

σ(x)=exp(x)exp(x)+exp(0)ddxσ(x)=σ(x)(1σ(x))1σ(x)=σ(x)\sigma(x)=\frac{\exp (x)}{\exp (x)+\exp (0)} \\ {\frac{d}{d x} \sigma(x)=\sigma(x)(1-\sigma(x))} \\ {1-\sigma(x)=\sigma(-x)}

softplus 函数

ζ(x)=log(1+exp(x))\zeta(x)=\log (1+\exp (x))

该函数可以生成正态分布的 $\sigma^{2}$ 参数,该函数之所以被称为 softplus,是因为其是 $x^{+}=\max (0, x)$ 函数的光滑逼近:

对于函数 $x^{+}=\max (0, x)$ 以及 $x^{-}=\max (0, -x)$,它们分别获取了 $y=x$ 的正部门和负部分。根据定义有 $x = x^{+} - x^{-}$,而 $\zeta(x)$ 逼近的是 $x^{+}$,$\zeta(-x)$ 逼近的是 $x^{-}$,于是有:

ζ(x)ζ(x)=x\zeta(x)-\zeta(-x)=x

softplus 与 sigmoid 有很多相通的性质:

logσ(x)=ζ(x)ddxζ(x)=σ(x)x(0,1),σ1(x)=log(x1x)x>0,ζ1(x)=log(exp(x)1)ζ(x)=xσ(y)dyζ(x)ζ(x)=x{\log \sigma(x)=-\zeta(-x)} \\ {\frac{d}{d x} \zeta(x)=\sigma(x)} \\ {\forall x \in(0,1), \sigma^{-1}(x)=\log \left(\frac{x}{1-x}\right)} \\ {\forall x>0, \zeta^{-1}(x)=\log (\exp (x)-1)} \\ {\zeta(x)=\int_{-\infty}^{x} \sigma(y) d y} \\ {\zeta(x)-\zeta(-x)=x}

其中 $f^{-1}(\cdot)$ 为反函数,$\sigma^{-1}(x)$ 也称作 logit 函数:

伽马函数

伽马函数定义为:

Γ(x)=0+tx1etdt,xR or. Γ(z)=0+tz1etdt,zZ\begin{array}{c}{\Gamma(x)=\int_{0}^{+\infty} t^{x-1} e^{-t} d t \quad, x \in \mathbb{R}} \\ {\text { or. } \quad \Gamma(z)=\int_{0}^{+\infty} t^{z-1} e^{-t} d t \quad, z \in \mathbb{Z}}\end{array}

$\Gamma$ 函数的性质有:

  • 对于正整数 $n$ 有:$\Gamma(n)=(n-1) !$

  • $\Gamma(x+1)=x \Gamma(x)$,伽马函数是阶乘在实数域上的扩展。

  • 与 Beta 函数的关系:

B(m,n)=Γ(m)Γ(n)Γ(m+n)B(m, n)=\frac{\Gamma(m) \Gamma(n)}{\Gamma(m+n)}
  • 对于 $x \in(0,1)$ 有:

Γ(1x)Γ(x)=πsinπx\Gamma(1-x) \Gamma(x)=\frac{\pi}{\sin \pi x}

即 $\Gamma\left(\frac{1}{2}\right)=\sqrt{\pi}$,当 $x$ 足够大时,可以使用 Stirling 公式来计算 Gamma 函数值:$\Gamma(x) \sim \sqrt{2 \pi} e^{-x} x^{x+1 / 2}$。

Beta 函数

对于任意实数 $m, n>0$,Beta 函数的定义为:

B(m,n)=01xm1(1x)n1dxB(m, n)=\int_{0}^{1} x^{m-1}(1-x)^{n-1} d x

其他形式的定义还包含:

B(m,n)=20π2sin2m1(x)cos2n1(x)dxB(m,n)=0+xm1(1+x)m+ndxB(m,n)=01xm1+xn1(1+x)m+ndx\begin{array}{c}{B(m, n)=2 \int_{0}^{\frac{\pi}{2}} \sin ^{2 m-1}(x) \cos ^{2 n-1}(x) d x} \\ {B(m, n)=\int_{0}^{+\infty} \frac{x^{m-1}}{(1+x)^{m+n}} d x} \\ {B(m, n)=\int_{0}^{1} \frac{x^{m-1}+x^{n-1}}{(1+x)^{m+n}} d x}\end{array}

性质

  • 连续性,Beta 函数在定义域 $m, n>0$ 内连续

  • 对称性,$B(m, n)=B(n, m)$

  • 递推公式:

B(m,n)=n1m+n1B(m,n1),m>0,n>1B(m,n)=m1m+n1B(m1,n),m>1,n>0B(m,n)=(m1)(n1)(m+n1)(m+n2)B(m1,n1),m>1,n>1\begin{array}{l}{B(m, n)=\frac{n-1}{m+n-1} B(m, n-1), \quad m>0, n>1} \\ {B(m, n)=\frac{m-1}{m+n-1} B(m-1, n), \quad m>1, n>0} \\ {B(m, n)=\frac{(m-1)(n-1)}{(m+n-1)(m+n-2)} B(m-1, n-1), \quad m>1, n>1}\end{array}
  • 当 $m,n$ 较大时,有近似公式:

B(m,n)=(2π)mm1/2nn1/2(m+n)m+n1/2B(m, n)=\frac{\sqrt{(2 \pi) m^{m-1 / 2} n^{n-1 / 2}}}{(m+n)^{m+n-1 / 2}}
  • 与 Gamma 函数关系

对于任意正实数 $m, n>0$,有

B(m,n)=Γ(m)Γ(n)Γ(m+n)B(m, n)=\frac{\Gamma(m) \Gamma(n)}{\Gamma(m+n)}

且 $B(m, 1-m)=\Gamma(m) \Gamma(1-m)$。