ラプラス分布について

ラプラス分布は連続確率分布の一つで、その確率密度関数 $f(x)$ は、 $\lambda>0$ を定数として
\begin{array} {}f(x) = \displaystyle \frac{\lambda}{2} \mathrm{e}^{-\lambda |x|} & (-\infty < x < +\infty) \end{array}
と表すことができます。

微分エントロピーについて

$X$ を連続型の確率分布に従う確率密度変数とし、 $X$ が従う確率密度関数を $f(x)$ としたとき、微分エントロピー $h(f)$ （または $h(X)$ ）は、
\begin{array} {}h(f) = \displaystyle -\int_S f(x) \log_a f(x) dx & (a > 0,a \neq 1) \end{array}
と定義できます。ここで $S$ は $f$ の台です。

また、対数の底 $a$ によって微分エントロピーの単位が変わります。 $a$ は条件を満たせば任意ですが、基本的には底を２として単位をビットとする場合や、底を自然対数の底 $\mathrm{e}$ とし単位をナットとする場合が多いと思います。

ラプラス分布の微分エントロピーの導出

さて、さっそく $X$ がラプラス分布に従う場合の微分エントロピー $h(f)$ を求めていきたいと思います。 $\ln a$ という表現を使いますが、 $\ln a = \log_e a$ です。

※横に長い式はスクロールすると見えます！

また、スマホを横画面表示にするとスクロールせず見れるので是非！

微分エントロピー $h(f)$ は、
\begin{eqnarray} {}h(f)&=& \displaystyle -\int_S f(x) \log_a f(x) dx \\ &=& \displaystyle -\int_{-\infty}^{\infty} \frac{\lambda}{2} \mathrm{e}^{-\lambda |x|} \log_a( \frac{\lambda}{2} \mathrm{e}^{-\lambda |x|}) dx \end{eqnarray}
積分内の絶対値を外して、 \begin{eqnarray}
&=& \displaystyle -\int_0^\infty \lambda \mathrm{e}^{-\lambda x} \log_a (\frac{\lambda}{2} \mathrm{e}^{-\lambda x}) dx \end{eqnarray}
対数の底の変換公式より、積分内の対数の底を自然対数の底に直して、 \begin{eqnarray}
&=& \displaystyle -\frac{1}{\ln a} \int_0^\infty \lambda \mathrm{e}^{-\lambda x} \ln (\frac{\lambda}{2} \mathrm{e}^{-\lambda x}) dx \\ &=& \displaystyle -\frac{1}{\ln a} \int_0^\infty \lambda \mathrm{e}^{-\lambda x} (\ln {\frac{\lambda}{2}} - \lambda x) dx \\ &=& \displaystyle -\frac{1}{\ln a} \left\{ \left( \int_0^\infty \lambda \mathrm{e}^{-\lambda x} \times \ln {\frac{\lambda}{2}} dx \right) - \left( {\lambda}^{2} \int_0^\infty x \mathrm{e}^{-\lambda x} dx \right) \right\} \\ &=& \displaystyle -\frac{1}{\ln a} \left\{ \left( \lambda \ln {\frac{\lambda}{2}} \int_0^\infty \mathrm{e}^{-\lambda x} dx \right) - \left( {\lambda}^{2} \int_0^\infty x \mathrm{e}^{-\lambda x} dx \right) \right\} & \cdots (A) \end{eqnarray}
さてここで、
\begin{eqnarray} \displaystyle \int_0^\infty \mathrm{e}^{-\lambda x} dx &=& \displaystyle \left[ -\frac{1}{\lambda} \mathrm{e}^{-\lambda x} \right]^\infty_0 = \frac{1}{\lambda} & \cdots (1) \end{eqnarray}
および
\begin{eqnarray} \displaystyle \int_0^\infty x \mathrm{e}^{-\lambda x} dx &=& \displaystyle \left[ -\frac{1}{\lambda} \mathrm{e}^{-\lambda x} \left( x + \frac{1}{\lambda} \right) \right]^\infty_0 = \frac{1}{{\lambda}^{2}} & \cdots (2) \end{eqnarray}
であるから、 $(1),(2)$ を式 $(A)$ に代入すると、
\begin{eqnarray}
(A) &=& \displaystyle -\frac{1}{\ln a} \left( \ln {\frac{\lambda}{2}} - 1 \right) \\ &=& \displaystyle -\frac{1}{\ln a} \left( \ln {\frac{\lambda}{2}} - \ln (\mathrm{e}) \right) & (\because \ln (\mathrm{e}) = 1)\\ &=& \displaystyle \frac{1}{\ln a} \left( \ln (\mathrm{e}) - \ln {\frac{\lambda}{2}} \right) \\ &=& \displaystyle \frac{1}{\ln a} \left( \ln \frac{2 \mathrm{e}}{\lambda} \right) \\ &=& \displaystyle \frac{ \ln \frac{2 \mathrm{e}}{\lambda}}{\ln a} \\ &=& \displaystyle \log_a {\frac{2 \mathrm{e}}{\lambda}} & (\because 対数の底の変換公式) \end{eqnarray}
という計算結果が得られる。

したがって、 $X$ がラプラス分布に従う場合の微分エントロピー $h(f)$ は、 \begin{eqnarray} {}h(f) = \displaystyle \log_a {\frac{2 \mathrm{e}}{\lambda}} & (a > 0, a \neq 1) \end{eqnarray}
と求まる。