つくたろうのブログ

ラブライブ!やポケモンなどが好きな大学生、つくたろうの気ままな雑記帳です。好きな物などのレビューもしていきます。

ラプラス分布の微分エントロピーの導出

こんにちは、つくたろうです。

今回は、ラプラス分布に従う確率変数の微分エントロピーの求め方を備忘録的に残しておきたいと思います。

ウィキペディアに値そのものは書いてあるものの、計算の途中経過はGoogleで検索しても出てこないんですよね。

なので、(TeX記法を試したいのもあって)途中結果も含めて丁寧に書いていきたいと思います。

ラプラス分布について

ラプラス分布は連続確率分布の一つで、その確率密度関数f(x)は、 \lambda>0を定数として
\begin{array} {}f(x) = \displaystyle \frac{\lambda}{2} \mathrm{e}^{-\lambda |x|} & (-\infty < x < +\infty) \end{array}
と表すことができます。

微分エントロピーについて

Xを連続型の確率分布に従う確率密度変数とし、Xが従う確率密度関数をf(x)としたとき、微分エントロピーh(f)(またはh(X))は、
\begin{array} {}h(f) = \displaystyle -\int_S f(x) \log_a f(x) dx & (a > 0,a \neq 1) \end{array}
と定義できます。ここでSfの台です。

また、対数の底aによって微分エントロピーの単位が変わります。aは条件を満たせば任意ですが、基本的には底を2として単位をビットとする場合や、底を自然対数の底\mathrm{e}とし単位をナットとする場合が多いと思います。

ラプラス分布の微分エントロピーの導出

さて、さっそくXがラプラス分布に従う場合の微分エントロピーh(f)を求めていきたいと思います。\ln aという表現を使いますが、\ln a = \log_e aです。

※横に長い式はスクロールすると見えます!

また、スマホを横画面表示にするとスクロールせず見れるので是非!

微分エントロピーh(f)は、
\begin{eqnarray} {}h(f)&=& \displaystyle -\int_S f(x) \log_a f(x) dx \\ &=& \displaystyle -\int_{-\infty}^{\infty} \frac{\lambda}{2} \mathrm{e}^{-\lambda |x|} \log_a( \frac{\lambda}{2} \mathrm{e}^{-\lambda |x|}) dx \end{eqnarray}
積分内の絶対値を外して、 \begin{eqnarray}
&=& \displaystyle -\int_0^\infty \lambda \mathrm{e}^{-\lambda x} \log_a (\frac{\lambda}{2} \mathrm{e}^{-\lambda x}) dx \end{eqnarray}
対数の底の変換公式より、積分内の対数の底を自然対数の底に直して、 \begin{eqnarray}
&=& \displaystyle -\frac{1}{\ln a} \int_0^\infty \lambda \mathrm{e}^{-\lambda x} \ln (\frac{\lambda}{2} \mathrm{e}^{-\lambda x}) dx \\ &=& \displaystyle -\frac{1}{\ln a} \int_0^\infty \lambda \mathrm{e}^{-\lambda x} (\ln {\frac{\lambda}{2}} - \lambda x) dx \\ &=& \displaystyle -\frac{1}{\ln a} \left\{ \left( \int_0^\infty \lambda \mathrm{e}^{-\lambda x} \times \ln {\frac{\lambda}{2}} dx \right) - \left( {\lambda}^{2} \int_0^\infty x \mathrm{e}^{-\lambda x} dx \right) \right\} \\ &=& \displaystyle -\frac{1}{\ln a} \left\{ \left( \lambda \ln {\frac{\lambda}{2}} \int_0^\infty \mathrm{e}^{-\lambda x} dx \right) - \left( {\lambda}^{2} \int_0^\infty x \mathrm{e}^{-\lambda x} dx \right) \right\} & \cdots (A) \end{eqnarray}
さてここで、
\begin{eqnarray} \displaystyle \int_0^\infty \mathrm{e}^{-\lambda x} dx &=& \displaystyle \left[ -\frac{1}{\lambda} \mathrm{e}^{-\lambda x} \right]^\infty_0 = \frac{1}{\lambda} & \cdots (1) \end{eqnarray}
および
\begin{eqnarray} \displaystyle \int_0^\infty x \mathrm{e}^{-\lambda x} dx &=& \displaystyle \left[ -\frac{1}{\lambda} \mathrm{e}^{-\lambda x} \left( x + \frac{1}{\lambda} \right) \right]^\infty_0 = \frac{1}{{\lambda}^{2}} & \cdots (2) \end{eqnarray}
であるから、(1),(2)を式(A)に代入すると、
\begin{eqnarray}
(A) &=& \displaystyle -\frac{1}{\ln a} \left( \ln {\frac{\lambda}{2}} - 1 \right) \\ &=& \displaystyle -\frac{1}{\ln a} \left( \ln {\frac{\lambda}{2}} - \ln (\mathrm{e}) \right) & (\because \ln (\mathrm{e}) = 1)\\ &=& \displaystyle \frac{1}{\ln a} \left( \ln (\mathrm{e}) - \ln {\frac{\lambda}{2}} \right) \\ &=& \displaystyle \frac{1}{\ln a} \left( \ln \frac{2 \mathrm{e}}{\lambda} \right) \\ &=& \displaystyle \frac{ \ln \frac{2 \mathrm{e}}{\lambda}}{\ln a} \\ &=& \displaystyle \log_a {\frac{2 \mathrm{e}}{\lambda}} & (\because 対数の底の変換公式) \end{eqnarray}
という計算結果が得られる。

したがって、Xがラプラス分布に従う場合の微分エントロピーh(f)は、 \begin{eqnarray} {}h(f) = \displaystyle \log_a {\frac{2 \mathrm{e}}{\lambda}} & (a > 0, a \neq 1) \end{eqnarray}
と求まる。

おわりに

今回は、「ラプラス分布に従う確率変数の微分エントロピーの求め方」でした。

はじめてTeX記法で数式を書いたので、めちゃくちゃ時間かかりました...(笑)

皆さんの参考になれば幸いです。

間違い等無いように細心の注意を払っておりますが、もし見つけられた方がいらっしゃいましたら遠慮なくコメントしてください。

また、もしこの式の導出で分からない点などありましたら、こちらもコメントくだされば対応いたします!

これからもよろしくお願いします。

2020/06/23 つくたろう

情報理論 -基礎と広がり-

情報理論 -基礎と広がり-


大学生ランキング