徒然weed

アウトプットの場

ゆる〜く統計学3.4

f:id:shintaro-football7:20191028234754j:plain

日本統計学会公式認定 統計検定1級対応 統計学

日本統計学会公式認定 統計検定1級対応 統計学

  • 作者: 二宮嘉行,大西俊郎,小林景,椎名洋,笛田薫,田中研太郎,岡田謙介,大屋幸輔,廣瀬英雄,折笠秀樹,日本統計学会,竹村彰通,岩崎学
  • 出版社/メーカー: 東京図書
  • 発売日: 2013/04/08
  • メディア: 単行本
  • この商品を含むブログ (5件) を見る
第3章「統計的推定」の続きからやっていきます。
テーマ「点推定量の性質」
定量\hat{\theta}が真のパラメータ\thetaに確率的に近くなるということの自然な基準の一つは平均二乗誤差E_{\theta}[(\hat{\theta}-\theta)^2]を小さくすること。
\begin{align}
E_{\theta}[(\hat{\theta}-\theta)^2]=E_{\theta}[\{{(E_{\theta}[\hat{\theta}] - \theta) + (\hat{\theta}-E_{\theta}[\hat{\theta}])}\}^2] = (E_{\theta}[\hat{\theta}] - \theta)^2 + V_{\theta}[\hat{\theta}]
\end{align}
最右辺の第一項の()の中身がバイアス、第二項がバリアンス(分散)。

〜不偏性〜

不偏推定量とは上記のバイアスが0の時の推定量

〜一致性〜

今、(X_1,X_2...,X_n)が平均 \mu、分散 {\sigma}^2の分布から無作為抽出されているとする。標本平均 \overline{X}_n = \sum_{i=1}^n \frac{X_i}{n}は平均\muに「確率収束」する。このようにサンプル数nが増大するにつれ真のパラメータに確率収束するとき推定量\hat{\theta}_nは一致性をもつという。
不偏性は有限のサイズnで成り立つ代わりに任意の期待値ゼロの確率を加えたとしても同じく不偏である点で弱い要請であると言えるが、一致性は推定値自身が真のパラメータに近づくという点でより実用的。

・確率収束とは

◎定義
『ある確率変数列X_1,X_2...がある確率変数Xへと確率収束するとは任意の正の実数\varepsilonについて\lim_{n \to \infty} P(|X_n-X|>\varepsilon) = 0が成り立つこと。』

どんなに小さい\varepsilonを持ってきてもそれに応じたN_{\varepsilon}が存在して誤差を小さくできると言っています。

〜有効性〜

・一様最小分散不偏推定量

\hat{\theta}が不偏推定量という条件のもとでは、Var [\hat{\theta}]を最小にすることを考えた時、Var [\hat{\theta}]は\thetaに依らないないからVar [\hat{\theta}]を最小にする不偏推定量は一様最小分散不偏推定量という。

・クラメール-ラオの下限

不偏推定量\hat{\theta}に対して以下を満たす。
\begin{align}
V[\hat{\theta}] \geq J_n(\theta)^{-1}
\end{align}
ただしJ_n(\theta)^{-1}をフィッシャー情報量とする。
(証明:第3講 統計的推定 - 漸近理論 - クラメール・ラオの下限 (情報量不等式) | DataArts - 統計検定 1級・準1級対策講座,過去問の解答(解答例)・解説を掲載.)

V[\hat{\theta}] = J_n(\theta)^{-1}、つまり不偏推定量\hat{\theta}がクラメールラオの下限に達していとき、不偏推定量を有効推定量という。有効推定量はすべて一様最小分散推定量である。

本日のおまけ
相も変わらずオーディション番組好きマンです。