ゆる〜く統計学3.4

f:id:shintaro-football7:20191028234754j:plain

作者: 二宮嘉行,大西俊郎,小林景,椎名洋,笛田薫,田中研太郎,岡田謙介,大屋幸輔,廣瀬英雄,折笠秀樹,日本統計学会,竹村彰通,岩崎学
出版社/メーカー: 東京図書
発売日: 2013/04/08
メディア: 単行本
この商品を含むブログ (5件) を見る

第3章「統計的推定」の続きからやっていきます。
テーマ「点推定量の性質」
推定量 $\hat{\theta}$ が真のパラメータ $\theta$ に確率的に近くなるということの自然な基準の一つは平均二乗誤差 $E_{\theta}[(\hat{\theta}-\theta)^2$ ]を小さくすること。
\begin{align}
E_{\theta}[(\hat{\theta}-\theta)^2]=E_{\theta}[\{{(E_{\theta}[\hat{\theta}] - \theta) + (\hat{\theta}-E_{\theta}[\hat{\theta}])}\}^2] = (E_{\theta}[\hat{\theta}] - \theta)^2 + V_{\theta}[\hat{\theta}]
\end{align}
最右辺の第一項の（）の中身がバイアス、第二項がバリアンス（分散）。

〜不偏性〜

不偏推定量とは上記のバイアスが０の時の推定量。

〜一致性〜

今、( $X_1,X_2...,X_n$ )が平均 $\mu$ 、分散 ${\sigma}^2$ の分布から無作為抽出されているとする。標本平均 $\overline{X}_n = \sum_{i=1}^n \frac{X_i}{n}$ は平均 $\mu$ に「確率収束」する。このようにサンプル数nが増大するにつれ真のパラメータに確率収束するとき推定量 $\hat{\theta}_n$ は一致性をもつという。
不偏性は有限のサイズnで成り立つ代わりに任意の期待値ゼロの確率を加えたとしても同じく不偏である点で弱い要請であると言えるが、一致性は推定値自身が真のパラメータに近づくという点でより実用的。

・確率収束とは

◎定義
『ある確率変数列 $X_1,X_2$ ...がある確率変数Xへと確率収束するとは任意の正の実数 $\varepsilon$ について $\lim_{n \to \infty} P(|X_n-X|>\varepsilon) = 0$ が成り立つこと。』

どんなに小さい $\varepsilon$ を持ってきてもそれに応じた $N_{\varepsilon}$ が存在して誤差を小さくできると言っています。

〜有効性〜

・一様最小分散不偏推定量

$\hat{\theta}$ が不偏推定量という条件のもとでは、 $Var [\hat{\theta}$ ]を最小にすることを考えた時、 $Var [\hat{\theta}$ ]は $\theta$ に依らないないから $Var [\hat{\theta}$ ]を最小にする不偏推定量は一様最小分散不偏推定量という。