第7章 推定

注意:数式が適切に表示されるまで,少し時間がかかります.

統計検定2級対策として学習しているテキスト, 村上正康・安田正實『統計学演習』(培風館)第7章の補足解説を提供します.

この章について

点推定と区間推定を学習します. 統計検定2級での,推定についての出題項目は, 推定量の一致性・不偏性,区間推定,母平均・母比率・母分散の区間推定, となっています. この第7章には有効推定量と最尤推定量の問題が含まれていますが, これらは2級の出題範囲外になります. 2級の出題範囲にあって,この第7章に含まれていない事項は, 母相関の区間推定です. 区間推定は公式集を見なくても実行できるようにしてください.

例題

例題1
問題集の解答例では推定量と推定値の記号を使い分けています. 標本平均は,推定量としては大文字で X - と表し.具体的な推定値の計算では小文字で x - と表しています. 同様に,標本不偏分散は,推定量としては U 2 と大文字で表し.具体的な推定値の計算では u 2 と小文字で表しています.
標本不偏分散の推定値 u 2 の計算では,定義に従って偏差平方和

i = 1 n ( x i - x - ) 2 = ( 18 - 23.1 ) 2 + ( 25 - 23.1 ) 2 + + ( 24 - 23.1 ) 2

を計算することは大変です.かわりに,偏差平方和を変形した

i = 1 n ( x i - x - ) 2 = i = 1 n x i 2 - 2 x - i = 1 n x i + n x - 2 = i = 1 n x i 2 - 2 n x - 2 + n x - 2 = i = 1 n x i 2 - n x - 2 = i = 1 n x i 2 - n ( 1 n i = 1 n x i ) 2 = i = 1 n x i 2 - 1 n ( i = 1 n x i ) 2

を使うことができます.しかし,この式変形の結果は覚えていないかもしれません. 偏差平方和を標本の大きさ n で割った分散が「(2乗の平均)-(平均の2乗)」であること, すなわち,

1 n i = 1 n ( x i - x - ) 2 = 1 n i = 1 n x i 2 - ( 1 n i = 1 n x i ) 2

は記憶しているでしょうから,これを使えばいいでしょう. この式で求められる分散に n をかけて, n - 1 で割れば,標本不偏分散の推定値 u 2 が求められます.すなわち,

u 2 = 10 10 - 1 { 1 10 ( 18 2 + 25 2 + + 24 2 ) - ( 23.1 ) 2 } = 1 9 { ( 18 2 + 25 2 + + 24 2 ) - 10 × ( 23.1 ) 2 }

と計算することができます.
こうした計算を紙と鉛筆(と電卓)を使って実行することは, 理論を理解する助けになると思いますが, 実際のデータ分析ではもちろんソフトウェアを使って推定値を得ます. エクセルを使うのであれば,標本平均の計算には AVERAGE 関数,標本不偏分散の計算には VAR.S 関数を使います. R を使うのであれば,標本平均の計算には mean 関数,標本不偏分散の計算には var 関数を使います. 下図は R での分析例です.
例題1を R で分析
例題2
この例題からわかるように.母平均 μ の不偏推定量の構成方法はいくらでもあります. そうしたたくさんの推定量の中でよりよいものを選ぶ基準が 有効性(efficiency)です. 不偏推定量はその期待値が母数(母集団での真の値)に一致しますが, 分散が大きければ母数とかなり異なった値となることも多いでしょう. そこで,不偏推定量の中で,分散の小さなものほど望ましいことになります.
統計量

T 3 = 1 3 ( X 1 + X 2 + X 3 )

は標本平均 X - ですね.第6章で学習したように,大きさ n の標本での標本平均 X _ の分散は

V X - = σ 2 n

となります.
この例題では,統計量 T 3 が統計量 T 1 および T 2 と比較してより有効な(more efficient)推定量であることを調べましたが, 母集団分布が正規分布の場合,母平均 μ のあらゆる不偏推定量の中で, 標本平均 T 3 は分散が最も小さいのです. 統計検定2級の範囲を超えるのでこの証明は省略します. 証明の概略だけ述べると, 不偏推定量の分散の下限を与える クラメール・ラオの不等式 (Cramer-Rao inequality)という不等式があり, 標本平均の分散 σ 2 n がこの下限に一致することを示します. 最小の分散を持つ不偏推定量のことを 有効推定量(efficient estimator)と呼びます. 例題4も参照してください.
例題3
平均 μ,分散 σ 2 の母集団から大きさ n の標本を得たとき,

U 2 = 1 n - 1 i = 1 n ( X i - X _ ) 2

は母集団分散 σ 2 の不偏推定量となります.
この証明には2つの方法がよく知られています.ひとつがテキストに書かれている証明で, 確率変数の分散が「(2乗の期待値)-(期待値の2乗)」であることを利用します. すなわち,標本に含まれる X i について

V X i = E X i 2 - E X i 2

であり,標本平均 X _ について

V X _ = E X _ 2 - E X _ 2

であることを利用します.テキストでの証明はここでの記号が不適切です.

σ 2 = E X 2 - μ 2

E X 2 = σ 2 + μ 2

という式は,添え字 i を使って

σ 2 = E X i 2 - μ 2

E X i 2 = σ 2 + μ 2

と書くべきでしょう.X という確率変数は定義されていません.
もうひとつのよく知られた証明を以下に示します.まず,偏差平方和の式を変形します. 母平均 μ を入れるところがポイントです.

i = 1 n ( X i - X _ ) 2 = i = 1 n { ( X i - μ ) - ( X _ - μ ) } 2 = i = 1 n { ( X i - μ ) 2 - 2 ( X _ - μ ) ( X i - μ ) + ( X _ - μ ) 2 } = i = 1 n ( X i - μ ) 2 - 2 ( X _ - μ ) i = 1 n ( X i - μ ) + i = 1 n ( X _ - μ ) 2 = i = 1 n ( X i - μ ) 2 - 2 ( X _ - μ ) ( i = 1 n X i - n μ ) + n ( X _ - μ ) 2 = i = 1 n ( X i - μ ) 2 - 2 ( X _ - μ ) ( n X _ - n μ ) + n ( X _ - μ ) 2 = i = 1 n ( X i - μ ) 2 - 2 n ( X _ - μ ) 2 + n ( X _ - μ ) 2 = i = 1 n ( X i - μ ) 2 - n ( X _ - μ ) 2

偏差平方和の期待値をとると,

E i = 1 n ( X i - X _ ) 2 = E i = 1 n ( X i - μ ) 2 - n · E ( X _ - μ ) 2 = i = 1 n E ( X i - μ ) 2 - n · V X _ = i = 1 n V X i - n · σ 2 n = n σ 2 - σ 2 = ( n - 1 ) σ 2

となります.したがって,

U 2 = 1 n - 1 i = 1 n ( X i - X _ ) 2

の期待値は

E U 2 = 1 n - 1 · E i = 1 n ( X i - X _ ) 2 = 1 n - 1 · ( n - 1 ) σ 2 = σ 2

となります.(証明終わり)
この証明は,標本平均からの偏差平方和を標本の大きさ n でわると母分散の不偏推定量にならない理由が, 式を見ればわかるところが利点です.偏差平方和を変形した

i = 1 n ( X i - μ ) 2 - n ( X _ - μ ) 2

という式を見てください.第1項の,母平均 μ からの偏差平方和 i = 1 n ( X i - μ ) 2 は,期待値が n σ 2 です.したがって,母平均がわかるのであれば, そこからの偏差平方和を n でわれば母分散の不偏推定値が得られます. しかし,実際には母平均はわからないので, 母分散を推定するには標本平均からの偏差平方和を使うしかありません. そうすると,母平均を使った偏差平方和に比べ,第2項の n ( X _ - μ ) 2 の分だけ小さな偏差平方和が得られることになります. したがって,標本平均からの偏差平方和を n でわると,その期待値は母分散よりも小さくなってしまうのです.
偏差平方和の式に母平均 μ を入れた式変形は,

X i - μ = ( X i - X _ ) + ( X _ - μ )

という恒等式を利用しています.これは技巧的に思えるかもしれませんが, 類似の式変形はよく使われます. 母平均 μ から確率変数 X i を見た距離 X i - μ を,母平均 μ から標本平均 X _ までと,標本平均 X _ から確率変数 X i までの2つに分けていると考えられます.
例題4
この例題および解答は不完全です. 有効推定量とは,あらゆる不偏推定量の中で分散が最も小さい推定量です. しかし,この例題では, a X 1 + b X 2 という形の不偏推定量に限定して,分散が最小となる推定量を探しています. あらゆる不偏推定量の中で分散が最も小さいということを示していません.
一般に,

i = 1 n c i X i

という形の不偏推定量を 線形不偏推定量(linear unbiased estimator)と呼び, 線形不偏推定量の中で最も分散の小さな推定量を 最良線形不偏推定量(best linear unbiased estimator: BLUE)と呼びます. この例題では,標本の大きさが 2 の場合に,

1 2 X 1 + 1 2 X 2

が最良線形不偏推定量であることが示されています. これは標本平均ですので, 標本平均は母平均の最良線形不偏推定量であるということを示しています. 標本の大きさが n の場合の証明については, たとえば次の書籍の p.195 を参照してください.
久保川達也・国友直人『統計学』東京大学出版会
母集団分布が正規分布の場合には,標本平均は母平均の有効推定量になります. 例題2の解説で述べたように, 不偏推定量の分散の下限を与える クラメール・ラオの不等式 (Cramer-Rao inequality)という不等式があり, 標本平均の分散 σ 2 n がこの下限に一致します.
例題5
これは良問です.母集団比率の推定精度(母集団比率と標本比率の差)は, 母集団比率と,標本の大きさに依存します. ある特定の精度で推定を行いたいときには, 母集団比率の値を仮定して,必要な標本の大きさを計算します.
標本の大きさを n,母集団比率を p とすると, 大標本での標本比率 p ^ は,平均 p , 分散 n p ( 1 - p ) の正規分布に従います(これがよくわからなければ,例題11の解説を参照してください). そこで,標本比率を

Z = p ^ - p p ( 1 - p ) n

と標準化すると,Z は標準正規分布に従います.
テキストの解答例にあるように,推定の精度を 0.99 の確率で 0.02 以下にしたければ, 不等式

2.576 p ( 1 - p ) n 0.02

を解いて標本の大きさを決めます. 母集団比率 p の値はもちろん未知なので, 必要な標本の大きさが最も大きくなる値にします. そうすれば,p が他の値であっても, 望ましい推定の精度を達成することができます.
不等式を解解くと,テキストの解答例 n 2654.3 のように,整数値ではない実数値で標本の大きさが要求されます. このとき,実数値の小数第1位は,四捨五入するのではなく,切り上げてください. この解答例の場合, n = 2654.3 で望ましい推定精度が達成されるので, この値より小さい 2654 では望ましい推定精度が達成できません.
例題6
高校数学程度の微積分の知識を必要とする問題です. 統計検定2級の出題範囲からは外れています.
この問題で与えられている確率密度関数は ガンマ分布 (Gamma distribution)の確率密度関数です. ガンマ分布は2つのパラメータ αβ を持ちます. この出題では, α = 2 として,推定するパラメータ βθ で表しています.
パラメータ θ の最尤推定量 θ ^ を求める小問 (a) では,尤度関数(likelihood function)の代わりに, その対数をとった対数尤度関数(likelihood function)を用います. 対数尤度関数の値を最大にする θ は, 尤度関数の値も最大にします. 対数をとるとかけ算が足し算になるので,微分が簡単になります.
対数尤度関数をパラメータ θ で微分して, その値を 0 とおいた式を,尤度方程式 (likelihood equation)と呼びます.尤度方程式を解くと,極大値(上向きのカーブの頂点)を与えるパラメータの値, あるいは,極小値(下向きのカーブの底)を与えるパラメータの値が得られます. 多くの場合には,尤度方程式の解は尤度関数の最大値を与えます。 このとき,尤度方程式の解はパラメータ θ最尤推定量(maximum likelihood estimator)となります。
どういうわけか統計学のテキストではあまり注意されていませんが, 尤度方程式の解が最尤推定量になる(つまり,尤度関数の最大値を与える)とは限りません。 尤度関数の解が最尤推定量となる十分条件は, 対数尤度関数がパラメータに関して上に凸の関数であること(二次導関数が存在する場合には、 任意の θ について二次導関数が負の値をとること)です。
参考:黒木学『数理統計学』共立出版 p.162
この例題6では,よく知られたガンマ分布が相手ですから,こうした検討は省略します.
尤度関数および対数尤度関数を具体的に描くにはデータが必要です. ガンマ分布から大きさ n の標本を抽出し, 対数尤度関数を描く R プログラム を以下に示します. パラメータ θ の値は 3 に設定しました. 標本抽出の前に,このガンマ分布の確率密度関数を描いています. 得られた標本平均を α の値である 2 で割ると, パラメータ θ の最尤推定値が得られます.

n <- 1000 # 標本の大きさ
a <- 2 # 出題で用いられた値
b <- 3 # 推定したいパラメータの真値を適当に決める

# Mac の場合は図を描画する前にフォントを指定する
# par(family = "HiraKakuProN-W3")

# ガンマ分布 Gamma(a, b) の確率密度関数を描く
curve((1/b^2) * x * exp(-(x/b)), from = 0, to = 10,
      ylab = "確率密度"
)

# ガンマ分布 Gamma(a, b) から大きさ n の標本を抽出
data <- rgamma(n, shape = a, scale = b)

# 標本平均を a で割った値は,パラメータ b の最尤推定値であり,不偏推定値
mean(data) / a

# 設定した b の値の近辺で対数尤度関数を描く
dev.new()

curve((-2)*n*log(x) + sum(data) - (1/x)*sum(data),
      from = b-1, to = b+1,
      xlab = expression(theta), ylab = "対数尤度"
)

abline(v = mean(data) / a) # 得られた推定値の位置で縦線を描く

出力された対数尤度関数のグラフを見ると, この推定値の位置で最大値をとっていることがわかります.
対数尤度関数のグラフ
例題7
第1刷では (a) の解答に誤植がありました.95%信頼区間が 16.5 < μ < 18.9 となっていましたが,正しくは 16.5 < μ < 19.9 です.最近の増刷では修正されています(22刷で確認).
問題文で示されている標準偏差 5.4 は,標本不偏分散の平方根ではなく,

s 2 = 1 n i = 1 n ( x i - x - ) 2

の正の平方根です. テキストの解答では問題で与えられた標準偏差を修正していますが, このような修正が必要であるなら, 標準偏差がどのように計算されたのか(分散が不偏分散なのかそうでないのか), 問題文で明示すべきですね.
解答では標本不偏分散の平方根 u

u = n n - 1 s = 40 39 × 5.4 = 5.5

と計算していますが,信頼区間の計算ではこの値を 40 で割りますから,

u = n n - 1 s = 40 39 × 5.4

までで計算を止めておいた方がよいでしょう.信頼区間の上限および下限の計算で,

u n = 1 40 × 40 39 × 5.4 = 1 39 × 5.4

とします.この計算はもちろん電卓あるいはソフトウェアの助けを借ります. 電卓で計算するときには,

5.4 × 5.4 39

としてからルートボタンを押します.
例題8
問題文にあるように,母集団分布は正規分布であると仮定します. 小標本での母平均の区間推定で, 自動的に t 分布が使えるわけではありません. この仮定が満たされている必要があります. もっとも,実際のデータ分析でこの仮定が満たされていると確信することは簡単ではなく, たいていはこの仮定に無理がないかどうかを考えることになります.
確率変数としての標本平均および標本不偏分散を,それぞれ X - および U 2 とすると,母集団分布が正規分布のとき,統計量

T = X - - μ U 2 n

は,自由度 n - 1 t 分布に従います. 母集団平均の区間推定に用いる t 分布の自由度は, 標本の大きさより 1 小さいことに注意しましょう.
90%信頼区間を求めるには, 自由度 8 の t 分布で, それより大きな T 値の出現確率が 0.05 となる t の値 t 0.05 ( 8 ) が必要です.

P { - t 0.05 ( 8 ) < T < t 0.05 ( 8 ) } = 0.90

となります.この式が母平均の90%信頼区間を構成するための基盤となります.すなわち,

P { - t 0.05 ( 8 ) < T < t 0.05 ( 8 ) } = P { - t 0.05 ( 8 ) < X - - μ U 2 n < t 0.05 ( 8 ) } = P { X - - t 0.05 ( 8 ) U 2 n < μ < X - + t 0.05 ( 8 ) U 2 n } = 0.90

となります.したがって,データから得られた具体的な標本平均 x - および不偏標本分散 u 2 を用いて計算される,母集団分母平均の90%信頼区間は,

x - - t 0.05 ( 8 ) u 2 n x - + t 0.05 ( 8 ) u 2 n

となります.
テキストの解答では標準偏差の値を 0.05 としていますが,これだと有効数字が1桁しかないので, もう少し下の桁までとる方がよいでしょう. たとえば,有効数字を3桁とって,0.0515 とします.
実際のデータ分析ではソフトウェアを使用します. 自由度 8 の t 分布での上側 5% 点 t 0.05 ( 8 ) をエクセルで求めるには T.INV.2T 関数を用います. 下図のように T.INV.2T(0.10,8) と入力します. 最初の引数は,確率を分布の両側で考えて,0.05 の2倍の値を指定します. 次の引数は t 分布の自由度です. このエクセルファイルは このリンク からダウンロードできます.
エクセルでの区間推定(t 分布)
エクセルには

t α 2 ( d f ) u 2 n

の値を計算する CONFIDENCE.T 関数があります.これを用いてもよいでしょう. 引数の指定は CONFIDENCE.T(α, u, n) とします. この例題での ダウンロード できるエクセルファイルでは, CONFIDENCE.T 関数を用いた信頼区間の計算をD列に示してあります.
R を用いて t 0.05 ( 8 ) を求めるには qt 関数を用います.すなわち,

qt(0.95, df = 8)

あるいは

qt(0.05, df = 8, lower.tail = FALSE)

とします.
テキストの解答例に示されている計算を R で実行する プログラム を以下に示します.

data <- c(7.01, 7.03, 6.96, 6.91, 6.96, 7.06, 7.02, 6.94, 6.93)

n <- length(data) # 標本の大きさ
m <- mean(data) # 平均値
u <- sd(data)   # 標準偏差

# 90%CI の下限
m - qt(0.95, df=n-1) * (u/sqrt(n))
# 90%CI の上限
m + qt(0.95, df=n-1) * (u/sqrt(n))

R を用いた実際のデータ分析では,t.test 関数を用いれば母平均の区間推定を実行できます. 関数の第1引数にデータを保存した変数(ここでは data), 第2引数 conf.level に信頼係数(ここでは 0.90)を指定します. 信頼係数の指定を省略すると 0.95 が用いられます. 上の プログラム の最後に

# t.test 関数を使った信頼区間の計算
t.test(data, conf.level = 0.90)

という記述を加えて実行した結果を下に示します.
R での区間推定(t 分布)
出力にある
90 percent confidence interval:
6.948091 7.011909
が,t.tets 関数が返した90%信頼区間です. その上に出力されている,テキストの解答例のとおりに計算した結果と同じになっています.
例題9
例題7と同様に,問題文で示されている分散 s A 2 = 472 および s B 2 = 366 は,標本不偏分散ではなく,偏差平方和を標本の大きさでわった分散です. すなわち,

s A 2 = 1 n A i = 1 n ( x A i - x - A ) 2

s B 2 = 1 n B i = 1 n ( x B i - x - B ) 2

で計算されています.
テキストの解答では,大標本なので,問題文に与えられた分散は標本不偏分散とほとんど同じ値であるとしています. そのため,例題7と異なり,分散の値の修正は行っていません. 大標本の目安となる標本の大きさは30程度なので,例題9で値の修正を行わないのであれば, 例題7でも不要だろうと思います.
90%信頼区間の計算では z 0.05 = 1.645 という値を用いています.本書の正規分布表(付表2)で Φ z = 0.9500 となる z を探すと,近い値として Φ 1.64 = 0.9495 Φ 1.65 = 0.9505 が見つかります.そこで,補間して z 0.05 = 1.645 としています.多くのテキストでは,正規分布を利用した90%区間推定の計算では z 0.05 = 1.64 としていますので,この値(1.64)を用いてもよいでしょう.
エクセルには Φ z = 0.9500 となる z を求める NORM.INV があります.任意のセルに

=NORM.INV(0.95, 0, 1)

と入力すると,1.644854 という値が返されます. この関数に入力する第2引数は平均,第3引数は標準偏差です.
R を使ってこの問題に解答するのであれば,以下のような プログラム を実行すればよいでしょう.

nA <- 80
nB <- 60

mA <- 1070
mB <- 1042

s2A <- 472
s2B <- 366

# 下側信頼限界
(mA - mB) - qnorm(0.95) * sqrt(s2A/nA + s2B/nB)
# 上側信頼限界
(mA - mB) + qnorm(0.95) * sqrt(s2A/nA + s2B/nB)

例題10
問題文にあるように,カイ2乗分布を利用して母分散の区間推定を行うには, 母集団分布が正規分布であることが必要です.
テキストで解答の最初に示されている式を用いて母分散の95%信頼区間を計算するだけですが, 小数第3位まであるデータなので,電卓では計算が少しやっかいでしょう. 部分的にでもエクセルなどのソフトウェアを使う方がよいでしょう.
下図では,分析のすべてをエクセルで行っています. この エクセルファイル はダウンロードできます.
エクセルでの母分散の区間推定
カイ2乗分布での下側および上側2.5%点をエクセルで求めるには CHISQ.INV 関数を用います. 自由度が9の場合,下側2.5%点を求めるには,上図のように

=CHISQ.INV(0.025,9)

とします.上側2.5%点は

=CHISQ.INV(0.975,9)

とします.
R を用いてこの問題での母分散の95%信頼区間を求める プログラム を以下に示します.

data <- c(0.067, 2.066, 3.192, 0.515, 2.194,
          -0.727, -0.547, -3.537, -1.613, 1.582)

alpha <- 0.05

# 標本の大きさ
n <- length(data)
# 偏差平方和
SS <- sum((data - mean(data))^2)

# カイ2乗分布の下側 100*(alpha/2)% 点
chiL <- qchisq(alpha/2, df = n - 1)
# カイ2乗分布の上側 100*(alpha/2)% 点
chiU <- qchisq(alpha/2, df = n - 1, lower.tail=FALSE)

#下側信頼限界
LCL <- SS / chiU
#上側信頼限界
UCL <- SS / chiL

LCL
UCL

カイ2乗分布の下側および上側 100 × α 2 %点を求めるには qchisq 関数を使います. 第1引数は α 2 , 第2引数は自由度です.
R の EnvStats パッケージには,標本に基づいて母分散の区間推定を行う varTest 関数が用意されています. このパッケージを入手して,以下のプログラムを実行すれば, この問題での母分散の95%信頼区間を求めることができます.

data <- c(0.067, 2.066, 3.192, 0.515, 2.194,
          -0.727, -0.547, -3.537, -1.613, 1.582)

library(EnvStats)
varTest(data)

例題11
大標本での,割合(母比率)の区間推定の典型的な問題です.
試行数 n,成功確率 p の2項分布は, 大標本では,平均 n p , 分散 n p ( 1 - p ) の正規分布で近似できます. つまり,n 回のベルヌーイ試行での成功回数を確率変数 X で表すと,

X N n p n p ( 1 - p )

となります.これは第6章で学習した 中心極限定理(central limit theorem)から導かれる結果のひとつです.
成功回数 X を試行数 n でわると標本での成功割合(標本比率)となり,

X n N p p ( 1 - p ) n

となります.したがって,標本比率を p ^ = X n と表すと,

P p - 1.96 p ( 1 - p ) n < p ^ < p + 1.96 p ( 1 - p ) n = 0.95

となります.これが母集団比率 p の95%信頼区間を構成する基礎となります. 結果として,母集団比率 p の95%信頼区間は

p ^ - 1.96 p ( 1 - p ) n p ^ + 1.96 p ( 1 - p ) n

となります. この信頼区間を具体的に計算するためには, p ( 1 - p ) n にある未知数 p に具体的な値を入れる必要があります. 大標本では,大数の法則(law of large numbers)により, p ^ p と考えられるので,標本比率 p ^ を 使います.
例題12
大標本での,母比率の差の区間推定の典型的な問題です. 品種Aと品種Bそれぞれについて,標本比率の分布は正規分布で近似できます. 品種Aの標本比率と品種Bの標本比率は独立であり, その差はやはり正規分布で近似できます.
一般に,2つの独立な確率変数 X 1 および X 2 のしたがう分布が

X 1 N μ 1 σ 1 2

X 2 N μ 2 σ 2 2

であるとき,和 X 1 + X 2 および差 X 1 - X 2 の分布は

X 1 + X 2 N μ 1 + μ 2 σ 1 2 + σ 2 2

X 1 - X 2 N μ 1 - μ 2 σ 1 2 + σ 2 2

となります.和の分布の分散が2つの母分散の和であることは直観的に理解できると思いますが, 差の分布の分散も母分散の和であることに注意してください.
解答例での記号を用いると,標本比率 p ^ 1 および p ^ 2 の分布は正規分布で近似できて

p ^ 1 N p 1 p 1 ( 1 - p 1 ) n 1

p ^ 1 N p 1 p 1 ( 1 - p 1 ) n 1

となります.したがって,2つの標本比率の差の分布は

p ^ 1 - p ^ 2 N p 1 - p 2 p 1 ( 1 - p 1 ) n 1 + p 2 ( 1 - p 2 ) n 2

となります.このことから,

P ( p 1 - p 2 ) - 1.96 p 1 ( 1 - p 1 ) n 1 + p 2 ( 1 - p 2 ) n 2 < p ^ 1 - p ^ 2 < ( p 1 - p 2 ) + 1.96 p 1 ( 1 - p 1 ) n 1 + p 2 ( 1 - p 2 ) n 2 = 0.95

となります.これが母集団比率の差 p 1 - p 2 の95%信頼区間を構成する基礎となります. 結果として,母集団比率の差の95%信頼区間は

( p ^ 1 - p ^ 2 ) - 1.96 p 1 ( 1 - p 1 ) n 1 + p 2 ( 1 - p 2 ) n 2 ( p ^ 1 - p ^ 2 ) + 1.96 p 1 ( 1 - p 1 ) n 1 + p 2 ( 1 - p 2 ) n 2

となります.この信頼区間を具体的に計算するためには,例題11と同様に, 平方根の中の母集団比率を標本比率で置き換えます.

7章の問題

7.1
この問題で与えられている度数分布表は奇妙です. 階級値は 4.5 から 10 刻みになっていますが, 44.5 の次が 54.5 でなく 55.5 になっています. テキストの解答例はこの階級の階級値を 55.5 として計算を行っています.
この模擬試験の成績は100点満点の整数値で, 階級値は 4.5 から 10 刻みだとすると, 階級の境界および両端は, - 0.5 9.5 19.5 89.5 99.5 であることになります.そうすると100点の生徒が属する階級がないので, 最後の階級は 89.5 から 100.5 までとするしかなさそうです. この場合,最後の階級では中央の値が 95.0 になりますが, これを階級値とせずに,94.5 を階級値としてもよいでしょう.
小問 (a) では,標本平均を母平均の推定値に,標本不偏分散を母分散の推定値にするしかありませんが, これはこの中学校の200人が全受験生の無作為標本であることが前提となります. 問題文に「この200人は全受験生からの無作為標本と見なすことができるとする」ということを書くべきでしょう.
奇妙な階級値(55.5)を 54.5 に修正して標本平均を計算すると, 結果は以下のように 49.9 となります.

x - = 1 200 × { 4.5 × 3 + 14.5 × 11 + + 94.5 × 5 } = 1 200 × 9980 = 49.9

このとき不偏分散は

u 2 = 200 200 - 1 { 4.5 2 × 3 + + 94.5 2 × 5 200 - 49.9 2 } = 1 199 × ( 574770 - 498002 ) 385.769

となります.テキストでの解答例の式には誤植があります. 最近の増刷でも残されているようです(35刷で確認).

u 2 = 1 200 - 1 { 4.5 2 × 3 + + 94.5 2 × 5 200 - 50.12 2 }

でなく

u 2 = 200 200 - 1 { 4.5 2 × 3 + + 94.5 2 × 5 200 - 50.12 2 }

が正しい式です. 計算の結果は 388.09 となっていますが,電卓やエクセルで計算するとやや異なった値となります.
エクセルを用いてこの問題に解答すると,以下のようになります. 奇妙な階級値(55.5)は 54.5 に修正しました. このエクセルファイルは このリンク からダウンロードできます.
問題7.1をエクセルで分析
R を使うならば,以下のような R プログラム で標本平均と不偏分散を計算することができます. 小問 (b) の信頼区間も求めています.


x <- seq(from = 4.5, to = 94.5, by = 10)
f <- c(3, 11, 18, 24, 41, 43, 30, 15, 10, 5)

n <- sum(f)

# 標本平均
(M <- sum(x * f) / n)

# 標本不偏分散
(u2 <- (sum(x^2 * f) - n * M^2) / (n - 1))

# 95%信頼区間下限
u <- sqrt(u2)
z <- qnorm(0.025, lower.tail = F)
M - z * (u / sqrt(n))

# 95%信頼区間上限
M + z * (u / sqrt(n))


テキストの解答例は少しおかしいです. 問題文は「平均と分散を推定せよ」なのに, テキストの解答例は平均と標準偏差の推定になっています.
小問 (b) では,やはり奇妙な階級値を修正して95%信頼区間を計算した方がよいでしょう. エクセルを使って計算した結果は上図のようになります. すなわち,信頼区間の下限は 47.18,上限は 52.62 となります.
小問 (c) でも,奇妙な階級値を修正して計算します. 母集団での標準偏差 σ の推定値として,小問 (a) より,

σ ^ = u 2 = 385.769 19.641

を使います.標本の大きさを n とすると,

n > ( 1.96 × 19.641 2 ) 2 370.5

なので, n = 371 とすればよいことになります.
7.2
この問題が扱っているのはよく知られた事実ですが,良問です. 標本平均 X - は,母平均 μ の不偏推定量ですが, μ 2 の不偏推定量にはなりません. 逆に, μ 2 の不偏推定量は,μ の不偏推定量になりません. 類似の例として. 標本不偏分散 U 2 は母分散 σ 2 の不偏推定量ですが, その平方根をとった標準偏差 U 2 は,母標準偏差 σ の不偏推定量ではありません. こうした(もしかすると反直観的な)事実を, 分散と標準偏差について数理的に示すことは少し難しいですが, 平均とその2乗については,この問題のように簡単に示すことができます.
不偏推定量の定義は,その推定量の期待値が,推定したい母数に一致することです. よってこの問題では,標本平均 X - の2乗の期待値 E X _ 2 を計算して,それが μ 2 に一致しないことを示せばいいですね. E X _ 2 なんて求められるのかと思うかもしれませんが, 「2乗の期待値」の形から, 「分散は,2乗の期待値,ひく,期待値の2乗」が使えることに気がつきましょう. すなわち,確率変数 X について,

V X = E X 2 - { E X } 2

ですから,確率変数を X _ に変えて,

V X _ = E X _ 2 - { E X _ } 2

を使います.

V X _ = σ 2 n

{ E X _ } 2 = μ 2

なので,

E X _ 2 = μ 2 + σ 2 n = μ 2 + 1 n

となります. 母分散 σ 2 が 1 であることは問題文に書かれています. 母分散が具体的に与えられているのは,そうしないと標本から具体的に推定値を計算できないからでしょう.
7.3
大学受験での数学のように,すぐに解き方はわからず, さてどうしたものかと考える問題です. それほど難しくありませんが,受験数学が好きなら楽しめる問題ではないかと思います. この確率密度関数は,正規分布など統計学で実際に使われる確率分布のものではありません. そのため,標本平均は母平均の不偏推定量であるといった, 統計学での事実に関する知識がすぐに使えません.
密度関数 f x での x の範囲が 0 < x < θ となっているのは,確率密度関数のグラフ下の面積が 1 になるようにするためです. 確率密度関数 f x

- + f x d x = 1

という性質を満たす必要があります. 問題文では明示されていませんが, 0 < x < θ という範囲の外側では f x = 0 です.よって,

- + f x d x = 0 θ 2 x θ 2 d x = 2 θ 2 0 θ x d x = 2 θ 2 1 2 x 2 0 θ = 2 θ 2 · 1 2 · θ 2 = 1

となり,確かに確率密度関数の性質を満たしていることがわかります.
まずは小問 (a) を考えます.
方針としては,5個の観測値から母数を推定するのですから, とりあえず簡単に計算できる標本平均は推定に使えないか試してみましょう. 観測される確率変数を X 1 X 2 X 5 とすると,

E X - = E 1 5 i = 1 5 X i = 1 5 × i = 1 5 E X i

となります.計算を続けるには E X i を知る必要があります. E X 1 から E X 5 はすべて同一で,確率変数 X の期待値 E X です.期待値の定義に従ってこれを計算すると,

E X = 0 θ x · f x d x = 0 θ x · 2 x θ 2 d x = 2 θ 2 0 θ x 2 d x = 2 θ 2 1 3 x 3 0 θ = 2 θ 2 · 1 3 · θ 3 = 2 3 θ

となります.この結果を E X - の計算に使うと,

E X - = 1 5 × i = 1 5 E X i = 2 3 θ

となります.うまい具合に,推定したい母数 θ と定数 2 3 の積になりました.したがって,

E 3 2 X - = θ

となるので, 3 2 X - θ の不偏推定量となります. あとは,得られた測定値の平均値を使えば,具体的な不偏推定値を計算することができます.
小問 (b) を考えます.
推定したいのは θ の「2乗」ですから. 標本不偏分散 U 2 が使えないか試みるのが自然な方針でしょう.実際,これはうまくいきます. テキストの解答例を見てください.
テキストの解答例には不偏推定値の計算に誤植があります. 最近の増刷でも訂正されていません(35刷で確認). 標本の大きさは n = 5 なのに, n - 1 の値が 3 になっています.このため標本不偏分散の値が誤りとなり, これを使って計算する θ 2 の不偏推定値も誤りとなっています.正しい計算を以下に示します.
u 2 = 1 4 0.6 2 + 1.5 2 + + 1.3 2 - 5 × 1.06 2 = 0.133

よって, θ 2 の不偏推定値は

18 × 0.133 = 2.394
7.4
確率密度関数 f x θ での x の範囲が 0 < x < 1 となっているのは,確率密度関数のグラフ下の面積が 1 になるようにするためです. 確率密度関数 f x θ

- + f x θ d x = 1

という性質を満たす必要があります. 問題文では明示されていませんが, 0 < x < 1 という範囲の外側では f x θ = 0 です.よって,

- + f x θ d x = 0 1 1 + θ x θ d x = 1 + θ × 1 θ + 1 x θ + 1 0 1 = 1 + θ × 1 1 + θ = 1

となり,確かに確率密度関数の性質を満たしていることがわかります.
パラメータ θ の範囲が θ > -1 となっているのは,確率密度関数 f x θ

f x θ 0

を満たす必要があるためです.
この問題での尤度関数 L θ は,標本を X 1 X 2 X n とすると,同時確率密度関数によって

L θ = i = 1 n f X i θ = 1 + θ X 1 θ × 1 + θ X 2 θ × × 1 + θ X n θ = 1 + θ n X 1 X 2 X n θ

と書くことができます.あとはテキストの解答例にあるとおり, 尤度方程式(対数尤度関数を微分して 0 とおいた式)を解けば, 最尤推定量が得られます.対数尤度関数の計算では,対数関数の性質である

log M N = log M + log N
log M k = k log M

を利用します.
この問題での確率密度関数で表される分布から大きさ n の標本を抽出して, 最尤推定値を求める R プログラム を以下に示します. 標本の大きさは1行目の n で, パラメータ θ は2行目の theta で設定します. ここに示したプログラムでは θ の値を 2 としています. プログラムを実行すると,設定された theta の値と,最尤推定値 theta_hat の値が出力されますので,比較してください.


n <- 10000
theta <- 2

# 分布関数 F(x) = P{X < x}
# F(x) = x^(1 + theta)

u <- runif(n)
x <- u^(1/(1 + theta)) # 分布関数 F(x) の逆関数

# 標本抽出がうまくいっていることをヒストグラムで確認
# Mac の場合は図を描画する前にフォントを指定する
# par(family = "HiraKakuProN-W3")

hist(x, xlim = c(0, 1), ylab = "確率密度", freq = FALSE)
curve((1+theta)*x^theta, add = TRUE)

theta_hat <- (-1) * ((n / sum(log(x))) + 1)

theta
theta_hat


このプログラムは,逆変換法(inverse transform method)と呼ばれる方法で, 問題で与えられた確率密度関数に従う標本を抽出しています. 逆関数法 とも呼ばれます.
7.5
電卓,あるいはエクセルや R のようなソフトウェアを使って解答してください.
テキストの解答例は,第1章で解説された簡便計算法を用いて, 計算をできるだけ簡単にしています.電卓を用いる必要はありますが, 計算間違いを回避しやすくなるでしょう.
実際のデータ分析ではエクセルや R のようなソフトウェアを使えますので, このような簡便計算法の出番はありません. エクセルを用いてこの問題に解答すると,以下のようになります. このエクセルファイルは このリンク からダウンロードできます.
問題7.5をエクセルで分析
7.6
標本不偏分散 u 2 の計算では,テキストの解答例とほとんど同じですが,すでに求められている標本平均 x _ = 6 を使って計算してもよいでしょう.すなわち,

u 2 = 1 n - 1 x i 2 - n x _ 2 = 1 11 1620 - 12 × 6 2

と計算します.
標本の大きさが小さいので,母平均 μ の推定には t 分布を利用します. 確率変数としての標本平均および標本不偏分散を,それぞれ X - および U 2 とすると,母集団分布が正規分布のとき,統計量

T = X - - μ U 2 n

は,自由度 n - 1 t 分布に従います.(例題8参照)
母平均の区間推定での,テキストの解答に誤植があります(第35刷で確認). 自由度の計算式が u = 12 - 1 となっていますが,正しくは ν = 12 - 1 です.テキストの付表4(p.205)を見てください. 自由度はギリシア文字の ν(ニュー)で表されています.
7.7
母集団が正規分布で,母集団分散が既知( 0.5 2 )ですから,小標本ですが正規分布を利用した区間推定ができます. A と B の母平均をそれぞれ μ A μ B として,(確率変数としての)標本平均をそれぞれ X - A X - B とすると,標本平均の差 X - A - X - B は.平均 μ A - μ B , 分散 0.5 2 10 + 0.5 2 15 の正規分布に従います.分散が差ではなく和になっていることに注意してください. したがって,

P ( μ A - μ B ) - 1.96 0.5 2 10 + 0.5 2 15 < ( X - A - X - B ) < ( μ A - μ B ) + 1.96 0.5 2 10 + 0.5 2 15 = 0.95

という式が,母平均の差の95%信頼区間を構成する基盤となります.
7.8
この問題は設定がおかしいです. 母平均の区間推定は,未知の母平均を推定するものです. それなのに,この問題では母平均が数値として具体的に与えられています. すなわち,

X 1 N 30 0.4 2
X 2 N 5.0 0.3 2

より, X = X 1 + X 2 は,

X N 35.0 0.25

となります(問題文では確率変数が小文字でしたので,ここでは大文字に変えました). 確率変数 X の母平均は 35.0 であり, 推定したい未知母数ではありません.
標本での製品1個(容器込み)の重さである確率変数 X がとりうる値を考えると,

P 35.0 - 1.96 0.4 2 + 0.3 2 < X < 35.0 + 1.96 0.4 2 + 0.3 2 = 0.95

という確率であることがわかります. この問題の設定では母平均の信頼区間を求められないので, 解答例が示しているのはこの区間です. 解答例で「x の平均 μ x の95%信頼区間」と述べているのは, μ x = 35.0 とわかっているので不適切です.問題の設定がおかしいので修正が難しいですが, 「標本 X がとりうる値として」 上述の区間を示すしかないでしょう.
問題の後半では,10個の製品が入った1箱の重さ Y の分布を考えます.ここでも,区間推定を行うことはできません.
10個の製品それぞれの重さ(容器込み)を確率変数 W 1 W 2 W 10 であらわすと,ひとつの箱に詰められる製品10個の重さの期待値は,

E W 1 + W 2 + + W 10 = E W 1 + E W 2 + + E W 10 = 350

となります.10個の重さは独立であると考えられるので,その分散は,

V W 1 + W 2 + + W 10 = V W 1 + V W 2 + + V W 10 = 0.25 × 10 = 2.5

となります.つまり,10個数の製品の重さの合計を W とすると,

W N 350 2.5

となります.
これに箱の重さ X 3 を加えると,10個の製品が入った1箱の重さ Y となります. 空の1箱の重さ X 3 の分布は問題文に与えられており

X 3 N 35.0 1.0 2

なので,10個の製品が入った1箱の重さ Y の期待値は

E Y = E W + X 3 = E W + E X 3 = 350 + 35.0 = 385.0

です. W X 3 は独立なので, Y の分散は

V Y = V W + X 3 = V W + V X 3 = 2.5 + 1.0 = 3.5

となります.すなわち,

Y N 385 3.5

です.ここから, 10個の製品が入った1箱の重さ Y がとりうる値を考えると,

P 385.0 - 1.96 3.5 < Y < 385.0 + 1.96 3.5 = 0.95

という確率であることがわかります. 解答例で「y の平均 μ y の95%信頼区間」と述べているのは,問題の前半と同様, μ y = 385.0 とわかっているので不適切です.
テキストの解答例で,製品10個入り1箱の重さを y = 10 x + x 3 と表しているのは不適切です. 製品の重さはそれぞれ異なるので, 製品10個の重さは1個の重さの10倍ではなく, 10 x と書くことはできません.この y の分散を計算すると,

V y = V 10 x + x 3 = 10 2 × V x + V x 3 = 10 2 × 0.25 + 1.0 = 26

となり,正しい値(3.5)と異なります.
7.9
自然な設定の良問です.超幾何分布を2項分布で近似し,さらに正規分布で近似します.
この問題では有限(1800人)の母集団から標本(40人)が無作為抽出されています. 無限母集団(つまり,母集団での生徒数が無限)であれば, 標本においてめがねをかけている生徒の数は2項分布に従います. しかし,有限母集団の場合はそうなりません.
一般に,M 個と N - M 個の2種類の要素(たとえば,めがねをかけている生徒と,かけていない生徒)から構成されている大きさ N の母集団から, 大きさ n の標本を無作為抽出したときの, 第1要素の数 X の分布は, 超幾何分布 (hypergeometric distribution)と呼ばれます.その確率関数(確率変数 Xx という値をとる確率を表す)は,

P X = x = M x × N - M n - x N n

となります.ここで,確率の分母の N n N 個のものから n 個を選ぶ組み合わせの数です. 大きさ n の標本として,ありうるすべてのパターンの数です. 日本の高校数学では C n N と書きます. 確率の分子は,第1要素が標本中に x 個含まれるパターンの数です. これは,母集団に M 個ある第1要素から x 個を選び, N - M 個ある第2要素から n - x 個を選ぶ組み合わせの数です.
証明なしで結果だけ示すと.超幾何分布の平均 E X

E X = n M N

分散 V X

V X = N - n N - 1 · n M N ( 1 - M N )

となります.ここで,母集団での比率(たとえば,母集団においてめがねをかけている生徒の比率) M N p であらわすと,

E X = n p

V X = N - n N - 1 · n p ( 1 - p )

となります.平均は2項分布と同じで,分散は2項分布の分散に

N - n N - 1

がついた形です.この N - n N - 1 有限母集団修正項(finite population correction factor)と呼びます.
母集団の大きさ N が十分に大きく, それに比べて標本の大きさn がそれほど大きくないのであれば, 有限母集団修正項の値は 1 に近くなります. 実際,この問題では N = 1800 n = 40 ですから,有限母集団修正項の値は

N - n N - 1 = 1800 - 40 1800 - 1 0.978

となります.
有限母集団修正項の値が 1 に近いのであれば,有限母集団であっても, 標本での「成功」回数(この問題では,めがねをかけている生徒の数)は2項分布に従うと考えることができます. 標本が大きい場合(おおむね, n 30 )には,中心極限定理により,2項分布は正規分布で近似できます.
標本での成功回数を試行数 n で割れば標本比率 p ^ になります.標本比率 p ^ は,やはり正規分布で近似でき,その平均は p = M N , 分散は p ( 1 - p ) n となります. これを利用して母集団での比率(つまり,この中学校でのめがねをかけている生徒の割合)の区間推定を行います.
母集団が有限なので,推定された母集団比率に母集団の大きさをかければ, この中学でのめがねをかけている生徒の数の区間推定を行うことができます.
7.10
2つの母集団比率の差の信頼区間を求める,典型的な問題です. 大標本なので,中心極限定理により,標本比率の分布は正規分布で近似できます.
男子有権者の母集団比率を p 1 とすると,男子有権者の標本比率 p ^ 1 が従う分布は

p ^ 1 N p 1 p 1 ( 1 - p 1 ) 1000

となります.同様に,女子有権者の母集団比率を p 2 とすると,女子有権者の標本比率 p ^ 2 が従う分布は

p ^ 2 N p 2 p 2 ( 1 - p 2 ) 800

となります.したがって,標本比率の差 p ^ 1 - p ^ 2 の分布は

p ^ 1 - p ^ 2 N p 1 - p 2 p 1 ( 1 - p 1 ) 1000 + p 2 ( 1 - p 2 ) 800

となります.分散が差でなく和になっていることに注意してください. したがって,

P ( p 1 - p 2 ) - 1.96 p 1 ( 1 - p 1 ) 1000 + p 2 ( 1 - p 2 ) 800 < ( p ^ 1 - p ^ 2 ) < ( p 1 - p 2 ) + 1.96 p 1 ( 1 - p 1 ) 1000 + p 2 ( 1 - p 2 ) 800 = 0.95

という式が,母平均の差の95%信頼区間を構成する基盤となります. 信頼区間を構成するとき,平方根の中にある母集団比率 p 1 および p 2 は,標本比率 p ^ 1 および p ^ 2 で置き換えます.
7.11
指数分布は第5章で学習しました.この問題のように,寿命の分布としてよく用いられます. パラメータ θ の値をこの問題での最尤推定値である 0.13 として, R を用いて確率密度関数のグラフを描いてみます. 指数分布の確率密度を返す dexp 関数を用いて,

# Mac の場合は図を描画する前にフォントを指定する
# par(family = "HiraKakuProN-W3")

curve(dexp(x, rate = 0.13), from = 0, to = 20,
      ylab = "確率密度"
)

という簡単なプログラムを実行した結果が下図です.
指数分布のグラフ(theta = 0.13)
問題で与えられたデータを用いると,対数尤度関数は

log L θ = 5 log θ - 39.81 θ

となります.このグラフを R で描く プログラム を以下に示します.パラメータ θ の最尤推定値である 0.13 のところで縦線を入れます.

data <- c(5.83, 12.99, 16.28, 2.88, 1.83)

# Mac の場合は図を描画する前にフォントを指定する
# par(family = "HiraKakuProN-W3")

curve(5 * log(x) - sum(data) * x, from = 1.0 * 10^(-5), to = 2,
      xlab = expression(theta),
      ylab = "対数尤度"
)
abline(v = 5/sum(data))

このプログラムを実行すると,下図が得られます. 対数尤度関数は最尤推定値(0.13)の位置で最大値をとっていることがわかります. グラフの左側が切れているようですが, 指数分布でのパラメータ θ の値は正の実数なので, これで正しいグラフです. なお, θ = 0.13 での,対数尤度の最大値は,

log L 0.13 = 5 log 0.13 - 39.81 × 0.13 -15.4

です.
対数尤度関数のグラフ)
テキストの解答例では,最尤推定値を

θ ^ = 5 i = 1 5 x i = 1 x _ = 1 7.96

と計算していますが,これはもちろん

θ ^ = 5 i = 1 5 x i = 5 39.81

と計算してもいいです.