第8回：検定結果はどう解釈すべきか― p値に振り回されないために ―
1. 「有意だった」で思考を止めてはいけない
統計の結果として、よく次の一文を目にします。
「有意差が認められた（p < .05）」
あるいは、
「有意差は認められなかった（n.s.）」
ここで多くの人は、安心するか、がっかりするかで終わってしまいます。
しかし、統計的にはここからが本番です。
検定結果は「結論」ではなく、
解釈の材料の一つにすぎない
ということを、まず押さえましょう。
2. p値が教えてくれること・教えてくれないこと
第7回で学んだ通り、p値は次の意味を持ちます。
帰無仮説が正しいとしたときに、
今回と同じか、それ以上に極端な結果が
得られる確率
ここで重要なのは、p値が何を言っていないかです。
p値が「言っていないこと」
仮説が正しい確率
結果の重要性
効果の大きさ
実務的な意味の大きさ
これらは、p値からは分かりません。
p値が言っているのは、ただ一つ。
「この結果は、偶然としては
どれくらい起こりにくいか」
だけです。
3. 「有意差がない」は「差がない」ではない
ここは、統計で最も頻繁に起こる誤解です。
「有意差がなかった→ 差が存在しない」
これは論理の飛躍です。正しくは、
「今回のデータでは、差があるとは言えなかった」
という、非常に控えめな結論しか出せません。
理由としては、
サンプルサイズが小さい
ばらつきが大きい
効果が小さい
など、さまざまな可能性があります。
統計は、沈黙＝否定ではありません。
4. サンプルサイズが結果を左右する
ここで、検定の裏側にある重要な事実を見てみましょう。
サンプルサイズが大きいほど、
小さな差でも有意になりやすい
逆に、
サンプルサイズが小さいと、
大きな差でも有意にならないことがある
という性質があります。
つまり、
有意だったから重要
有意でなかったから意味がない
とは、単純には言えないのです。
5. 効果量を見るという視点
そこで登場するのが、効果量です。
効果量は、
「どれくらい違うのか」
「どれくらい強い関係なのか」
を表す指標です。
例えば、
平均差がどれくらいか
標準偏差に対してどれくらいの差か
相関係数がどの程度か
といった情報は、
有意かどうかとは別次元の話
です。検定結果を読むときは、
p値 ＋ 効果量
のセットで考えることが、健全な統計解釈につながります。
6. 統計的に有意 ≠ 実務的に重要
研究やビジネスで特に重要なのが、この点です。
統計的に有意
でも、差はごくわずか
という結果は珍しくありません。このとき問うべきなのは、
「この差は、現実の意思決定を
変えるほどの大きさか？」
という視点です。
統計は、
意思決定を助ける道具
であって、
判断を代行する装置
ではありません。
7. 検定結果を読むときの基本姿勢
検定結果に向き合うときは、
次の順番で考えると、思考が安定します。
どんな仮説を検証しているのか
有意かどうか（p値）
効果量はどれくらいか
サンプルサイズとばらつきは妥当か
実務・研究上、どんな意味があるか
このプロセスを飛ばすと、p値だけが一人歩きします。
8. 次回へのつながり
次回・第9回は、この「超入門」シリーズの最終回です。
ここまで学んだ内容をどう使うか
次に、どんな統計分析に進めばよいか
を整理し、
「統計が分からない」から
「次に何を学べばよいか分かる」
状態を作ります。
第8回のまとめ
検定結果は解釈のスタート地点
p値は「結果の珍しさ」を示すだけ
有意差がない＝差がない、ではない
サンプルサイズは結果に大きく影響する
効果量と実務的意味を必ず考える
ここまで来れば、統計の結果に対して過剰に信じることも、過剰に恐れることもなくなります。
