第8回：検定結果はどう解釈すべきか ― p値に振り回されないために

「有意だった」で思考を止めてはいけない

みなさん、こんにちは。スマート・アナリティクス代表の畠です。統計の結果として、よく「有意差が認められた（p < .05）」あるいは「有意差は認められなかった（n.s.）」という一文を目にします。多くの人は、ここで安心するか、がっかりするかで終わってしまいます。けれど、統計的にはここからが本番です。検定結果は「結論」ではなく、解釈の材料の一つにすぎない——まずこれを押さえましょう。

私はこれまで、たくさんの分析結果のレポートを見てきました。そこで何度も感じたのは、「有意だった／有意でなかった」という一行だけが切り取られ、ひとり歩きしてしまう場面がとても多い、ということです。本来なら、その一行の前後にもっと豊かな情報があるはずなのに、もったいない読み方をしている。せっかく手間をかけて取ったデータです。最後の解釈のところで、ぜひ落ち着いて向き合ってほしいと思います。

この回では、「p値をどう読むか」だけでなく、「p値だけでは読めないものは何か」を一緒に整理していきます。少し回り道に見えるかもしれませんが、ここを押さえておくと、検定結果を前にしたときの落ち着きがまったく変わってきます。難しい数式は使いませんので、肩の力を抜いて読み進めてください。

p値が教えてくれること・教えてくれないこと

前回学んだとおり、p値は「帰無仮説が正しいとしたときに、今回と同じか、それ以上に極端な結果が得られる確率」を表します。少し回りくどい言い方ですが、ここはとても大事なところなので、ゆっくり噛みしめておきましょう。p値は「偶然だけで、ここまでの結果が出てしまう確率」をあらわしている、と考えると分かりやすいかもしれません。p値の基本的な考え方が曖昧だと感じる方は、第7回を先に読み返していただくと、この回の理解がぐっと進みます。

ここで重要なのは、p値が何を言っていないかです。p値は、仮説が正しい確率でも、結果の重要性でも、効果の大きさでも、実務的な意味の大きさでもありません。p値が言っているのは、ただ一つ。「この結果は、偶然としてはどれくらい起こりにくいか」だけです。ここを取り違えると、あとの解釈がすべてずれていってしまいます。

たとえば「p = .03 だったから、仮説が正しい確率が97%だ」という読み方をしてしまう人がいます。けれど、これは誤りです。p値は「仮説が正しい確率」ではありません。あくまで「帰無仮説が正しいと仮定したうえでの、データの珍しさ」を測っているにすぎないのです。ここはとても間違えやすいので、何度でも確認しておきたいポイントです。

「有意差がない」は「差がない」ではない

ここは、統計で最も頻繁に起こる誤解です。「有意差がなかった → 差が存在しない」と考えるのは、論理の飛躍です。正しくは、「今回のデータでは、差があるとは言えなかった」という、非常に控えめな結論しか出せません。理由としては、サンプルサイズが小さい、ばらつきが大きい、効果が小さい——など、さまざまな可能性が考えられます。統計における沈黙は、否定ではないのです。

身近な例で考えてみましょう。新しい教材の効果を確かめるために、10人だけで小さなテストをしたとします。結果は「有意差なし」。けれど、これは「教材に効果がない」ことの証明にはなりません。もしかすると、10人という人数では、もともと差を検出する力が足りなかっただけかもしれないからです。同じ教材を100人で試したら、はっきり差が出るかもしれない。「有意差なし」は、あくまで「今回のデータの範囲では、はっきりしたことは言えなかった」という保留の合図なのです。

サンプルサイズが結果を左右する

検定の裏側にある、重要な事実を見てみましょう。サンプルサイズが大きいほど、小さな差でも有意になりやすい。逆に、サンプルサイズが小さいと、大きな差でも有意にならないことがあります。つまり「有意だったから重要」「有意でなかったから意味がない」とは、単純には言えないのです。

もう少し具体的に考えてみます。たとえば、ある施策で平均が「ほんのわずか」変わったとしましょう。この小さな差でも、データが数万件もあれば、検定では「有意」と出てしまうことがあります。逆に、誰の目にも明らかなくらい大きな差があっても、データが数件しかなければ「有意でない」となることもある。検定の結果は、差の大きさそのものではなく、「差の大きさ」と「データの量」と「ばらつき」の組み合わせで決まっている、と覚えておいてください。

効果量を見るという視点

そこで登場するのが効果量です。効果量は、「どれくらい違うのか」「どれくらい強い関係なのか」を表す指標です。たとえば、平均差がどれくらいか、標準偏差に対してどれくらいの差か、相関係数がどの程度か——といった情報は、有意かどうかとは別次元の話です。検定結果を読むときは、p値 ＋ 効果量のセットで考えることが、健全な統計解釈につながります。

効果量が大切なのは、p値が「データの量」に大きく左右されてしまうからです。前の節で見たとおり、データが多ければ、ほんのわずかな差でもp値は小さくなります。一方で効果量は、「差そのものの大きさ」をデータの量とは切り離して表してくれます。だからこそ、p値と効果量を並べて見ることで、「珍しいだけの小さな差」なのか、「実際に大きな差」なのかを見分けられるのです。

効果量にはいくつかの種類があり、平均の差を比べる場面ではコーエンのd、相関の強さを見る場面では相関係数、といったように、分析の種類に応じて使い分けます。 入門の段階では、すべての種類を覚える必要はありません。まずは「p値の隣には、必ず効果量という相棒がいる」という感覚を持っていただくだけで十分です。具体的な分析手法ごとの効果量については、分析手法完全ガイド も参考になります。

統計的に有意 ≠ 実務的に重要

研究やビジネスで特に大切なのが、この点です。「統計的に有意。でも、差はごくわずか」という結果は、珍しくありません。このとき問うべきは、「この差は、現実の意思決定を変えるほどの大きさか？」という視点です。統計は意思決定を助ける道具であって、判断を代行する装置ではありません。最後に決めるのは、いつも人間です。

たとえば、あるWebサイトの改善で「ボタンの色を変えたら、クリック率がわずかに上がり、統計的に有意だった」としましょう。データが膨大なら、ごく小さな改善でも有意になります。けれど、その差が現実の売上にほとんど影響しないなら、わざわざ全ページを作り直す価値はないかもしれません。逆に、わずかな改善でも、何百万人ものユーザーがいるサービスなら、合計すれば大きな成果になることもある。「有意かどうか」だけでなく、「自分たちの文脈で、その差にどんな意味があるか」を考える——これが、統計を実務に活かす要だと私は思っています。

よくあるつまずき・誤解

ここまでの内容と重なる部分もありますが、現場で本当によく見かける誤解を、改めて三つにまとめておきます。どれも「言われてみれば当たり前」なのに、結果を前にすると、つい間違えてしまうものばかりです。

① 「有意差なし」＝「差がない」と読んでしまう。 先ほども触れましたが、これは最も多いつまずきです。「有意差なし」は「差がないことの証明」ではなく、「今回のデータでは、差があるとは言い切れなかった」という保留です。否定でも証明でもなく、ただの「保留」だと覚えておくと、読み間違いがぐっと減ります。

② p値の小ささだけで、結果の重要性を判断してしまう。 「p = .001 だから、とても重要な発見だ」と考えるのは早とちりです。p値が小さいのは「偶然では起こりにくい」という意味であって、「効果が大きい」という意味ではありません。重要性を語りたいなら、効果量とセットで見る必要があります。p値の小ささと、差の大きさは、別々のものさしなのです。

③ いろいろな検定を試して、有意な結果だけを拾ってしまう。 「とりあえず手当たり次第に検定して、たまたま有意だったものを採用する」というやり方は、避けたいところです。たくさん検定をすれば、本当は差がなくても、偶然どこかが「有意」になってしまう確率が高まります。 何を確かめたいのかを先に決めてから検定する——この順番を守るだけで、結果の信頼度はずいぶん変わります。仮説を立てる段階の考え方は、第6回でも触れています。

検定結果を読むときの基本姿勢

検定結果に向き合うときは、次の順番で考えると思考が安定します。この順番を飛ばすと、p値だけが一人歩きしてしまいます。

この5つのステップは、難しい計算を求めるものではありません。むしろ、「結論を急がず、いったん立ち止まって確かめる」ための、心の手すりのようなものだと思ってください。慣れてくると、検定結果のレポートを見た瞬間に、自然とこの順番で目が動くようになります。そうなれば、p値の数字一つに気持ちを揺さぶられることも、少なくなっていくはずです。

よくある質問

p値が0.04と0.06では、大きく違うのですか？

0.05という基準は便宜的なラインで、0.04と0.06の間に本質的な断絶があるわけではありません。 境界付近では「有意か否か」だけで割り切らず、効果量やサンプルサイズもあわせて慎重に解釈することが大切です。

効果量とは、具体的に何ですか？

「違いの大きさ・関係の強さ」を表す指標の総称です。たとえば平均差そのものや、標準偏差に対する差の大きさ、相関係数などが使われます。 p値（珍しさ）とセットで見ることで、結果の実質的な意味が分かります。

有意でなければ、その分析は失敗ですか？

いいえ。「差があるとは言えなかった」というのも、立派な情報です。サンプルサイズや測定方法を見直す手がかりになりますし、「効果がなさそう」という判断材料にもなります。

p値が小さいほど、効果が大きいということですか？

いいえ、別物です。p値が小さいのは「偶然では起こりにくい」という意味であって、「差が大きい」という意味ではありません。効果の大きさを知りたいときは、p値ではなく効果量を見てください。データの量が多いと、小さな差でもp値は小さくなります。

有意水準は、必ず0.05でなければいけませんか？

0.05は広く使われている慣習的な目安にすぎません。 分野や目的によっては、より厳しい基準（たとえば0.01）を用いることもあります。大切なのは、検定を始める前に基準を決めておき、結果を見てから都合よく動かさないことです。

結果をレポートに書くとき、何を一緒に載せればよいですか？

p値だけでなく、効果量、サンプルサイズ、そして可能であれば差の大きさ（平均差など）を添えるのがおすすめです。 読み手が「珍しさ」と「大きさ」の両方を判断できるようにしておくと、誤解のない伝え方になります。

次回に向けて

次回・第9回は、この「超入門」シリーズの最終回です。ここまで学んだ内容をどう使うか、次にどんな統計分析へ進めばよいかを整理し、「統計が分からない」から「次に何を学べばよいか分かる」状態を一緒に作ります。ここまで来れば、統計の結果に対して過剰に信じることも、過剰に恐れることもなくなっているはずです。第9回で、またお会いしましょう。