第7回：仮説を検証するという発想

なぜ「仮説」を立てるのか

みなさん、こんにちは。スマート・アナリティクス代表の畠です。前回は相関という考え方を学びました。相関を見ると、しばしば「関係がありそうだ」「違いがありそうだ」と感じます。けれど、ここで統計は一歩立ち止まります。それは本当に意味のある違いなのか、それとも、たまたまそう見えているだけなのか？——この問いに答えるために登場するのが、「仮説を検証する」という発想です。

少し私自身の話をさせてください。私は長くデータ分析の現場にいますが、最初のころに何度もつまずいたのが、まさにこの点でした。手元のデータで「A群のほうがB群より平均が高い」と出ると、つい「やっぱり差があった」と言いたくなる。けれど、別の日に同じ調査をやり直したら、今度はB群のほうが高くなることだってあります。データには、毎回ゆらぎがあるからです。

このゆらぎがあるからこそ、私たちは「見えた差」をそのまま信じてはいけません。たとえば、新しい説明資料を使ったグループのほうが、理解度テストの平均が3点高かったとします。けれど、たまたま今回のメンバーがもともと優秀だっただけかもしれない。仮説検定は、こうした「たまたまかもしれない」という不安に、ひとつの筋道を与えてくれる道具なのです。

仮説とは「世界を2つに分ける宣言」

統計における仮説とは、データを見る前に立てる、判断の基準となる主張です。ここで大切なのは、仮説は「正しそうな意見」ではない、という点です。統計では、世界を次の2つに分けます。

ひとつが帰無仮説（H₀）。「差はない」「効果はない」「関係はない」という、慎重な立場です。もうひとつが対立仮説（H₁）。「差がある」「効果がある」という立場で、私たちが本当は示したいのは、多くの場合こちらです。

身近な例で考えてみましょう。「新しい教材を使うと理解度が上がるはずだ」と思っているとします。このとき、私たちが本当に言いたいのは「教材で理解度が上がる」、つまり対立仮説のほうです。けれど統計では、いきなりそれを主張せず、まず「教材を使っても使わなくても、理解度は変わらない（H₀）」という立場に立ちます。そして、データがその立場をどれだけ揺さぶるかを見ていく。少し回りくどく感じるかもしれませんが、この順番にはちゃんと理由があります。

なぜ「差がない」から始めるのか

ここで多くの人が疑問に思います。なぜ「差がある」ではなく、「差がない」を基準にするのか。理由はシンプルで、「何も起きていない」という状態のほうが、より安全で疑いにくいからです。統計は、疑いにくい仮説をまず置き、それをデータで崩せるかを見る、という慎重な姿勢を取ります。これは研究でもビジネスでも、思い込みで突き進んで失敗するリスクを下げる考え方なのです。

この姿勢は、裁判の「推定無罪」によく似ています。裁判では、被告は最初から有罪と決めつけられるのではなく、「無罪」を出発点に置き、証拠がそれを覆せるかどうかを問います。十分な証拠がそろってはじめて「有罪」と判断される。統計の検定もまったく同じ構造で、「差はない（無罪）」をまず置き、データという証拠がそれを覆せるほど強いかを見るのです。

なぜわざわざこんな慎重な順番にするのか。それは、「ないものをあると言ってしまう間違い」を、できるだけ避けたいからです。効果がないのに「効果あり」と早合点して資源を投じれば、研究もビジネスも大きな損失を被ります。だからこそ、まずは「効果はない」という疑い深い立場に立ち、それを覆すだけの証拠が出たときにだけ、慎重に「効果がある」と言う。仮説検定の出発点がここにあると分かると、p値や有意水準といった用語も、ずっと腑に落ちやすくなります。

もうひとつ実務的な理由もあります。「差がある」という主張は、実は無数のかたちを取りえます。「3点上がる」「10点上がる」「ほんの少しだけ上がる」——どれも「差がある」です。これを最初の基準にしてしまうと、何を出発点に計算すればよいか定まりません。一方「差はない（ちょうどゼロ）」という主張は一点に定まるので、そこを土台にすれば「もし差がゼロだったら、このデータはどれくらい起こりにくいか」をきれいに計算できるのです。

検証とは「確率で判断する」こと

仮説は、「正しいか・間違っているか」を白黒つけるものではありません。統計が問うのは、次の一点です。帰無仮説が正しいとしたら、今回のデータはどれくらい起こりにくいか？ もし「めったに起こらない」のであれば、帰無仮説は疑わしい、と判断します。これが、確率にもとづく判断です。流れにすると、次の4ステップになります。

この4ステップを、さきほどの教材の例で具体的にたどってみましょう。まず①仮説を立てます。「教材を使っても理解度は変わらない（H₀）」「教材を使うと理解度が上がる（H₁）」。次に②データを取ります。教材を使ったグループと使わなかったグループで、理解度テストを実施します。続いて③珍しさを測ります。「もし本当に差がないとしたら、今回のように平均が3点も開くことは、どれくらい起こりにくいか」を計算します。最後に④判断します。その珍しさがあらかじめ決めたラインより極端なら、「これは偶然では説明しにくい」として、対立仮説を採用するのです。

p値とは（直感的に）

ここで登場するのがp値です。p値とは、「帰無仮説が正しいと仮定したときに、今回と同じか、それ以上に極端な結果が得られる確率」を表します。つまり、データがどれくらい“珍しいか”を示す指標です。

注意してほしいのは、p値は「仮説が正しい確率」ではないという点です。よくある誤解ですが、p値が0.03でも「帰無仮説が正しい確率が3%」という意味ではありません。あくまで「もしH₀が正しかったら、こんなデータは珍しい」という、データ側の珍しさを表す数字なのです。

イメージしやすいように、コイン投げで考えてみましょう。「このコインは公正だ（表も裏も同じ確率で出る）」がH₀です。ここでコインを10回投げて、10回とも表が出たとします。公正なコインなら、10回連続で表が出るのは非常に珍しい。この「珍しさ」を確率で表したものが、まさにp値のイメージです。あまりに珍しい結果が出たら、「このコインは公正だ、という前提のほうが疑わしいのでは？」と考える——これが、p値を使った判断のエッセンスです。

「有意」とは「偶然では説明しにくい」

統計ではよく「有意である／有意ではない」という表現が使われます。これは、大きい・重要・意味がある、といった日常語とは異なります。統計でいう「有意」とは、偶然だけでは説明しにくいという、非常に限定的な意味です。

判断のラインとしてよく使われるのが有意水準5%（0.05）です。これは「100回に5回くらいなら、たまたまでも起こりうる」というライン。それより珍しい結果なら、「偶然ではなさそうだ」と判断します。

大事なのは、このラインはデータを見る前に決めておくということです。データを見てから「5%だと有意にならないから、10%にしよう」と基準を動かすのは、ゴールポストを後から動かすようなもので、検定の信頼性を損ねます。先にラインを引き、そこにデータを当てる。この順番を守ることが、フェアな判断の前提になります。

よくあるつまずき・誤解

この考え方は、慣れるまで本当に誤解しやすいところです。私自身も人に説明していて、何度も「そこは違うんです」と言い直してきました。ここでは、特に多い3つのつまずきを取り上げます。ここを押さえておくと、検定結果の読み方がぐっと正確になります。

誤解1：p値は「仮説が正しい確率」だ。 これがいちばん多い誤解です。先ほども触れましたが、p値は「帰無仮説が正しいと仮定したうえで、今回のようなデータが出る珍しさ」を表す数字であって、「帰無仮説や対立仮説が正しい確率」ではありません。p=0.03は「H₀が正しい確率が3%」でも「H₁が正しい確率が97%」でもないのです。あくまで“データの珍しさ”を測っている、と覚えておいてください。

誤解2：「有意」＝「重要・効果が大きい」。 統計の「有意」は、日常語の「有意義」とは別物です。有意とは「偶然では説明しにくい」という意味にすぎず、その差が実務的に重要かどうかは別の話です。実際、データの数が非常に多ければ、ごくわずかな差でも有意になることがあります。 「有意だった」と「意味のある大きさの差だった」は、必ず分けて考える必要があります。

誤解3：「有意でなかった」＝「差がないと証明された」。 検定で有意にならなかったとき、つい「差がないことが分かった」と言いたくなります。けれど正確には「差があるとは言えなかった」だけで、「差がないと証明された」わけではありません。証拠が足りずに結論を保留した、という状態に近いのです。この違いはとても重要なので、次回・第8回でくわしく掘り下げます。

検定は「決断のための道具」

統計的検定は、真理を証明したり、絶対の正解を示したりするものではありません。その役割はただ一つ、不確実な状況で、一定のルールにもとづいて判断を下すことです。研究なら「論文として主張してよいか」、ビジネスなら「この意思決定に進んでよいか」を支えるための道具——そう捉えると、検定との付き合い方がぐっと楽になります。

そして検定は、ここで終わりではありません。「どの場面で、どの検定を使うのか」という選び方や、それぞれの手法の具体的な手順については、分析手法の完全ガイド も合わせてご覧いただくと、全体像がつかみやすくなります。まずはこの「仮説を立てて、確率で判断する」という発想を、自分のことばで説明できるようにしておきましょう。

よくある質問

p値が小さいほど、効果が大きいということですか？

いいえ。p値は「結果の珍しさ」を表すだけで、効果の大きさ（効果量）とは別物です。 データ数が多いと、わずかな差でもp値は小さくなります。「有意かどうか」と「どれくらい効果があるか」は分けて考える必要があります。

有意水準は、なぜ5%なのですか？

慣習的に広く使われている基準で、「100回に5回ならたまたま起こりうる」というラインです。分野によっては1%などより厳しい基準を使うこともあり、5%が絶対的な正解というわけではありません。

「有意でなかった」は「差がない」と同じ意味ですか？

いいえ。 「差がないと証明された」のではなく、「差があるとは言えなかった」だけです。この違いはとても重要で、次回・第8回でくわしく扱います。

帰無仮説と対立仮説は、自分で決めてよいのですか？

はい、何を調べたいかに応じて、分析する前に自分で立てます。基本の形は決まっていて、「差はない・効果はない」を帰無仮説、「本当に示したいこと（差がある・効果がある）」を対立仮説に置きます。大切なのは、データを見てから都合よく仮説を立て直さないことです。

p値はいくつなら「良い」結果なのですか？

p値に「良い・悪い」はありません。あらかじめ決めた有意水準（多くは5%） より小さければ「偶然では説明しにくい」と判断する、というだけです。小さいほど偉い、という数字ではない点に注意してください。p値だけでなく、効果の大きさや実務上の意味と合わせて読むのが大切です。

サンプル数が少なくても検定はできますか？

計算自体はできますが、注意が必要です。データが少ないと、本当は差があっても「有意でない」と出やすくなります。 「有意でなかった＝差がない」ではないこととも関係します。どれくらいのデータ数が必要かは、検定の種類や見たい差の大きさによって変わるため、計画段階で見積もっておくのが理想です。

次回に向けて

次回・第8回では、検定結果をどう読むのか、p値をどう解釈すべきかを扱います。「有意だった／有意でなかった」——その一言の裏に、何が含まれていて、何が含まれていないのか。ここを誤解しないことが、統計リテラシーの分水嶺になります。

この連載をはじめから追いたい方は、第6回（相関）を振り返ってからこの回に戻ると、流れがつながりやすくなります。続きが気になる方は、第8回・第9回へとお進みください。一歩ずつ、いっしょに進んでいきましょう。