多重比較とは？Bonferroni・Tukey HSDなど事後検定の使い分けからSPSSでのやり方までやさしく解説
みなさん、こんにちは。スマート・アナリティクスの畠です。 「分散分析で有意差が出ました。次に何をすればいいですか？」「SPSSの事後検定の画面に方法がずらりと並んでいて、どれを選べばいいのか分かりません」——このガイドは、そんな声にお応えする、一元配置分散分析（ANOVA）ガイドの続編です。3つ以上のグループを比べるとき、検定をたくさん繰り返すと「本当は差がないのに差がある」と判断してしまう誤りがどんどん膨らんでいきます。これが多重比較の問題（検定の多重性）です。そして、この誤りの膨張をきちんと調整しながら「どの群とどの群に差があるのか」を調べる方法が、多重比較（事後検定）です。このページでは、なぜ検定を繰り返してはいけないのかという根本のところから、Bonferroni・Tukey HSD・Scheffé・Games-Howellといった代表的な方法の使い分け、Holm法やFDRという少し進んだ考え方、そしてSPSSでの実行の流れまで、初学者の方にもわかりやすく順番に解説します。
- 多重比較とは、検定の繰り返しで膨らむ第一種の過誤を調整しながら、どの群とどの群に差があるかを調べる方法
- 有意水準5%の検定を3回繰り返すと、どこかで誤って有意になる確率（FWER）は約14%まで上がる
- 分散分析（ANOVA）が「全体のどこかに差があるか」、多重比較が「具体的にどこに差があるか」という親子関係
- 等分散性に問題がなければTukey HSD（全ペア比較の定番）かBonferroni、等分散性が崩れていればGames-HowellやTamhane T2
- Bonferroni補正は「α÷比較回数」で判定するシンプルな方法。厳しすぎるときはHolm法（順次Bonferroni）が改善策
- 探索的にたくさんの検定を行う場面では、FDR（偽発見率）をBenjamini-Hochberg法で制御する考え方もある
多重比較とは何か：検定の繰り返しで起きる問題
多重比較とは、検定の繰り返しによって増える誤りを調整しながら、どの群とどの群に差があるかを調べる方法です。「事後検定」「post hoc検定」と呼ばれることもあります。
まず、出発点となる「検定の繰り返しで起きる問題」からお話しします。たとえば、3つのクラス（A組・B組・C組）の数学テストの平均点を比べたいとします。素直に考えると、A組とB組、A組とC組、B組とC組の3回、t検定をすればよさそうですよね。4つの部活動の体力テストなら6回、5種類の勉強法を比べる実験なら10回です。
しかし、ここに落とし穴があります。統計の検定では、有意水準を5%に設定することがよくあります。これは「本当は差がないのに、偶然のばらつきのせいで差があると判断してしまう誤り（第一種の過誤）を、5%まで許容する」という約束です。1回の検定なら5%です。ところが、検定を3回、6回、10回と繰り返すと、この「5%の許容」が積み重なって、どこか1つくらいは偶然に有意になってしまう確率がどんどん大きくなるのです。
これを「検定の多重性の問題」、あるいはくだけた言い方で「αインフレ（有意水準の膨張）」と呼びます。くじ引きにたとえると分かりやすいかもしれません。1回引いただけでは当たりにくいくじでも、10回引けばどこかで当たりやすくなりますよね。検定の「偶然の有意差」も同じで、回数を重ねるほど、どこかで引き当ててしまうのです。
多重比較の方法は、この膨らんでしまう誤りをきちんと抑え込んだうえで、「具体的にどの群とどの群に差があるのか」を教えてくれます。レポートで3群以上を比べるなら、避けては通れない考え方です。
familywise error rate（FWER）という考え方
familywise error rate（FWER・ファミリーワイズエラー率）とは、一連の検定全体の中で、1つでも第一種の過誤が起きる確率のことです。「ファミリー」とは、ひとまとまりの比較の集まり（たとえば3群の全ペア比較3回）を指します。
具体的に計算してみましょう。有意水準5%の検定を、互いに独立にm回繰り返すとします。1回の検定で誤らない確率は95%（0.95）なので、m回すべてで誤らない確率は0.95のm乗です。したがって、「少なくとも1回は誤る確率」は次のようになります。
m＝3回 → 1 − 0.95³ ≒ 0.143（約14%）
m＝6回 → 1 − 0.95⁶ ≒ 0.265（約26%）
m＝10回 → 1 − 0.95¹⁰ ≒ 0.401（約40%）
いかがでしょうか。「誤りは5%まで」と約束したはずなのに、5群の総当たり比較ではほぼコイントスに近い確率で、どこかに偶然の有意差が出てしまいます。これでは、せっかくの研究結果の信頼性が揺らいでしまいますよね。
そこで多重比較の方法は、ファミリー全体のFWERが5%を超えないように、個々の比較の判定基準を調整します。この「全体で5%を守る」という発想こそが、多重比較のいちばんの核心です。Bonferroni、Tukey HSD、Schefféなど、これからご紹介する方法たちは、いずれも「どうやって全体の誤りを抑えるか」の工夫の違いだと考えると、見通しがよくなります。
多重比較の方法選びで迷ったら、「この方法は、全体の誤り5%をどんな工夫で守っているのか」という目で見てみてください。厳しく守る方法ほど安心ですが、そのぶん本当の差も見逃しやすくなる（検出力が下がる）——このトレードオフが、使い分けのカギになります。
分散分析と多重比較の関係：事後検定（post hoc）の位置づけ
事後検定（post hoc検定）とは、分散分析で有意差が出た後に、どの群とどの群に差があるかを特定するために行う多重比較のことです。ANOVAと多重比較は、いわば親子のような関係にあります。
一元配置分散分析のガイドでお話ししたとおり、ANOVAが教えてくれるのは「3群以上の平均のどこかに差がある」ということまでです。A組とC組に差があるのか、すべての組み合わせに差があるのかは、ANOVAだけでは分かりません。そこで、分析は次の2段階で進めます。
- 第1段階（親）：一元配置分散分析で「全体としてどこかに差があるか」を検定する
- 第2段階（子）：有意だったら、多重比較（事後検定）で「どのペアに差があるか」を特定する
この「ANOVA→事後検定」という流れが、レポートや論文でのいちばん標準的な型です。まず親の結果（F値・p値・効果量）を報告し、続けて子の結果（どのペアが有意か）を報告する、と覚えてください。
ここで、もうひとつ大切な区別をご紹介します。「事前に計画した対比（planned contrast）」と「事後比較（post hoc）」の区別です。
事後比較は、「どこに差があるか分からないので、とりあえず全部のペアを調べてみよう」という探索的な比較です。今回のガイドの主役はこちらです。一方、事前計画対比は、データを集める前から「比べたい組み合わせ」が理論的に決まっている場合の比較です。たとえば、「新しい勉強法Cは、従来法のAやBより効果が高いはずだ」という仮説があるなら、比べるべきはCとA、CとBの2つだけで、AとBの比較は最初から不要かもしれません。
事前に比較を絞り込めれば、検定の回数が減るので、調整も軽くて済み、検出力も保てます。逆に、データを見てから「お、ここに差がありそうだぞ」と比較を選ぶのは、後出しじゃんけんになってしまうので、必ず事後比較用の調整を使います。研究の計画段階で「どの比較が本当に必要か」を考えておくと、分析がぐっと引き締まりますよ。
代表的な方法と使い分け：Bonferroni・Tukey HSD・Scheffé・Games-Howell
それでは、SPSSの事後検定の画面にも登場する代表的な方法を、使いどころとセットで見ていきましょう。先に全体マップを表でお見せします。
| 方法 | 特徴 | 向いている場面 |
|---|---|---|
| Tukey HSD | 全ペア比較のために設計された定番。バランスがよい | 等分散で、すべてのペアを比べたいとき（まずはこれ） |
| Bonferroni | α÷比較回数で判定。考え方が分かりやすいが保守的 | 比較回数が少ないとき・一部のペアだけ比べたいとき |
| Holm | Bonferroniの改良版（順次調整）。同じ前提で検出力が高い | Bonferroniが厳しすぎると感じる場面の改善策 |
| Scheffé | あらゆる線形対比に対応できる柔軟さ。そのぶん最も保守的 | 「AとBの平均」対「C」のような複合的な比較もしたいとき |
| Games-Howell | 等分散性を仮定しない。群サイズの違いにも比較的強い | Levene検定で等分散性が崩れているとき |
| Tamhane T2 | 等分散性を仮定しない保守的な方法 | 等分散でない場面で、より慎重に判定したいとき |
| Dunnett | 対照群と各群の比較に特化。比較回数を節約できる | 「統制群 対 各実験群」のデザインのとき |
Tukey HSD：全ペア比較の定番
Tukey HSD（honestly significant difference）は、すべてのペアの比較を行うために設計された、事後検定の定番です。「全部のペアを比べる」という前提のもとで、全体のFWERを5%に保ちながら、Bonferroniほど厳しくなりすぎない、バランスのよい方法です。各群のデータが正規分布に近く、等分散性に大きな問題がなく、群の人数が同じか近い場合に、まず候補になります。4部活動の体力テストの全ペア比較（6通り）のような場面では、これが第一候補です。
Bonferroni：シンプルで応用範囲が広い
Bonferroni法は、有意水準を比較回数で割って判定する、いちばんシンプルな調整法です。仕組みは次の節でくわしく説明しますが、シンプルなだけに応用範囲が広く、t検定の繰り返しにも、相関係数をたくさん計算する場面にも使えます。弱点は、比較回数が増えると判定がどんどん厳しくなり、本当の差まで見逃しやすくなる（保守的になる）ことです。
Scheffé：柔軟だが最も保守的
Scheffé法は、ペアごとの比較だけでなく、「A組とB組の平均」対「C組」のような複合的な比較（線形対比）まで含めて、全体の誤りを5%に抑えてくれる方法です。どんな対比を後から思いついて検定しても誤りが守られる、という安心感が魅力ですが、その保険料として、単純なペア比較ではTukey HSDよりも有意差が出にくくなります。ペア比較しかしないのであれば、Tukey HSDの方が適しています。
Games-Howell・Tamhane T2：等分散性が崩れたときの選択肢
ここまでの方法は、各群の分散がだいたい等しいこと（等分散性）を前提にしています。Levene検定で等分散性が疑われる場合や、群の人数が大きく違う場合には、等分散性を仮定しないGames-HowellやTamhane T2を検討します。実務的にはGames-Howellがよく使われ、より慎重に判定したい場合にTamhane T2が選ばれる、という関係です。SPSSの事後検定の画面でも、「等分散を仮定しない」という枠に分かれて並んでいます。
使い分けの流れを図にまとめると、こうなります。
なお、ノンパラメトリック検定の世界にも多重比較はあります。クラスカル・ウォリス検定が有意になった後は、Bonferroni調整付きのDunn検定でペアごとの比較を行います。「親の検定が有意→調整付きの事後比較」という型は、パラメトリックでもノンパラメトリックでも共通です。
Bonferroni補正の式とHolm法（順次Bonferroni）
Bonferroni補正とは、有意水準αを比較回数kで割った値を、1回ごとの判定基準にする調整法です。式はこれだけです。
例：α＝0.05、3群の全ペア比較（k＝3） → 0.05 ÷ 3 ≒ 0.0167
3クラスのテスト点数を全ペア比較するなら、各比較はp値が0.0167を下回ったときだけ「有意」と判定します。こうしておくと、ファミリー全体のFWERがおおよそ5%以下に抑えられることが知られています。SPSSの出力では、逆にp値の方をk倍して、いつもどおり0.05と比べる形で表示されます（だから出力のp値が1.000になることもあります。p値を3倍した結果なので、驚かないでくださいね）。どちらも同じことをしています。
Bonferroniの長所は、なんといっても分かりやすさと汎用性です。一方で、比較回数が増えると判定基準がとても厳しくなります。10回の比較なら基準は0.005。こうなると、本当に差があるペアまで「有意でない」と見逃してしまう心配が出てきます（第二種の過誤の増加）。
そこで考え出されたのが、Holm法（順次Bonferroni法）です。Holm法は、k個のp値を小さい順に並べて、次のように段階的に判定します。
- いちばん小さいp値 → α÷k と比べる（ここはBonferroniと同じ厳しさ）
- 2番目に小さいp値 → α÷(k−1) と比べる（少しゆるめる）
- 3番目 → α÷(k−2) と比べる……と続け、有意でなくなった時点で打ち切り、それ以降はすべて有意でないと判定する
たとえば3回の比較でp値が 0.001、0.020、0.040 だったとしましょう。Bonferroniでは基準0.0167なので有意は1つだけです。Holm法では、0.001を0.0167と比べて有意、次に0.020を0.025（0.05÷2）と比べて有意、最後に0.040を0.05と比べて有意——3つとも有意になります。FWERを5%に保つ性質はBonferroniと同じまま、検出力だけが改善するので、理屈のうえではHolm法はBonferroniの上位互換です。SPSSの一元配置分散分析の事後検定の画面には直接は出てきませんが、出力されたp値を並べて手で判定できますし、レポートで「Holm法で調整した」と書けば立派に通用します。
偽発見率（FDR）とBenjamini-Hochberg法
偽発見率（FDR：false discovery rate）とは、「有意」と判定したものの中に含まれる、誤った有意（偽の発見）の割合のことです。ここまで紹介してきたFWERの制御とは、少し発想が違います。
FWERの制御は、「ファミリー全体で1つでも誤りが出る確率を5%以下にする」という、とても厳格な考え方でした。比較が3回や6回ならこれでよいのですが、たとえば100項目のアンケートを2群で比べる、遺伝子発現データのように何千もの検定を行う——そんな探索的な場面では、FWERを守ろうとすると基準が厳しくなりすぎて、ほとんど何も「発見」できなくなってしまいます。
そこで登場するのが、「誤りをゼロ近くに抑え込むのではなく、発見したものの中の誤りの割合を一定（たとえば5%）以下にコントロールしよう」というFDRの考え方です。「有意と判定した20個のうち、誤りは1個程度までなら許容する。そのかわり、本当の差をできるだけたくさん拾う」というイメージですね。探索の段階ではFDRで広めに候補を拾い、本命の仮説は改めて厳密に検証する、という使い分けがされています。
FDRを制御する代表的な手順が、Benjamini-Hochberg（BH）法です。m個のp値を小さい順に並べ（順位をiとします）、次の基準と比べます。
この条件を満たす最大のiまでを、すべて「発見」と判定する
Holm法と似た「順位に応じて基準を変える」発想ですが、BH法の方が基準がゆるく、そのぶん多くの差を拾えます。初学者の方は、まず「FWER制御（Bonferroni・Tukeyなど）＝厳格な確認向き、FDR制御（BH法）＝多数の検定の探索向き」という整理だけ覚えておけば十分です。3〜5群の事後検定をするだけなら、FDRの出番はあまりありませんが、アンケートの多項目比較などで「検定の数が多すぎる」と感じたら、この考え方を思い出してください。
SPSSでの実行方法
ここでは、SPSSの一元配置分散分析から多重比較（事後検定）を行う基本的な流れを紹介します。実際の画面操作や細かい設定は、SPSSの使い方シリーズで詳しく扱いますので、ここでは全体像をつかんでください。
ステップ1：一元配置分散分析の事後検定を選ぶ画面まで進む
SPSSで事後検定を行うときは、まず一元配置分散分析のダイアログを開き、従属変数（テスト点数など）と因子（クラス・勉強法など）を指定します。そのうえで、「その後の検定」ボタンを押すと、多重比較の方法を選ぶ画面が開きます。画面は「等分散を仮定する」と「等分散を仮定しない」の2つの枠に分かれていて、ここまでお話しした方法たちが並んでいます。
ステップ2：Bonferroni・Tukey HSD・Scheffé・Games-Howellの選択基準
方法選びは、図2のフローのとおりです。Levene検定で等分散性に大きな問題がなさそうなら、全ペア比較の定番であるTukey HSD、またはBonferroniにチェックを入れます。複合的な対比まで視野に入れるならScheffé、対照群との比較だけならDunnettです。等分散性が疑われる場合は、「等分散を仮定しない」枠のGames-Howell（またはTamhane T2）を選びます。なお、方法をいくつも同時にチェックして「いちばん有意が多く出たものを採用する」のは、よくない使い方です。前提条件と研究目的から方法を1つ決めて、その結果を報告しましょう。
ステップ3：オプション・有意水準の設定
事後検定の画面の下部で、有意水準（既定値は0.05）を設定できます。特別な理由がなければ0.05のままで構いません。あわせて、メインダイアログの「オプション」で記述統計量と等分散性の検定（Levene検定）にチェックを入れておきましょう。各群の平均・標準偏差・人数と、等分散性の確認結果は、事後検定の方法選択の根拠としてレポートに書くことになるからです。
ステップ4：結果出力の読み方（平均差・有意確率・信頼区間）
出力の「多重比較」の表には、群のペアごとに平均値の差・標準誤差・有意確率・95%信頼区間が並びます。読み方のポイントは3つです。第一に、有意確率が0.05未満のペア（平均値の差にアスタリスク＊が付きます）を探すこと。第二に、平均差の符号と大きさを見て「どちらがどれだけ高いか」を確認すること。第三に、95%信頼区間が0をまたいでいないかを見ることです。区間が0をまたがなければ、そのペアの差は有意と判断できます。レポートでは、たとえば「Tukey HSDによる多重比較の結果、勉強法Cは勉強法Aよりも有意に得点が高かった（平均差 = 8.40, p = .012, 95%CI [1.62, 15.18]）」のように書けば、必要な情報がひととおり伝わります。SPSSの具体的な画面操作は「SPSSの使い方」シリーズでくわしく解説しています。
関連分析手法・SPSS実装ガイド
多重比較と関連の深い分析手法・SPSSでの具体的な実装手順を以下にまとめます。研究設計や論文執筆の参考にあわせてご活用ください。
- 分散分析（ANOVA）とは？ — 本ガイドの「親」にあたる検定。ANOVA→多重比較という2段階の流れを先に押さえておきましょう。
- t検定とは？ — 2群の平均差の検定。「なぜ繰り返してはいけないか」の主役です。
- クラスカル・ウォリス検定とは？ — ノンパラメトリック版の3群以上の比較。事後比較にはBonferroni調整付きDunn検定を使います。
- マン・ホイットニーのU検定とは？ — 2群版のノンパラメトリック検定。ペアごとの事後比較にも登場します。
- 標準偏差と分散とは？ — 等分散性の判断の土台になる「ばらつき」そのものの解説です。
- 二元配置分散分析とは？ — 要因が2つになった場合のANOVA。交互作用と単純主効果の検定を学べます。
- 仮説検定の基礎 — 有意水準・p値・第一種の過誤など、本ガイドの土台になる考え方を整理できます。
- SPSSでt検定を実行する手順（SPSSの使い方 第10回） — 画面キャプチャ付きで検定の操作と出力の読み方を解説しています。
- 分散分析に使うSPSS製品の選び方 — 一元配置・二元配置・反復測定で必要な製品・オプションを整理しています（製品選定ページ）。
- 分析手法で選ぶSPSS製品 — やりたい分析からSPSS製品・オプションを選べる一覧です。
- SPSSの使い方シリーズ（全10回） — 起動・データ準備・分析・出力結果の解釈まで体系的に学べます。
つまずきやすいポイントと注意点
多重比較でつまずきやすいポイントを、ここで整理しておきます。
1. 補正なしのt検定の繰り返しで結論を書いてしまう。いちばん多い失敗です。3群をt検定3回で比べて「2つのペアで有意でした」と書くと、FWERが膨らんだままの判定になってしまいます。3群以上の平均比較は、原則として「ANOVA→事後検定」の2段階で行いましょう。すでに無調整で検定してしまった場合も、p値にBonferroniやHolmの調整をかけ直せば修正できます。
2. 事後検定の方法を「結果を見てから」選んでしまう。いくつもの方法に同時にチェックを入れて、有意が多く出た方法を採用する——これは後出しじゃんけんで、多重性の問題を別の形で持ち込むことになります。等分散性・群数・比較したいペアから方法を先に1つ決め、その結果を受け入れるのが筋です。
3. 等分散性を確認せずにTukey HSDを使ってしまう。Tukey HSDやBonferroniは等分散性を前提にしています。Levene検定が有意（等分散性が疑わしい）なら、Games-HowellやTamhane T2に切り替えましょう。あわせて、ANOVA本体もWelchの分散分析を検討します。
4. SPSSのBonferroni出力のp値に驚いてしまう。SPSSは調整後のp値（元のp値×比較回数、上限1.000）を表示します。「p = 1.000なんておかしい」と思わなくて大丈夫です。調整済みの値なので、そのまま0.05と比べてください。
5. 「有意でない＝差がない」と書いてしまう。多重比較の調整は判定を厳しくする方向に働くので、検出力は下がりがちです。有意にならなかったペアについて「差がないことが証明された」と書くのは行き過ぎです。「有意な差は認められなかった」と表現し、必要に応じて平均差や信頼区間も添えましょう。
6. 対応のあるデータに、対応なし用の事後検定を使ってしまう。同じ学生が3条件すべてを経験しているような対応のあるデータでは、反復測定分散分析を行ったうえで、対応のあるt検定にBonferroni調整をかける（SPSSでは「EMミーンズ（推定周辺平均）」の比較でBonferroniを指定する）のが定番です。Tukey HSDなどの対応なし用の方法をそのまま使わないよう注意してください。