社会科学は30年ごとに大きな岐路に立つ。1990年代は研究デザインの厳密化という革命の時代だった。ゲーリー・キング、ロバート・コヘイン、シドニー・ヴァーバの3人が共著したDesigning Social Inquiryは、それ自体に同意する人々だけでなく、それを批判した人々も含め、一世代の社会科学者が証拠と推論について考える方法を根本的に変えた。そして2020年代は、ビッグデータの時代だ。ソーシャルメディア、デジタル化されたテキスト、地理情報システムから得られる数百万のデータポイントが瞬時に収集・分析できる時代になった。
しかしここに危険なパラドックスがある。データの豊富さは、それ自体では推論の質を保証しない。むしろ、データの量が増えれば増えるほど、方法論的な盲点は見えにくくなる。今日の研究者が直面している最大の危機は、データが足りないことではない。データは溢れているのに、推論の論理における穴が大きな問題となっているのだ。この認識から出発して、KKV、W・フィリップス・シヴェリー、今井耕介とロリ・ボウガー、そしてマーサ・フィネモアの4つの古典的著作が何を教えてくれるのかを見ていこう。
現代の研究者が直面する最大の危機は、データの不足ではない。データの氾濫が、推論の論理における根本的な穴を隠蔽してしまうという事態だ。
I. 共通の基盤：二つの伝統の下に流れる一つの論理
KKVの最も重要な主張は、特定の方法についてのものではなかった。それは、科学的推論の統一性についての主張だった。定量的研究と定性的研究は、文体、語彙、技法においてどれほど異なっていても、同一の根本的な基準に照らして評価されなければならない。その基準とは、推論の質である。社会科学の究極の目的は、70カ国を横断する回帰分析を実行することでも、一つの村で6カ月の現地調査を行うことでもない。観察された証拠を使って、世界の中の未観察のプロセスと構造について信頼できる推論を行うことだ。
この主張は明白でも議論の余地がないものでもなかった。多くの定性的研究者は、それを回帰分析の論理で自分たちの方法を植民地化しようとする試みとして受け取った。しかしより慎重な読み方は異なる。KKVは全員が物を数えることを要求していたわけではない。彼らが主張していたのは、全員が自分の行っている推論的な動きについて明示的であるべきだということだ。自分の観察が実際に何を確立し、何を確立しないのか、そしてそのギャップを埋めるためにどのような仮定が必要なのか。その基準は、事例研究にも時系列横断分析にも等しく適用される。
この共通基盤に対するシヴェリーの貢献は、理論的エレガンスという概念だ。良い理論は最も包括的な理論ではない。意味のある予測精度を達成し、かつ重要な問いに答える、最も単純な理論だ。現象を説明するのに必要な変数が少なければ少ないほど、理論が提供するレバレッジは大きくなり、反証可能性も高まる。機械学習モデルがパラメータを無制限に増やすことで訓練データへの適合を高められる時代に、シヴェリーの簡潔性の価値の主張は時代遅れではない。それは予測と説明の違いを守るための原則的な防衛だ。
II. 生産的な矛盾：実証主義と構成主義の出会い
知的な意見の不一致には、単に争いになるのではなく生産的なものがある。どちら側も単純に間違っているわけではなく、その緊張自体が両者をより精緻な考えへと促す不一致だ。KKVの実証主義的枠組みとマーサ・フィネモアの構成主義的枠組みの出会いは、まさにそのような不一致に属する。
フィネモアの介入は、主流の国際関係理論の大部分に埋め込まれた深い前提を標的にしている。それは、国家の利益が固定されており、いかなる社会的相互作用よりも先に存在するという前提だ。国家は国際システムに完全に形成された利益を持って参加するのではない。国際的な社会構造と規範こそが、どのような利益が国家にとって保持することが適切かを定義し、伝達し、正当化する。利益はシステムへの入力ではなく、その出力なのだ。
この方法論的含意は、最初に見えるよりも鋭い。利益が社会的に構成されるものであるなら、それらをモデルの外生変数として扱うこと（定量的な国際関係研究の大多数が行っているように）は、単なる単純化ではない。それは、研究者が表向き研究しようとしている因果関係について系統的に誤解を招く推定値を生み出す、存在論的な誤りだ。
KKVとフィネモアの間の最も鋭い緊張点は、KKVが従属変数に関する選択と呼ぶ問題に関する。KKVは厳しく警告する。説明しようとする結果の値に基づいてケースを選択するなら、原因についての推論が偏ることは確実だと。しかしフィネモアは、この警告が理論検証の文脈では正しいが、理論生成の文脈では重要な例外があると主張する。似通った現象に直面したとき、つまりなぜすべての国家が歴史や文化に関わらず同一の西洋的科学的官僚機構を突然構築するのかという謎に直面したとき、その類似性自体を研究することが理論を生成するための必要な最初のステップなのだ。
理論は十分なデータを集めた後に構築するものではない。どこを見るか、何が証拠になるか、何が見えるかを決定するのが理論だ。
III. 研究デザインにおける4つの致命的な罠
設計段階では完全に合理的に見えるが、分析段階でその影響が現れる、特定の種類の方法論的誤りがある。4つの著作を通じて記録されているこの4つの誤りは、まさにそのタイプのものだ。
第一の罠は、不確定な研究デザインだ。これは、研究者が行いたい推論の数が、データから得られる情報を超える場合に発生する。15の国家にわたって12の独立変数を用いて外交政策行動を説明しようとする論文は、どんなに洗練された分析も解決できない自由度の根本的な問題に直面している。結果は、証拠を示唆しているが因果的な重みを確立できない研究となり、示唆するかもしれない、と一致しているように見える、という条件法の結論が生まれる。これは学術的に聞こえるが、実はデザインが問いに答えるのに不十分だったという告白だ。
第二の誤りは、多次元的概念の浅薄な操作化だ。シヴェリーの指摘は不快だが真実だ。日常言語は分析的混乱の絶え間ない源であり、単一のものを名指しているように見える言葉が、実際にはいくつかの異なる現象の間の家族的類似を指している。権力、正当性、民主主義、開発。これらの概念はそれぞれ、異なる原因、異なる影響、他の変数との異なる関係を持つ可能性のある複数の理論的に区別された次元を持つ。複数の次元を単一の測定スケールに圧縮しても、概念をより完全に捉えることにはならない。理論的に区別された事柄を混同する測定が生まれ、反対方向に走る可能性のある関係の加重平均である推定値が生まれる。
第三の誤り、内生性と欠落変数バイアスの対危険性は、技術的には最もよく議論されているが、実践においても最も系統的に過小評価されている。内生性は、原因として指定した変数が結果によって影響を受ける場合に発生し、観察データから関係の方向を決定することを不可能にする逆因果問題を生み出す。欠落変数バイアスは、原因と結果の両方と相関する第三の要因がモデルから除外された場合に発生し、含まれる変数に起因する分散を黙って吸収し、系統的に誤った推定値を生み出す。両方の問題の厄介な特徴はその不可視性だ。欠落変数バイアスのあるモデルは、しばしばクリーンで適合度が高く見えるが、標準的な出力には問題の存在を示すものが何もない。
第四の誤り、データ収集における選択バイアスは、ビッグデータの時代においてより深刻になっている問題だ。大規模な行政データセット、ソーシャルメディアアーカイブ、デジタル化された歴史的記録は共通の特徴を持つ。それらはあなたの研究質問に答えるために収集されたものではなく、どの観察がそれらに含まれるかを決定するメカニズムは、しばしばあなたが研究している現象と相関している。機密解除された外交文書のアーカイブからのデータは、政府が公開することを決定したデータだ。Twitterのデータは、Twitterを使用することを選択した人々からのデータだ。データセットが大きいほど、収集メカニズムによって導入された系統的なパターンを、研究しようとしていた実質的なパターンと間違えやすくなる。
IV. 人工知能、ビッグデータ、そして機械が答えられない問い
今井とボウガーの貢献は、現代の社会科学者のツールキットが、Designing Social Inquiryの著者たちには利用できなかった能力を含むまでに拡張したことを、説得力を持って具体的な技術的詳細とともに示したことだ。ネットワーク分析、自然言語処理、空間データ方法、操作変数、回帰不連続、差の差の推定法による観察データからの因果推論は、社会科学者が観察データから信頼できる推論を行える能力の本物の進歩を表している。
しかし技術的能力の拡張は、古い問題の新しい形を生み出す。機械学習アルゴリズムが大規模データセットから数秒で数千のパターンを識別できる場合、研究者は推論の課題の異なるバージョンに直面する。パターンを見つける方法ではなく、どのパターンが実質的に意味があるか、どれがデータ収集プロセスの統計的人工物か、どれが新しいデータと新しい文脈で再現される本物の因果メカニズムを表しているかを評価する方法だ。
KKVが複雑なイベントには理論による単純化が必要だと主張したこと、特定の理論的メカニズムが生成する観察可能な含意の識別を通じた単純化は、利用可能なデータの規模が大きくなるにつれて、より重要でなくなるのではなく、より重要になる。理論的枠組みは、シグナルとノイズを区別し、どのパターンが特定の世界の仕組みについての説明の証拠となり、どのパターンに反するかを事前に知ることを可能にするフィルターだ。そのフィルターなしに、ビッグデータは知識ではなく、新しいデータとの接触に大半が生き残らない相関関係の印象的に大きなコレクションを生成する。
V. 査読を生き残る研究デザインの5つの原則
以上の方法論的原則の実践的適用は、一度完了して脇に置けるチェックリストではない。研究プロセスのすべての決定を形成する思考の習慣だ。以下の5つの原則は、拒否された論文と一流ジャーナルで受理された論文の差が最も頻繁に決まる、最も重要な決定を捉えている。
第一の原則は、確認ではなく異常を追求することだ。分野に持続的な貢献をする研究は、よく確立された理論的予測を再びテストするものであることはほとんどない。既存の理論が予測するものに合わない観察から始まる研究だ。その異常は既存の理論が間違いであることの証拠ではない。既存の理論が何を見逃しているかについて考える招待状だ。
第二の原則は、広く包括的にではなく、狭く正確に操作化することだ。因果メカニズムに直接関係する中心概念の単一の次元を特定し、その次元をできるだけ直接的に測定する。複数の次元を集約する複合指数を構築する誘惑に抵抗する。それらは通常、理論的に区別されたプロセスを混同し、どの次元が結果を駆動しているかを決定することを不可能にする。
第三の原則は、デザインの制約の中で観察を増やすことだ。新しいケースを追加することが不可能な場合、既存のケースを時間的に、地理的に、または分析単位によって分解する。30年間にわたって毎年観察された10カ国の研究を、地域レベルに分解すると、10の観察ではなく数千の観察が得られ、10観察のデザインでは絶望的に交絡する効果を分離するための統計的検出力も得られる。
第四の原則は、確認のためではなく反証のために設計することだ。データを収集する前に、仮説化された結果に対する3つの最も強い代替説明を特定し、研究デザインを構築して、データが仮説とそれらの代替説明を区別できるようにする。厳格な査読者はいずれにせよこの演習を行う。先にやることで、改訂で直面するのではなく、課題を先に取り上げることができる。
第五の原則は、不確実性を正直に報告することだ。すべての推定値には誤差がある。すべての結論は仮定に条件付けられている。信頼区間、感度分析、帰無結果を報告する実践は、個々の研究をより信頼性の高いものにするだけでなく、系統的に効果量を誇張し肯定的結果を発表文献で過剰に代表させる出版バイアスに抵抗することで、信頼できる知識を蓄積するという集合的なプロジェクトに貢献する。
科学は最良の状態において社会的企業だ。私たちが互いに同意するからではなく、証拠への共通のコミットメントと、本当に間違いを示されることに開かれた論証を共有しているからだ。
結論：方法論とは本当は何のためにあるのか
方法論とは何のためにあるのかについて、根強い誤解がある。それはジャーナル編集者が研究をより退屈にするために課すルールのセットではない。どちらが本物の科学を構成するかを決定するための定量的アプローチと定性的アプローチの競争でもない。それは、自分を騙さないようにするための、専門分野の蓄積された実践的知恵だ。つまり、主張する推論を実際に生み出すことができる研究を構築する方法と、証拠の外観を生み出しながら、主張していることを確立することに静かに失敗する研究を構築しないようにする方法についての知恵だ。
KKV、シヴェリー、今井、フィネモアは重要な点で互いに意見が異なる。彼らは異なる強調点、異なる警告的な例、最も重要な方法論的課題についての異なるビジョンを提供する。彼らが共有しているのは、社会科学的知識の質は証拠を結論に結びつける推論の質に依存するという信念だ。そしてその質は自動的ではなく、データセットの規模やソフトウェアの洗練度によって保証されず、アルゴリズムに外注できないものだ。
データに語らせよ。しかしまず、それが実際に何を言っているかを理解するのに十分なほど、その言語を学んだことを確認せよ。
◉ 0 Thảo luận Khoa học