사회과학은 30년마다 근본적인 갈림길에 선다. 1990년대는 연구설계의 엄밀화라는 혁명의 시대였다. 게리 킹, 로버트 코헤인, 시드니 버바가 공동 집필한 Designing Social Inquiry는 그 자체에 동의한 사람들뿐 아니라 그것을 비판한 사람들까지 포함해 한 세대 전체의 사회과학자들이 증거와 추론에 대해 생각하는 방식을 근본적으로 바꾸어 놓았다. 그리고 2020년대는 빅데이터의 시대다. 소셜미디어, 디지털화된 텍스트, 지리정보시스템에서 수백만 개의 데이터 포인트를 순식간에 수집하고 분석할 수 있게 되었다.
그런데 여기에 위험한 역설이 있다. 데이터의 풍요로움은 그 자체로 추론의 질을 보장하지 않는다. 오히려 데이터의 양이 많아질수록 방법론적 맹점은 더욱 보기 어려워진다. 오늘날 연구자가 직면한 가장 큰 위기는 데이터가 부족한 것이 아니다. 데이터는 넘쳐나는데 추론의 논리에 구멍이 뚫려 있다는 것이 진짜 문제다. 이 인식에서 출발하여 KKV, W. 필립스 시블리, 이마이 고스케와 로리 보거, 마서 피네모어의 4개 고전적 저작이 무엇을 가르쳐주는지 살펴보자.
현대 연구자가 직면한 가장 큰 위기는 데이터 부족이 아니다. 데이터의 풍요로움이 추론 논리의 근본적인 구멍을 은폐해 버린다는 사태다.
I. 공통의 기반: 두 전통 아래 흐르는 하나의 논리
KKV의 가장 중요한 주장은 특정 방법에 관한 것이 아니었다. 과학적 추론의 통일성에 관한 주장이었다. 정량적 연구와 정성적 연구는 문체, 어휘, 기법에서 아무리 달라 보여도, 동일한 근본적인 기준에 비추어 평가되어야 한다. 그 기준은 추론의 질이다. 사회과학의 궁극적 목표는 70개국을 횡단하는 회귀분석을 수행하는 것도, 하나의 마을에서 6개월의 현지조사를 하는 것도 아니다. 관찰된 증거를 사용해 세계 속의 관찰되지 않은 과정과 구조에 대한 신뢰할 수 있는 추론을 행하는 것이다.
이 주장은 명백하거나 논란의 여지가 없는 것이 아니었다. 많은 정성적 연구자들은 이를 회귀분석의 논리로 자신들의 방법을 식민지화하려는 시도로 받아들였다. 하지만 더 신중한 독해는 다르다. KKV는 모두가 무언가를 셀 것을 요구하지 않았다. 그들이 주장한 것은 모두가 자신이 행하는 추론적 움직임에 대해 명시적이어야 한다는 것이다. 자신의 관찰이 실제로 무엇을 확립하고 무엇을 확립하지 않는지, 그 간극을 메우기 위해 어떤 가정이 필요한지. 그 기준은 사례 연구에도 시계열 횡단 분석에도 동등하게 적용된다.
이 공통 기반에 대한 시블리의 공헌은 이론적 우아함이라는 개념이다. 좋은 이론은 가장 포괄적인 이론이 아니다. 의미 있는 예측 정확도를 달성하면서 중요한 질문에 답하는 가장 단순한 이론이다. 현상을 설명하는 데 필요한 변수가 적을수록 이론이 제공하는 레버리지는 커지고 반증 가능성도 높아진다. 머신러닝 모델이 파라미터를 무제한으로 늘려 훈련 데이터에 대한 적합도를 높일 수 있는 시대에, 간결성의 가치에 대한 시블리의 주장은 더 단순한 시대에 대한 향수가 아니다. 예측과 설명의 차이를 지키기 위한 원칙적인 방어다.
II. 생산적인 모순: 실증주의와 구성주의의 만남
단순히 다투는 것이 아니라 생산적인 지적 의견 불일치가 있다. 어느 쪽도 단순히 틀리지 않고, 그들 사이의 긴장 자체가 양측을 더 정교한 사고로 이끄는 불일치다. KKV의 실증주의적 프레임워크와 마서 피네모어의 구성주의적 프레임워크의 만남이 바로 그러한 불일치에 속한다.
피네모어의 개입은 주류 국제관계 이론 대부분에 내재된 깊은 가정을 표적으로 삼는다. 국가 이익이 고정되어 있고, 어떤 사회적 상호작용보다도 먼저 존재한다는 가정이다. 국가는 국제 시스템에 완전히 형성된 이익을 가지고 참여하지 않는다. 국제적 사회 구조와 규범이 국가들에게 어떤 이익을 갖는 것이 적절한지를 정의하고, 전달하고, 정당화하는 것이다. 이익은 시스템으로의 입력이 아니라 그 출력이다.
이 방법론적 함의는 처음 보이는 것보다 더 날카롭다. 이익이 사회적으로 구성된다면, 그것들을 모델의 외생 변수로 처리하는 것(정량적 국제관계 연구의 대다수가 하는 것처럼)은 단순한 단순화가 아니다. 연구자가 표면적으로 연구하는 인과 관계에 대해 체계적으로 오해를 불러일으키는 추정치를 생성하는 존재론적 오류다.
KKV와 피네모어 사이의 가장 날카로운 긴장점은 종속변수에 대한 선택이라고 KKV가 부르는 문제에 관한 것이다. KKV는 엄중히 경고한다. 설명하려는 결과의 값에 기반하여 사례를 선택한다면, 원인에 대한 추론이 편향될 것이 확실하다고. 그러나 피네모어는 이 경고가 이론 검증의 맥락에서는 옳지만, 이론 생성의 맥락에서는 중요한 예외가 있다고 주장한다. 유사성의 이상 현상에 직면했을 때, 즉 왜 모든 국가들이 역사나 문화에 관계없이 동일한 서구식 과학적 관료제를 갑자기 구축하는가라는 수수께끼에 직면했을 때, 바로 그 유사성 자체를 연구하는 것이 이론을 생성하기 위한 필요한 첫 번째 단계다.
이론은 충분한 데이터를 수집한 후에 구축하는 것이 아니다. 어디를 볼지, 무엇이 증거가 되는지, 무엇이 보이는지를 결정하는 것이 이론이다.
III. 연구설계의 네 가지 치명적인 함정
설계 단계에서는 완전히 합리적으로 보이지만 분석 단계에서 그 영향이 드러나는 특정 종류의 방법론적 오류가 있다. 4개의 저작을 통해 기록된 이 네 가지 오류는 정확히 그런 유형이다.
첫 번째 함정은 불확정 연구설계다. 이것은 연구자가 이끌어내고 싶은 추론의 수가 데이터에서 얻을 수 있는 정보를 초과할 때 발생한다. 15개 국가에 걸쳐 12개의 독립변수를 사용하여 외교정책 행동을 설명하려는 논문은 어떤 정교한 분석으로도 해결할 수 없는 자유도의 근본적인 문제에 직면한다. 결과는 상관관계를 암시하지만 인과적 가중치를 확립할 수 없는 연구가 되어, ~을 시사할 수 있다, ~과 일치하는 것으로 보인다는 조건법의 결론이 나온다. 이는 학술적으로 들리지만 실제로는 설계가 질문에 답하기에 불충분했다는 고백이다.
두 번째 오류는 다차원적 개념의 피상적인 조작화다. 시블리의 지적은 불편하지만 사실이다. 일상 언어는 분석적 혼란의 끊임없는 원천이며, 단일한 것을 지칭하는 것처럼 보이는 단어들이 실제로는 여러 다른 현상 사이의 가족 유사성을 가리킨다. 권력, 정당성, 민주주의, 개발. 이 각각의 개념은 원인, 효과, 다른 변수와의 관계가 다를 수 있는 여러 이론적으로 구별된 차원을 가진다. 여러 차원을 단일 측정 척도로 압축하는 것은 개념을 더 완전하게 포착하는 것이 아니다. 이론적으로 구별된 것들을 혼동하는 측정을 만들어내고 반대 방향으로 진행될 수 있는 관계들의 가중 평균인 추정치를 생성한다.
세 번째 오류, 내생성과 누락 변수 편향의 쌍둥이 위험은 기술적으로는 가장 많이 논의되지만 실제로는 가장 체계적으로 과소평가된다. 내생성은 원인으로 지정한 변수가 결과에 의해 영향을 받을 때 발생하여, 관찰 데이터만으로는 관계의 방향을 결정할 수 없는 역인과 문제를 만들어낸다. 누락 변수 편향은 원인과 결과 모두와 상관된 제3의 요인이 모델에서 제외될 때 발생하여, 포함된 변수에 귀속되는 분산을 조용히 흡수하고 체계적으로 틀린 추정치를 생성한다. 두 문제의 골치 아픈 특성은 그 불가시성이다. 누락 변수 편향이 있는 모델은 종종 깔끔하고 적합도가 높아 보이며, 표준 출력에는 문제의 존재를 나타내는 것이 전혀 없다.
네 번째 오류, 데이터 수집의 선택 편향은 빅데이터 시대에 더욱 심각해진 문제다. 대규모 행정 데이터셋, 소셜미디어 아카이브, 디지털화된 역사적 기록은 공통된 특성을 가진다. 그것들은 당신의 연구 질문에 답하기 위해 수집된 것이 아니며, 어떤 관찰이 그것들에 포함되는지를 결정하는 메커니즘은 종종 당신이 연구하는 현상과 상관되어 있다. 기밀 해제된 외교 문서 아카이브의 데이터는 정부가 공개하기로 결정한 데이터다. 트위터 데이터는 트위터를 사용하기로 선택한 사람들의 데이터다. 데이터셋이 클수록, 수집 메커니즘에 의해 도입된 체계적 패턴을 연구하려 했던 실질적인 패턴으로 착각하기 쉽다.
IV. 인공지능, 빅데이터, 그리고 기계가 답할 수 없는 질문들
이마이와 보거의 공헌은 현대 사회과학자의 도구 상자가 Designing Social Inquiry의 저자들에게는 이용 불가능했던 능력을 포함하도록 확장되었음을 설득력 있게, 그리고 구체적인 기술적 세부사항과 함께 보여준 것이다. 네트워크 분석, 자연어 처리, 공간 데이터 방법, 도구 변수를 통한 관찰 데이터의 인과 추론, 회귀 불연속, 이중차분법은 사회과학자가 이용 가능한 데이터에서 신뢰할 수 있게 확립할 수 있는 것의 진정한 발전을 나타낸다.
그러나 기술적 능력의 확장은 오래된 문제의 새로운 형태를 만들어낸다. 머신러닝 알고리즘이 대규모 데이터셋에서 수천 개의 패턴을 수초 만에 식별할 수 있을 때, 연구자는 추론 과제의 다른 버전에 직면한다. 패턴을 찾는 방법이 아니라, 어떤 패턴이 실질적으로 의미 있는지, 어떤 것이 데이터 수집 과정의 통계적 인공물인지, 어떤 것이 새로운 데이터와 새로운 맥락에서 복제될 진정한 인과 메커니즘을 나타내는지를 평가하는 방법이다.
KKV가 복잡한 사건에는 이론을 통한 단순화가 필요하다고 주장한 것, 특정 이론적 메커니즘이 생성하는 관찰 가능한 함의의 식별을 통한 단순화는, 이용 가능한 데이터의 규모가 커질수록 덜 중요한 것이 아니라 더 중요해진다. 이론적 프레임워크는 신호와 잡음을 구별하고, 어떤 패턴이 세계의 작동 방식에 대한 특정 설명의 증거가 되고 어떤 것이 그것에 반하는지를 사전에 알 수 있게 해주는 필터다. 그 필터 없이 빅데이터는 지식이 아니라 새로운 데이터와의 접촉에서 대부분 살아남지 못할 인상적으로 큰 상관관계 모음을 생성한다.
피네모어의 구성주의적 비판은 기술 지향적 방법론 토론에서 간과하기 쉬운 차원을 추가한다. 역사적 데이터로 훈련된 머신러닝 모델은 그 데이터를 생성한 역사적 시기의 모든 체계적 편향과 구조적 제약을 파라미터 안에 내재화한다. 국가 이익이 사회적으로 구성되고 시간이 지남에 따라 변한다면, 과거 행동을 학습한 예측 모델은 단순히 미래를 예측하는 것이 아니다. 그것은 자체 기대를 확인함으로써 미래를 구성할 가능성이 있다.
V. 동료 심사를 살아남는 연구설계의 5가지 원칙
위의 방법론적 원칙들의 실천적 적용은 한 번 완성하고 제쳐둘 수 있는 체크리스트가 아니다. 연구 과정의 모든 결정을 형성하는 사고의 습관이다. 다음 5가지 원칙은 거부된 논문과 일류 저널에서 수락된 논문의 차이가 가장 자주 결정되는 가장 중요한 결정을 포착한다.
첫 번째 원칙은 확인이 아닌 이상 현상을 추구하는 것이다. 분야에 지속적인 공헌을 하는 연구는 잘 확립된 이론적 예측을 다시 한번 검증하는 것인 경우가 거의 없다. 기존 이론이 예측하는 것과 맞지 않는 관찰에서 시작하는 연구다. 그 이상 현상은 기존 이론이 틀렸다는 증거가 아니다. 기존 이론이 무엇을 놓치고 있는지에 대해 생각해보라는 초대장이다.
두 번째 원칙은 광범위하고 포괄적으로가 아니라 좁고 정밀하게 조작화하는 것이다. 인과 메커니즘에 직접 관련된 중심 개념의 단일 차원을 식별하고, 그 차원을 가능한 한 직접적으로 측정한다. 여러 차원을 집계하는 복합 지수를 구축하려는 유혹에 저항한다. 그것들은 일반적으로 이론적으로 구별된 과정을 혼동하고 어떤 차원이 결과를 이끌고 있는지 결정하는 것을 불가능하게 한다.
세 번째 원칙은 설계의 제약 내에서 관찰을 늘리는 것이다. 새로운 사례 추가가 불가능할 때, 기존 사례를 시간적으로, 지리적으로, 또는 분석 단위별로 분해한다. 30년에 걸쳐 매년 관찰된 10개국 연구를 지역 수준으로 분해하면 10개 관찰이 아닌 수천 개의 관찰을 얻을 수 있으며, 10개 관찰 설계에서는 절망적으로 교란될 효과를 분리하기 위한 통계적 검출력도 얻을 수 있다.
네 번째 원칙은 확인을 위해서가 아니라 반증을 위해 설계하는 것이다. 데이터를 수집하기 전에, 가설화된 결과에 대한 가장 강력한 세 가지 대안적 설명을 식별하고, 데이터가 가설과 그 대안들을 구별할 수 있도록 연구설계를 구성한다. 엄격한 심사자는 어차피 이 연습을 할 것이다. 먼저 하면 수정에서 직면하는 대신 과제를 선제적으로 다룰 수 있다.
다섯 번째 원칙은 불확실성을 정직하게 보고하는 것이다. 모든 추정치에는 오차가 있다. 모든 결론은 가정에 조건부다. 신뢰 구간, 민감도 분석, 귀무 결과를 보고하는 관행은 개별 연구를 더 신뢰할 수 있게 만들 뿐만 아니라, 체계적으로 효과 크기를 과장하고 긍정적 결과를 출판 문헌에서 과대 대표하는 출판 편향에 저항함으로써 신뢰할 수 있는 지식을 축적하는 집합적 프로젝트에 기여한다.
과학은 최선의 상태에서 사회적 기업이다. 우리가 서로 동의하기 때문이 아니라, 증거에 대한 공통의 헌신과 진정으로 틀렸다는 것을 보여주는 데 열린 논증을 공유하기 때문이다.
결론: 방법론은 진정 무엇을 위한 것인가
방법론이 무엇을 위한 것인지에 대한 지속적인 오해가 있다. 저널 편집자들이 연구를 더 지루하게 만들기 위해 부과하는 규칙의 집합이 아니다. 어느 쪽이 진짜 과학을 구성하는지를 결정하기 위한 정량적 접근과 정성적 접근의 경쟁도 아니다. 그것은 자기 자신을 속이지 않기 위한, 전문 분야의 축적된 실천적 지혜다. 즉, 주장하는 추론을 실제로 생성할 수 있는 연구를 구축하는 방법과, 증거의 외양을 생성하면서 주장하는 것을 확립하는 데 조용히 실패하는 연구를 구축하지 않는 방법에 대한 지혜다.
KKV, 시블리, 이마이, 피네모어는 중요한 점에서 서로 의견이 다르다. 그들은 다른 강조점, 다른 경고적 예시, 가장 중요한 방법론적 과제에 대한 다른 비전을 제공한다. 그들이 공유하는 것은 사회과학적 지식의 질은 증거를 결론과 연결하는 추론의 질에 달려 있다는 확신이다. 그리고 그 질은 자동적이지 않고, 데이터셋의 규모나 소프트웨어의 정교함으로 보장되지 않으며, 알고리즘에 외주를 줄 수 없는 것이다.
데이터가 말하게 하라. 그러나 먼저, 그것이 실제로 무엇을 말하는지 이해하기에 충분할 만큼 그 언어를 배웠는지 확인하라.
◉ 0 Thảo luận Khoa học