전체 데이터가 말하지 않는 것

합격률 44% vs 30%, 그런데 학과별로 보면 반대였습니다

숫자는 객관적입니다. 그 숫자를 만든 기준은 아닙니다

데이터를 근거로 이야기하면 논쟁이 끝난다고 생각하기 쉽습니다. 그런데 실제로 논쟁이 시작되는 지점은 숫자 그 자체가 아니라, 그 숫자를 어떤 단위로 묶었는가입니다.

같은 원자료에서 정반대의 결론이 나오는 일은 조작이 없어도 일어납니다. 가장 유명한 사례가 50년 넘게 통계 수업의 첫 페이지를 차지하고 있는 1973년 UC Berkeley 대학원 입학 데이터입니다.

전체를 보면 명백해 보였습니다

1973년 가을 학기, 지원자 수 기준 상위 6개 학과를 합산한 결과입니다.

• 남성: 2,691명 지원, 1,198명 합격 → 약 44%
• 여성: 1,835명 지원, 557명 합격 → 약 30%

14%p 차이입니다. 표본도 4,500명이 넘습니다. 이 숫자만 놓고 보면 결론은 하나로 보입니다.

학과별로 나누자 결론이 뒤집혔습니다

같은 데이터를 학과 단위로 쪼개면 이렇게 됩니다.

학과 남성 합격률 (지원자) 여성 합격률 (지원자)

A	62% (825명)	82% (108명)
B	63% (560명)	68% (25명)
C	37% (325명)	34% (593명)
D	33% (417명)	35% (375명)
E	28% (191명)	24% (393명)
F	6% (373명)	7% (341명)

6개 학과 중 4개에서 여성 합격률이 더 높습니다. 학과 구성을 보정해 계산하면 편향의 방향 자체가 뒤집힙니다.

왜 이런 일이 벌어질까요

표의 지원자 수를 다시 보면 답이 보입니다.

합격률이 60%대로 높았던 A와 B에는 지원자의 대부분이 남성이었습니다. A학과는 남성 825명, 여성 108명입니다. 반대로 합격률이 30% 안팎이거나 6%에 불과했던 C부터 F까지는 여성 지원이 몰려 있었습니다.

즉 두 개의 서로 다른 요인이 하나의 숫자 안에서 얽혀 있었습니다. 성별과, 학과별 경쟁률입니다. 전체 합격률은 이 둘을 구분하지 못한 채 하나로 뭉쳐 놓은 숫자였습니다.

하위 Group에서 나타난 관계가 전체 Aggregate Data에서 반대로 나타나는 이 현상을 #Simpson's Paradox(심슨의 역설) 라고 합니다.

여기서 멈추면 안 되는 이유

이 분석이 증명하는 것과 증명하지 않는 것을 구분해야 합니다.

증명하지 않는 것은 "UC Berkeley의 입학 과정에 차별이 없었다"입니다. 증명하는 것은 "전체 합격률이라는 하나의 숫자만으로 원인을 판단하면 중요한 변수를 놓친다"입니다.

이 둘은 전혀 다른 문장인데, 이 사례가 인용될 때 자주 같은 것으로 취급됩니다.

평균도 똑같은 함정입니다

심슨의 역설과 평균의 함정은 뿌리가 같습니다. 둘 다 #가중평균에서 구성비가 바뀌면 전체 숫자가 하위 Group과 반대 방향으로 움직인다는 문제입니다.

제품 지표로 옮겨 보면 이렇습니다.

이번 달 평균 사용 시간이 늘었다고 해봅시다. 그런데 Light User, Medium User, Heavy User Group의 평균 사용 시간은 각각 모두 줄어 있을 수 있습니다. Heavy User의 비중이 커지기만 하면 전체 평균은 올라가기 때문입니다.

사용 행동은 전 구간에서 나빠졌는데 대표 지표는 성장한 것처럼 보입니다. 신규 유입이 줄어 기존 헤비 유저 비중이 높아진 상황이라면, 이 지표 상승은 성장이 아니라 위험 신호입니다.

그래서 평균을 확인했다면 그다음이 반드시 있어야 합니다. Median, Quantile, Outlier, 그리고 Distribution입니다.

순서를 바꿔야 합니다

데이터를 볼 때 먼저 던지는 질문은 보통 이것입니다.

"숫자가 얼마인가?"

그보다 앞에 와야 하는 질문은 이것입니다.

"어떤 데이터를, 어떤 기준으로 묶어서 만든 숫자인가?"

이 질문을 건너뛰면, 정확한 숫자로 정확하게 틀린 결론에 도달할 수 있습니다.

---

한 걸음 더 : 쪼개는 것이 항상 정답은 아닙니다

이 사례는 보통 "전체 말고 Group별로 쪼개서 보라"는 교훈으로 소비됩니다. 하지만 쪼개는 기준을 고르는 일 자체가 이미 하나의 해석입니다.

여성 지원자가 경쟁이 심한 학과로 몰린 것 자체가 그 이전 단계의 구조적 요인 때문이라면, 학과는 걷어내야 할 교란변수가 아니라 차별이 작동한 경로, 즉 매개변수가 됩니다. 매개변수를 통제하면 차별의 효과는 드러나는 것이 아니라 오히려 가려집니다. Bickel 연구진 역시 여성이 진입 장벽이 높은 분야로 유입되는 사전 선별(prior screening) 문제를 함께 지적했습니다.

즉 어떤 변수로 쪼갤지는 통계가 결정해 주지 않습니다. 인과 구조에 대한 판단이 결정합니다. Judea Pearl이 심슨의 역설을 통계적 역설이 아니라 인과적 혼동이라고 부른 이유입니다.

전체만 보는 것도 해석이고, 쪼개서 보는 것도 해석입니다. 어느 쪽도 저절로 객관적이지 않습니다.

---

다음 글에서는 통계 모델과 Algorithm이 잘못된 판단을 더 빠르고 더 일관되게 실행한 실제 사례를 살펴보겠습니다.

---

참고 자료

• Bickel, Hammel & O'Connell (1975), Sex Bias in Graduate Admissions: Data from Berkeley, Science 187(4175), 398–404. 데이터는 1973년 가을 학기 기준 https://www.science.org/doi/10.1126/science.187.4175.398
• UC Berkeley Statistics, Simpson's Paradox https://www.stat.berkeley.edu/~stark/SticiGui/Text/experiments.htm
• R Documentation, UCBAdmissions Dataset — 위 논문의 상위 6개 학과 데이터 https://stat.ethz.ch/R-manual/R-devel/library/datasets/html/UCBAdmissions.html