심슨의 역설: 팀별 완료율은 올랐는데 전체는 왜 떨어질까

같은 표에서 서로 반대인 보고가 나왔다

월간 보고서를 읽다가 이상한 장면을 만났다고 하자. A팀도 B팀도 기한 내 완료율이 올랐는데, 두 팀을 합친 회사의 완료율은 떨어졌다. 누군가 비율을 잘못 계산했을까. 먼저 분자와 분모가 있는 표를 펼쳐 보면, 계산 오류 없이도 이런 결과가 나올 수 있다.

아래는 이 글의 설명을 위해 만든 가상 자료다. 실제 기업의 운영 실적이나 개선 효과를 보고하는 값이 아니다. A팀은 정형화된 요청을, B팀은 추가 자료 검토가 필요한 요청을 맡는다고 설정했다. 완료 기준은 두 팀 모두 ‘접수 뒤 2영업일 안에 완료’로 같고, 각 달에 접수한 요청을 모두 그 시점까지 추적했다. 요청 한 건은 한 팀에만 속하며, 두 달 모두 총 100건이다.

A팀의 관측 완료율은 5퍼센트포인트, B팀은 10퍼센트포인트 올랐다. 그러나 전체는 21퍼센트포인트 내려갔다. 두 달의 총 접수 건수는 같지만, 각 팀이 차지하는 몫은 다르다. B팀의 요청이 전체의 20%에서 80%로 늘었다. 건수가 같아도 추가 검토가 필요한 요청의 비중은 달라질 수 있다.

전체 비율은 두 퍼센트의 단순 평균이 아니다

4월의 두 완료율 90%와 40%를 더해 2로 나누면 65%다. 하지만 실제 완료 건수는 80건이므로 회사 전체 완료율 80%와 맞지 않는다. 80건을 접수한 팀과 20건을 접수한 팀에 같은 무게를 주었기 때문이다. 두 팀을 평균적인 팀 하나로 요약하는 계산과, 모든 요청 가운데 완료된 비율을 구하는 계산은 다른 질문에 답한다.

요청 전체의 완료율은 완료 건수를 먼저 더하고 접수 건수의 합으로 나누면 된다. 같은 값을 팀별 비율로 쓰려면 각 팀의 접수 비중을 곱해야 한다. 여기서 비중이 가중치다.

• 4월: (72 + 8) / (80 + 20) = 0.80
• 같은 계산: 0.90 × 0.80 + 0.40 × 0.20 = 0.80
• 5월: (19 + 40) / (20 + 80) = 0.59
• 같은 계산: 0.95 × 0.20 + 0.50 × 0.80 = 0.59

5월에는 완료율이 낮은 B팀 쪽에 전체 요청의 더 큰 몫이 놓였다. 두 팀의 비율이 각각 올라도 이 구성 변화가 합친 비율을 반대 방향으로 움직일 수 있다. 집단별 비교와 합친 비교의 방향이 뒤집히는 이런 현상을 심슨의 역설이라고 부른다. 숫자가 논리적으로 모순된다는 뜻이 아니다. 서로 다른 가중치를 사용한 결과를 같은 비교처럼 읽을 때 역설처럼 보인다.

분모를 숨기면 원인을 찾기 어렵다. ‘A팀 95%, B팀 50%’만 적으면, 어느 팀에 요청이 몰렸는지 알 수 없다. 완료율 옆에 19/20과 40/80을 함께 남겨야 독자가 전체 59/100을 다시 계산할 수 있다. 반올림한 퍼센트를 평균내기보다 원래 건수로 계산해야 하는 이유도 여기에 있다.

전체 59%도, 팀별 상승도 지울 수 없다

그렇다면 회사 보고서에서 전체 59%를 빼고 팀별 개선만 강조하면 될까. 그러면 5월에 실제로 접수한 100건 중 41건이 정해진 기한 안에 완료되지 않았다는 사실이 사라진다. 이 수치는 이용자가 겪은 결과를 요약하며, 추가 인력이나 처리 절차를 검토할 때 필요한 정보다.

반대로 80%가 59%가 됐다는 이유만으로 모든 팀의 처리 능력이 나빠졌다고 말해도 안 된다. 표에 있는 팀별 관측 비율은 그 반대다. 전체 결과가 악화됐다는 문장과, 같은 종류의 요청을 처리하는 능력이 악화됐다는 문장에는 서로 다른 근거가 필요하다.

이 가상 사례에서 B팀이 맡는 요청에는 추가 검토가 필요하다고 정했지만, 낮은 완료율을 팀의 무능력으로 해석할 근거는 없다. 같은 기한을 적용해도 업무에 필요한 단계가 다를 수 있다. 한 팀 안에서도 요청의 난도, 담당 인력, 접수 시각이 달라졌을 가능성이 남는다. 팀을 나누었다는 사실만으로 모든 비교 조건이 같아진 것은 아니다.

실제 집계에서는 완료 기준도 먼저 맞춰야 한다. 4월에는 서류 확인까지, 5월에는 최종 승인까지를 완료로 세었다면 퍼센트의 방향을 비교하기 전에 정의부터 고쳐야 한다. 월말에 들어온 요청을 아직 2영업일이 지나지 않았는데 기한 내 미완료로 분류한 경우도 별도 문제다. 심슨의 역설이라는 이름을 붙이기 전에 같은 단위와 관찰 기간으로 센 자료인지 확인해야 한다.

같은 요청 구성이었다면 무엇이 달라질까

요청 구성이 바뀐 영향을 잠시 고정하고 두 달의 비율을 비교할 수는 있다. 예를 들어 4월의 A팀 80%, B팀 20%라는 구성을 공통 기준으로 택하자. 그 비중에 각 달의 팀별 완료율을 곱한다.

이렇게 같은 구성을 적용한 비교에서는 80%에서 86%로 6퍼센트포인트 오른다. 5월의 관측 완료율을 유지한 채 가중치만 맞춘 계산이다. 5월에 실제로 86건이 완료됐다는 뜻은 아니다. 실제 완료는 59건이며, 86%는 기준 구성을 명시한 비교용 값이다.

공통 기준을 무엇으로 정했는지도 공개해야 한다. 두 팀에 50%씩 주면 4월은 65%, 5월은 72.5%가 된다. 이 경우에도 상승 방향은 같지만 수치와 차이는 달라진다. 따라서 86%를 유일하게 참인 완료율이라고 부를 수 없다. 이 예에서는 기존 구성으로 성과를 비교한다는 목적에 맞춰 4월을 기준으로 골랐을 뿐이다.

어떤 공통 비중을 택하든 각 팀에 적용하는 비중을 두 달 사이에 동일하게 유지하면, 두 팀 모두 오른 이번 예시의 비교값도 오른다. 실제 전체 비율이 내려간 데에는 두 달에 서로 다른 비중을 사용한 일이 관여한다. 기준을 결과가 잘 보이도록 매번 바꾸면 다른 왜곡을 만들 수 있으므로, 비교 목적과 기준을 결과 옆에 적어 두어야 한다.

원논문도 표를 어떻게 나눌지 묻는다

E. H. Simpson의 1951년 논문은 분류표를 합치는 계산뿐 아니라 분류 항목의 의미에 따라 해석이 달라지는 문제를 다룬다. 같은 수 구조라도 카드의 속성을 조사하는 상황과 처치 결과를 비교하는 상황을 똑같이 읽을 수 있는지 묻는다. 집단을 잘게 나눈 표가 언제나 정답이라는 규칙을 제시한 것은 아니다. Simpson 원논문 240–241쪽 (새 창)

실제 자료의 사례로 자주 소개되는 것은 1973년 버클리 대학원 지원 기록이다. R의 공식 UCBAdmissions 자료는 가장 큰 6개 학과의 4,526건을 분류한 것으로, 대학 전체의 모든 지원 기록이나 현재 입학 현황이 아니다. R 공식 자료의 범위 (새 창)

이 역사적 입학 자료를 분석한 Bickel 등의 1975년 논문 초록은 전체 비율을 해석할 때 학과별 지원 구성과 학과별 선발을 고려해야 한다고 설명한다. 여기서 얻을 교훈은 합친 숫자만으로 선발 과정을 판단하기 어렵다는 점이다. 학과별로 나눠 봤으니 교육 과정 전체에 차별이 없었다고 결론 내릴 수도 없다. 원논문은 오히려 지원 이전의 교육·사회적 경로까지 논의한다. 원논문 초록과 서지 정보 (새 창)

오늘의 업무 표에서도 어느 변수를 기준으로 나눌지는 자료가 만들어진 과정에 달려 있다. 우리 예시는 접수 때 이미 정해진 요청 종류를 사용했다. 결과를 본 뒤 유리한 조각만 고르거나, 처리 방식 때문에 달라진 중간 결과로 다시 집단을 나누면 애초의 질문이 바뀔 수 있다. 표의 모양만으로 원인을 확정하는 대신 배정 방식과 업무 흐름을 확인해야 한다.

보고서에 남길 문장과 다음 확인

앞의 가상 자료를 보고한다면 세 숫자를 함께 남길 수 있다. ‘전체 기한 내 완료율은 80%에서 59%로 낮아졌다. A팀과 B팀의 관측 완료율은 각각 90%에서 95%, 40%에서 50%로 올랐으며, B팀의 접수 비중이 20%에서 80%로 늘었다. 4월의 팀별 접수 비중을 공통 적용한 비교값은 80%에서 86%로 올랐다.’ 이렇게 쓰면 실제 결과와 구성 보정 비교를 독자가 구별할 수 있다.

스스로 집계표를 확인할 때는 다음 순서로 계산해 보자.

1. 각 비율의 분자·분모·관찰 기간을 적고, 요청이 중복되거나 빠지지 않았는지 확인한다.
2. 전체 비율은 원래 건수의 합으로 다시 구한다. 팀별 퍼센트를 그대로 평균내지 않는다.
3. 팀별 비율과 함께 각 팀이 전체 분모에서 차지하는 비중을 비교한다.
4. 같은 구성으로 비교해야 하는 질문이면 공통 비중과 선택 이유를 먼저 정한다. 실제 집계값도 함께 남긴다.

이 절차를 거쳐도 ‘새 시스템 덕분에 완료율이 올랐다’는 인과효과까지 얻은 것은 아니다. 다른 인력이나 업무 변화가 있었는지는 이 표에 없다. 모형을 실행 결정에 사용할 때 필요한 근거처럼, 숫자가 설명하는 범위와 우리가 내리려는 결정을 맞춰야 한다.

마지막으로 A팀과 B팀의 접수 비중이 두 달 모두 80 대 20이었다고 생각해 보자. 지금처럼 각 팀의 완료율이 모두 올랐다면 전체도 내려갈 수 없다. 위 식에 같은 가중치를 넣어 직접 확인할 수 있다. 반대로 전체가 내려갔다면 구성, 팀별 비율, 집계 정의 중 무엇이 실제로 달라졌는지 찾아야 한다. 반복 연구에서 서로 다른 조건을 비교하는 일과 마찬가지로, ‘상승’이나 ‘하락’이라는 한 단어보다 무엇을 같은 조건으로 놓았는지가 판단을 바꾼다.