90은 95로, 30은 40으로 오른다. 그런데 84는 51로 떨어진다.
계산 오류가 아니다. 쉬운 일과 어려운 일을 처리하는 가상의 서비스 이야기다. 두 기간 사이에 각 집단은 개선됐지만 전체 성공률은 하락했다. 나중 기간에 어려운 일이 훨씬 많아졌기 때문이다. 전체 비율은 대상의 구성까지 품고 있지만 대개 이를 따로 보여 주지 않는다.
합쳐진 비율 아래에는 가중치가 숨어 있다.
분모를 떼어 놓지 않기
이전 기간에는 쉬운 일 90건 중 81건, 어려운 일 10건 중 3건이 성공한다. 각각 90%와 30%다. 합계는 100건 중 84건, 즉 84%다. 쉬운 일이 대부분이므로 그 집단의 높은 성공률이 전체를 지배한다.
이후에는 쉬운 일 20건 중 19건, 어려운 일 80건 중 32건이 성공한다. 집단별 비율은 95%와 40%로 모두 오른다. 하지만 합계는 100건 중 51건이다. 쉬운 일이 줄고 어려운 일이 늘었다. 어느 집단도 퇴보하지 않아도 계산은 성립한다.
전체는 가중 평균이다
이전 전체 비율에서 쉬운 집단의 가중치는 90%, 어려운 집단은 10%다. 이후에는 20%와 80%가 된다. 각 성공률에 해당 집단의 비중을 곱해 합하면 전체 비율이 나온다. 하나의 비율이 성과와 업무 구성이라는 두 역할을 함께 수행한다.
두 집단의 비율을 똑같이 평균하면 다른 질문에 답한다. 같은 가중치를 주면 이전 60%, 이후 67.5%다. 쉬운 일과 어려운 일을 절반씩으로 고정한 비교다. 이 기준 집단에서의 개선은 드러나지만 어느 기간의 실제 전체 성공률도 아니다.
두 요약이 모두 중요할 수 있다
비슷한 업무에서 서비스가 개선됐는지 평가하려면 집단별 비율이나 기준이 분명한 표준화 비교가 중요하다. 후속 처리를 계획한다면 이후 기간에 실제로 실패한 49건이 중요할 수 있다. 같은 데이터가 두 관심을 모두 뒷받침하며 하나를 골라도 다른 사실은 사라지지 않는다.
그래서 단일 비율에 “더 좋다”는 말을 붙이면 산술로만 풀 수 없는 논쟁이 생긴다. 어느 대상, 어떤 업무 구성, 무슨 결정에 더 좋은가? 팀을 보상하거나 시스템을 비교하고 변화를 설명하기 전에 분모와 기준 구성을 보여 줘야 한다.
나눠 본다고 진실이 자동으로 드러나지는 않는다
이 사례는 심프슨 역전의 한 형태다. 그러나 역전이 보인다고 어떤 변수를 통제해야 하는지 알 수는 없다. 실제 집단 변수는 난도를 설명할 수도, 결정의 결과일 수도, 새로운 선택 문제를 만들 수도 있다. 데이터 생성 과정을 알아야 역할을 판단할 수 있다.
여기서 “쉬움”과 “어려움”은 설정한 이름이다. 무작위로 업무를 배정한 실험도, 숨은 차이의 측정도 없고 어떤 개입이 개선을 일으켰다는 주장도 없다. 표는 수학적 작동 원리만 분리한다. 인과 결론에는 더 자세한 표를 넘어 추가 설계와 증거가 필요하다.
비율 말고 무엇이 달라졌는가
먼저 비율만 받지 말고 성공 건수와 전체 건수를 요청하자. 기간별 집단 크기를 비교하고 결정에 맞는다면 구성을 고정한 지표도 계산한다. 실제 응용에서는 작은 집단의 불확실성도 필요하다. 20건 중 18건에서 19건이 된 것을 정확한 모집단 개선처럼 읽어서는 안 된다.
이 예의 수치는 모집단에서 추출한 잡음 있는 관측이 아니라 정확히 만든 입력이다. 역전을 쉽게 살펴보려는 목적이다. 남길 만한 습관은 전체 추세가 부분과 어긋날 때 오류를 찾기 전에 가중치를 보는 것이다. 전체가 이제 다른 구성의 대상을 설명하고 있을 수 있다.
더 읽어 보기
Stanford Encyclopedia of Philosophy: Simpson’s paradox ↗NumPy: weighted averages ↗공식 문서와 함께 읽으면 좋은 자료입니다.