DEVOCEAN

Data LIteracy(데이터 문해력)가 필요해

업무에서 데이터 활용은 많은데..

지난 3월, 각 부서에서 "어떤 데이터를 어떻게 활용 하고 있는지" 알아 보기 위한 설문을 진행했었어요.

업무 전반(end to end)에서 필요한 데이터가 제대로 수집되고 있는지, 수집된 데이터는 쓰이기 쉬운 형태로 가공은 잘 되는지,

그리고 가공된 데이터는 의사결정에 어느 정도로 활용되고 있는 지 등을 알아보았습니다.

온라인 서베이/대면 인터뷰를 모두 활용하여 최대한 많은 의견을 듣고자 노력했고, 결론을 간단히 요약하면 아래와 같습니다.

"다수의 구성원(76%)이 매일 자신의 업무 전반에서 데이터를 폭넓게 활용하고 있다고 답변. 깊이 있는 분석의 필요성은 커지고 있으나,

분석 환경 및 필요한 역량이 부족하여 인사이트를 빠르게 도출하지 못하고 있음"

요악하면 위와 같았습니다.

놀랐던 점은 생각 보다 많은 구성원이 업무에 데이터를 매일 활용하고 있다는 것이었고, 데이터에서 인사이트를 발견하기 쉽지 않다는 점에는 공감이 되었습니다.

'무엇이 인사이트일까'라는 어려운 질문은 잠시 뒤로 하고,

"우리는 왜 데이터에서 인사이트를 발견하기 쉽지 않을까" 고민 해보면 결국 데이터를 해석하는 역량(Data Literacy)에 대해 생각하게 됩니다.

사내에는 수많은 대시보드가 있고, 공유 되는 엑셀에는 숫자로 가득 차 있는데, 이 그래프와 숫자 이 의미하는 바를 정확히 이해하기 어려운 것이죠.

저 역시 분석 업무를 하면서 '이 숫자가 정말 의미하는 바가 뭘까?'라고 고민하는 경우가 많았습니다.

더 당황스러운 건, 처음에는 명확해 보였던 결과가 다른 각도에서 보면 완전히 다른 이야기를 하는 경우였죠.

이런 경험을 통해 알게된 것은 데이터 해석에는 생각보다 많은 함정이 숨어있다는 점입니다.

그래서, 이번 글에는 데이터 '해석' 단계에서 자주 등장하는 함정들을 실제 사례와 함께 보려고 합니다.

부분과 전체가 엇갈리는 순간 - 심슨의 역설(simpson's paradox)

심슨의 역설은 많이 알려진 일종의 통계 착시인데, 이에 대한 예시로는 위 야구 통계가 자주 활용합니다.

메이저리그에서 있었던 실제 데이터인데, 데릭 지터는 95,96,97 세 번의 시즌 동안 데이빗 저스티스보다 낮은 타율을 기록했지만,

이 세 번의 시즌을 모두 합하면 오히려 더 높은 타율을 기록했습니다.

매시즌 지터 보다 더 좋은 타자였던 저스티스이지만, 3년 동안 지터 보다 더 못한 타자가 되는 것입니다.

이런 결론이 나오는 이유는 타석(at-bats)을 보면 이해가 됩니다.

지터는 3년 동안 가장 활약이 저조 했떤 95년의 타석이 매우 적은 반면(48), 저스티스는 가장 나쁜 타율을 기록한 95년의 타석이 상대적으로 매우 많습니다(411).

이런 비율/분포의 차이가 평균에 영향을 준 것이지요. 이런 현상을 심슨의 역설이라 하고, 실무에서도 볼 수 있습니다.

숫자는 가상으로 만들었습니다

MMS 캠페인에서의 A/B 테스트는 주로 프로모션에 대한 효과성을 검증하거나, 같은 프로모션에서의 이미지/문구의 차이를 확인하기 위해 진행하는 경우가 많습니다.

현재 사내의 MMS 캠페인 시스템은 별도의 조작 없이도(모수 할당 등) A/B 테스트를(RCT:랜덤할당)를 지원하는 상황입니다.

위 자료는 상품에 대한 문구 차이를 검증하기 위한 테스트 마케팅이었고(타입A; 상품강조, 타입B: 고객관심강조) 타입 A의 반응율(클릭여부)이 더 높은 것으로 보입니다.

하지만, 데이터는 좀 더 쪼개볼수록 얻을 수 있는 인사이트도 늘어난다는 신념(?)하에 성별까지 쪼개보면 얘기가 달라집니다.

남성/여성에서 모두 타입 B의 반응율이 높았죠.

이 역시 위 야구 통계에서와 같이 성별 모수의 불균형이 영향을 끼친 것인데, '와 신기하다' 정도로 마무리하면 좋겠지만 우리는 결론을 내려야 합니다.

성별을 맞추어 다시 테스트 하기에는 시간이 없다고 한다면, 지금 우리는 앞으로의 MMS 발송에서 어떤 타입을 발송해야 될까요.

인과 추론의 선구자 주데아 펄(Judea Pearl)

우리 문제의 결론에 다가가기에 앞서, 좀 더 일반화해서 이 문제를 바라보도록 하죠.

인과 추론의 선구자 주데아 펄(Judea Pearl)은 이런 문제, 즉 데이터에서 인과관계를 도출하는 어려움에 대해 다음과 같이 말했습니다.

“관찰된 통계값만으로는 인과관계를 말할 수 없다. 무엇을 통제하고 제거해야 하는지를 알기 위해서는 변수들 간의 구조를 명시적으로 가정해야 한다."

또한 펄은 '심슨의 역설'이 일어나는 상황에 대해서도" 표/그래프에서 보이는 수치의 역전현상(simpsons's reversal)인지,

아니면 실제 인과적 모순(paradox)인지를 구분해야 한다"고 강조합니다.

그의 책 the book of why에서는 인과 구조를 고려하지 않은 상황에서의 통계 해석은 자칫 오해를 불러올 수 있으며,

이런 상황을 해결해줄 도구로 자신이 만든 DAG(Directed Acyclic Graph)를 제시합니다.

DAG는 인과적 추론을 가능하게 하는 그래프 모델로, 변수간의 인과관계를 수치적 계산에 기대기 보다는(model-blind),

맥락과 도메인 지식(extra-statstical knowledge)으로 바라봅니다.

DAG 그래프 표현

우리 데이터의 변수 관계를 DAG로 표현하면 위와 같이 두가지 형태를 생각해볼 수 있는데,

왼쪽은 성별이 MMS타입 할당과 캠페인 반응 모두에 영향을 준 모습이고, 오른쪽은 성별이 MMS 할당에는 영향을 주지 않은 모습입니다.

캠페인 테스트에서 할당은 시스템에서 랜덤으로 할당을 했기에 오른쪽의 형태여야 하지만(성별이 캠페인 할당에 영향을 주지 않은),

이번 표본에서는 성별 분포가 불균형 했으므로, 우리는 교란 요인이 있다는 것을 염두에 두고, 이를 정량적으로 교정하여 실제 효과를 측정해야 합니다.

관찰 데이터에서 인과관계를 추정하는 작업은 여러 방법론이 있지만 여기서는 가장 간단하게,

각 응답률의 차이에 실제 고객 성비를 가중치를 주는 방식으로 진행하여, 아래와 같이 계산해볼 수 있습니다.

위 숫자를 보고 우리가 내릴수 있는 결론은 B를 택하는 것이 맞다는 것입니다.

A/B Test를 통해 전체의 효과는 A의 응답률이 높았지만,

이는 실험상의 성별 불균형으로 인한 착시에 가깝고 다음에 우리가 보내야 될 MMS 타입은(이번 테스트를 성별로 나눈 결과 대로) B를 택하는 것이 맞다는 것이지요.

남성에서도 반응이 좋고, 여성에서도 반응이 좋은데 전체에서는 반응이 안좋다는 것은 아무래도 역설에 가까우니까요.

놀라움 뒤에 숨은 진실 - 기저 효과(base rate fallacy)

어떤 서비스든 비슷한 연령 그래프(데이터는 가상입니다)

사내에는 다양한 서비스들이 있습니다. 나온지 20년이 된 서비스부터 최근 런칭된 AI 관련 서비스까지. 제공하는 기능들도 가지각색입니다.

그래서, 서비스들이 소구하는 고객군에 따라 각기 다른 프로파일링이 될 것 같지만 실제로는 꼭 그렇지는 않습니다.

특히 연령의 경우, 서비스 출시 이후 1년 정도의 시간이 지나면 대체적으로 비슷해지죠.

이는 회사 전체 가입자의 연령구조가 투영되어서 나오는 일종의 기저 효과로 볼 수 있습니다.

(기저효과: 관측치의 분포가 모집단의 기본 비율을 따라가는데도 우리는 개별 서비스의 고유 특징으로 착각하는 현상.)

전체 집단과의 비교 필요(데이터는 가상)

현재 분석하는 목적에 따라 비교해야 되는 대조군(기저)은 다를 수 있습니다.

전체 가입자를 비교로 할 수도 있고, 시간에 의한 변화를 보기 위해선 동일 기간의 작년 데이터(YoY)를 보거나,

특정한 계절성이 있다면 비슷한 패턴이 나오는 시기를 비교할 수도 있겠지요.

데이터(차트/그래프)들을 볼 때, 어떤 함정/오류가 있을 수 있는지 계속 의심하면서 판단해가는 습관이 필요한 것 같습니다.

Epilogue

요즘엔 여러가지 이유로 평소와는 다른 상황에서 만들어진 데이터들을 봐야 될 떄가 많습니다.

깊게 고민할 시간이 주어지지 않기에 빠르게 결론을 내려야 하는데, 이 떄 실수할 가능성이 높은 것 같더군요.

특히 현재 있는 숫자/그래프만 보고 판단(단정)하는 것이 맞는지, 판단이 가능은 한 것인지 고민할 떄가 많았던 것 같아요.

데이터에 대한 판단을 자신의 경험과 일화를 전제로 하는 경우도 보게되어, 자칫 진실과는 멀어질 것 같은 불안함도 있습니다.

시간이 지나, 같은 데이터를 다른 각도로 볼 수 있는 여유가 오길 바라고 있습니다.

Reference

1. the book of why / Judea Pearl

2. Understanding Simpson’s Paradox / Judea Pearl