DEVOCEAN

안녕하세요,

핵심 서비스가 기업 자체를 대변하는 서비스 시대를 살고 있는 것 같습니다.

서비스 또는 프로덕트를 개선하는데 있어서 핵심이 될 수 있는 리텐션 개선에 대해 이야기 하고 있습니다.

지난 시간에는 아래와 같은 내용을 다루어 보았습니다.

1. 리텐션 집계 방식에 따른 정의

   • n-day 리텐션

   • unbounded 리텐션

2. 리텐션 측정에 앞서 확인할 조건

   • 핵심 이벤트

   • 사용 주기

3. 라이프 사이클 차트의 이해

• 라이프 사이클에 따른 유저 구분 : 신규 유저, 현재 유저, 복귀 유저, 이탈 유저

이번 시간에는 행동에 따라 세그먼트를 나누고, 각 단위별로 stickness 를 측정하여

집중해야하는 개선방향 또는 인사이트를 탐색하는 과정에 대해 이야기 해보고자 합니다.

라이프 사이클에서 현재 유저에 해당하는 유저의 특성을 먼저 관찰 해 봅니다.

현재 유저란 특정한 이벤트를 제품 사용 주기 (지난 예시에서는 7일 이었죠)를 기준으로, 지난 주기와 이번주기 모두 활성상태(Active) 유저를 말합니다.

이 현재 유저를 유저의 속성 측면과 행동 측면으로 나누어 보면 좋습니다.

유저의 속성 측면은 유저의 인구통계적 분포, 유입 경로, 플랫폼을 비롯하여 유저가 지닌 고유한 특징 또는 서비스에서 얻은 특징 정보를 말합니다.

유저의 행동 측면은 서비스 안에서 유저가 겪는 경험 또는 이벤트를 말하구요.

유저의 속성 측면의 기본적인 예시로는 아래와 같이 플랫폼(Android , iOS)에 따른 리텐션을 보는 방법이 있습니다.

유저의 행동 측면은 유저가 서비스 내에서 발생한 이벤트의 빈도 기준으로 클러스터링을 한 후에 각각의 클러스터별 분석을 하는 것이 보다 효과적으로 핵심 이벤트를 알 수 있습니다.

데이터 분석의 핵심은 "쪼개어 보기" 라고 할 수 있거든요.

클러스터 알고리즘은 K-means 등 다양하게 활용이 가능한데, Amplitude에서는 NMF(Non-Negative Matrix Factorization) 방법을 사용합니다.

통상적으로 NMF은 다차원 도메인에서 보다 효과적인 것으로 알려져 있습니다.

NMF 관련으로는 오래 되었지만, 잘 설명된 아래 논문을 참고해보세요.

https://arxiv.org/pdf/1507.03194

클러스터의 갯수는 서비스 피쳐에 따라 다르지만, 통상 3~8개 정도로 분류하는 것이 보통입니다.

정답은 없기 때문에 클러스터별로 행동이 잘 구분되는지를 관찰하며 정하는 것이 좋습니다.

아래는 Amplitude 의 페르소나 차트를 활용하여, 현재 유저에 대해 8개의 클러스터로 분류한 예시입니다.

• 애초 현재 유저를 특정할 때, 특정한 이벤트를 사용한 유저로 한정했다는 점에서 기본적인 공통점은 갖고 있다고 생각해볼 수 있습니다.

• 서비스 자체의 WAU 와는 다를 수 있습니다. 분석 관점에서 특정 코호트를 좀 더 상세히 관찰하는 용도입니다.

클러스터 분류 자체 보다는, 해당 분류가 유저의 행동 특성을 잘 구분짓는지, 그래서 클러스터 그룹 간에 리텐션 측면에서 유의미한 차이가 있는지의 관점에서 결과를 확인해 봅니다.

클러스터1의 집단에는 어떤 이벤트가 많은지 그 이벤트의 정의와 맞물려 분석을 해봅니다.

흥미로운 지점은 클러스터1에서 높은 빈도를 보이는 이벤트가 다른 클러스터에서는 그리 높지 않다는 점에서 유저 행동의 유형별로 잘 분류 되었다고 볼 수 있습니다.

이벤트의 절대값 뿐 아니라, 편차량 등도 함께 관찰하며 어떤 이벤트가 해당 클러스터의 특성을 잘 반영하는지에 주목합니다.

이렇게 클러스터링이 효과적으로 분류되기 위해서는 첫번째로는 이벤트 정의(taxonomy)가 정교해야합니다.

데이터 분석의 시작이라고 할 수 있는 텍소노미 작업에 대해서는 다음에 기회가 있다면 논의해보겠습니다.

클러스터 중에 의미있는 코호트를 저장한 후에 해당 코호트별로 리텐션을 본다면 아래와 같은 형태가 나올 수 있습니다.

특정 이벤트를 수행했던, 그래서 나름의 공통점을 갖고 있을 것이라 추측했던,

현재 유저 코호트에서도 이렇게 유저 행동별로 나누어 보면, 리텐션이 보다 상세하게 구분될 수 있습니다.

어떤 특성의 코호트가 리텐션이 높고 낮은지 궁금하시죠? ^^; 그건 비밀입니다. ㅎㅎ

서비스의 사용주기, 핵심가치 등에 따라 다를 수 있으니 분석의 프레임워크 관점에서 살펴봐 주세요.

이렇게 클러스터의 특성마다 다른 리텐션을 보게 된다면, 어떤 행동에 더 집중해야하는지 판단하는데 도움이 됩니다.

또는 A라는 feature를 이용한 고객에서 보다 리텐션이 높게 유지되는 B 행동을 넛지해볼 수도 있겠죠.

상관관계인지 인과관계인지에 대한 논의는 여기서는 생략합니다.

인과추론은 그 자체로 중요하면서도 큰 주제이고, 여기서는 행동에 대한 분석을 통해 AB테스트 해 볼 수 있는 Action Item 을 발굴하는 데에 집중해 볼게요.

이런 과정을 현재 유저 뿐 아니라, 신규 유저, 복귀 유저, 이탈 유저에 대해 각각 살펴볼 수 있습니다.

다만 이탈 유저에 대해서는 리텐션 측면에 집중하기 보다는 각 클러스터별 핵심 이벤트를 위주로 보시는게 좋겠죠.

많은 서비스가 PMF를 찾고자 합니다.

서비스의 피쳐가 많아질수록 오히려 PMF를 찾기에는 어려워 지는 경우가 있는데요.

세그먼트별 stickness 차트는 PMF를 탐색하는데 도움이 될 수 있습니다.

다음은 조금 전에 생성한 코호트별 Stickness 차트 예시입니다.

코호트별로 일주일에 특정 이벤트를 몇일간 수행하는지를 표현한 차트입니다. (누적하지 않음)

당연히 7 days 수행한 코호트가 매우 핵심적인 코호트이겠죠.

보통 이런 코호트는 그 목적이 명확한 경우에 가능합니다.

앱 진입에 대한 보상을 적극적으로 수행한다거나, 보다 명확한 목표를 달성하는 코호트일 가능성이 높겠죠.

특정 코호트에서 특정 이벤트를 5일 이상 수행한 고객을 누적(Cumulative)으로 집계하여 별도로 코호트를 생성해보겠습니다.

서비스의 핵심 이벤트를 일주일에 5일 이상 수행했다면, 이 코호트는 파워유저라고 부를 수 있을 것 같은데요.

이제 이 파워유저 코호트와 이제 막 온보딩을 한 유저 코호트의 이벤트 빈도에서의 상관분석을 통해 PMF를 탐색해봅니다.

아래는 상관분석을 수행하는 Compass 차트의 예시입니다.

통상 이 분석에서는 상관도가 > 0.4 이상이면 높은 상관관계에 있다고 분석합니다.

0.4 이상이 없다면 0.3 등 보다 적절해보이는 수준에서 기간 대비 빈도를 확인합니다.

해석하자면 온보딩 유저가 A 라는 이벤트를 n일(day) 이내에 n회 이상 수행한 경우 파워 유저와의 상관관계가 p 수준이다는 의미가 됩니다.

코호트 간의 상관분석에서는 코호트 간에 필연적으로 발생하는 공통 이벤트를 적절히 소거하며 분석하는 관점이 필요합니다.

보다 유의미한 핵심 이벤트를 지정하여, 상관분석의 노이즈를 제어해주면 보다 높은 밀도의 분석이 가능합니다.

이를 통해 가입 한 후에 몇일 이내에 어떤 이벤트를 몇번 하도록 넛지해보자는 식의 액션 아이템의 수립이 가능합니다.

요약하면, 데이터 분석은 고객을 유저 속성 관점에서 또는 행동 관점에서 세부적으로 쪼개어 보고, AB테스트 할 수 있는 가설을 수립한 뒤, 이를 실험으로 검증해가는 과정인 것 같습니다.

감사합니다.