[AARRR] Retention : 유지 - Classic/Range/Rolling Retention, Engagement(DAU/MAU)

[그로스해킹 - 데이터와 실험을 통해 성장하는 서비스를 만드는 방법]

2-4. Retention

 

그로스해킹 - 데이터와 실험을 통해 성장하는 서비스를 만드는 방법 - 인프런 | 강의

위 강의를 들으며 학습한 내용을 기록한 글입니다.

 

 

 

---

Retention (유지) 단계

Activation 과정을 통해서 경험한 A HA Moment 를 꾸준히 경험하도록 하는 단계.

서비스의 성공을 예측할 수 있는 가장 기본적인 지표 중 하나, PMF를 판단하는 데에도 중요한 지표.

 

리텐션이 중요한 이유

• 그로스해킹의 시작점 :
  • 보통 AARRR에서 Activation과 함께 가장 먼저 개선해야하는 항목으로 꼽힌다. 그러나, 유입에 앞서 내부에서 돌아가는 로직이 얼마나 탄탄한지가 더 중요하다!
• 비용 대비 개선 효과가 큰 지표 :
  • 신규 사용자를 데려오는 것보다 기존 유저를 유지하는 것이 비용이 적음.
• 복리효과 :
  • 리텐션이 상승하면, 매출이 복리효과로 늘어남. 반대로, 리텐션이 증가하면 마이너스 복리효과가 나타나 다른 지표를 아무리 개선해도 매출이 원하는만큼 개선되기 힘들 수 있음.

 

 

 

---

리텐션을 측정하는 세 가지 방법

1. Classic Retention (Day-N Retention)

특정일에 come back한 유저의 비율로 계산하는 지표.

각 날짜에 접속한 유저는 독립적으로 계산된다. (반복적으로 들어왔는지 여부는 고려하지 않음)

 

계산법

Day N 에 서비스를 사용한 사람 / Day 0에 처음 서비스를 사용한 사람

예 : Day 7(1월 8일) 에 서비스를 사용한 사람 1명 / Day 0(1월 1일)에 처음 서비스를 사용한 사람 10명  = 10%

 

장점

• 설명하기 쉽다.
• 계산하기 쉽다.

단점

• 특정일의 Noise에 매우 민감하다.
  • 특정일에 우연히 들어왔거나, 우연히 들어오지 않았거나 하는 노이즈에 취약함. (예 : 굉장히 잘 들어오는 유저가 하필이면 측정일에만 접속하지 않을 경우 등이 존재할 수 있음.)
  • Noise를 줄이려면? 기준일을 여러 개 두고, 여러 번 측정해서 Day N 리텐션의 평균값을 활용한다.
    • Day0이 1월 1일일 때의 Day7 - Day14 - Day28 계산, 
      Day0이 1월 2일일 때의 Day7 - Day14 - Day28 계산,
      Day0이 1월 3일일 때의 Day7 - Day14 - Day28 계산,
      여러 개의 기준으로 쪼갠 후, 각 경우의 평균을 내면 더 안정적인 값을 구할 수 있다.
• 일 단위 로그인 데이터를 모두 쌓아둬야 한다.
  • 우리가 원하는 날짜 기준으로 접속여부를 확인하려면, 모든 유저의 일단위 로그인 데이터를 모두 쌓아둬야함. 

활용

• Daily Use가 중요한 서비스
• 짧은 주기로 반복적인 사용이 보편적인 서비스 (예 : 전화)

 

 

2. Range Retention

특정 기간에 come back한 유저의 비율.

Classic retention과 기본적으로 동일하나, 기준을 개별 날짜가 아닌 특정 기간(ex. 7일)으로 한다는 차이.

• 일반적으로 주 / 또는 월 단위로 계산. 기간 중 단 한 번이라도 접속했으면 리텐션으로 인정.
• 각 기간에 접속한 유저는 독립적으로 계산됨 (반복적으로 들어왔는지 여부는 고려하지 않음)
• 기간 중 N회 이상 접속했는지 여부도 역시 고려하지 않음.

계산법

Range N 에 서비스를 사용한 사람 / Range 0에 처음 서비스를 사용한 사람

 

장점

• 설명하기 쉽다
• Day-to-Day Noise에서 자유로움

단점

• Range가 길어질수록 over-estimate(과대평가) 됨.
  • 예 : Range가 1달일 경우, 1달동안 안들어오다가 1번만 들어와도 카운트됨..
• 의미있는 결과를 보기 위해서는 꽤 오랜 시간이 필요함.

활용

• Daily Use가 덜 중요한 서비스
• 일정 간격으로 주기적으로 사용하는 것도 의미있는 서비스 (예 : 가계부)

 

 

3. Rolling Retention

몇 명이 남아있는가? 가 아니라 몇 명이 나갔는가? 에 초점을 맞춘 리텐션 계산,

특정일을 마지막으로, 더이상 들어오지 않는 유저수를 세고, 그를 뺀 나머지 유저를 리텐션으로 계산함.

 

계산법

After N day에 서비스를 쓴 기록이 있는 사람 / Day 0에 처음 서비스를 사용한 사람

 

장점

• 계산하기 쉽다.
  • first_date, last_date 만 있으면 됨.
  • 다른 리텐션의 경우 로그인기록데이터를 많이 쌓아놔야 함.
• Retention의 기준을 임의의 기간으로 설정하지 않아도 된다.
  • 온전히 사용자에게 맡겨 언제 마지막으로 들어왔는지만 보면 된다.

단점

• 전반적으로 over-estimate(과대평가) 된다.
  • 예 : 1/2에 접속 후, 1/28일에 접속한 유저의 경우 - 1/3~1/27의 기간동안 활동을 안했음에도, 1/29 마지막 접속으로 인해 리텐션 계산 인정
  • 따라서, 이상치의 영향이 매우 크다.
• 다른 리텐션과 다르게, 계속 변화하는 숫자이다.
  • 예 : 1/2에 접속 후, 1/28일에 접속한 유저의 경우 - 1/27에 측정한 1/27 리텐션과 1/28일에 측정한 1/27 리텐션 수치가 다름. 1/28에 접속한 유저로 인해 이전의 리텐션도 변동됨.
  • 특정일의 rolling retention 값을 언제 최종적으로 알 수 있을까? – 롤링리텐션 개념에서는 확정이 불가능하다. 1년 후에 계산한 값이라도, 이후 달라질 수 있음

활용

자주 쓰이지 않는 서비스에서의 리텐션 측정 (예 : 청바지 쇼핑몰, 여행서비스 등등..)

• 가끔 서비스의 경우에는 오히려 데일리 리텐션의 의미가 크지 않다.
• 자주 쓰이는 서비스에서 사용할 경우 과대평가로 왜곡될 가능성이 크다.

 

 

 

---

약식으로 보는 Retention = Engagement

위의 방법이 아니더라도, 약식으로 간단하게 리텐션을 계산하기도 함.

그 예가 Engagement. Stickiness라고 부르기도 한다.

 

계산법

DAU (Daily Active User) / MAU (Monthly Active User)

DAU/MAU 비율을 통해, 사용자가 특정 서비스에 얼마나 engage 되었는지를 가늠할 수 있다.

 

유의할 점

• Daily Use가 전제된 서비스에서만 유효한 지표. (가끔 쓰는 서비스에서는 의미가 없음)
• Retained 유저와 그렇지 않은 유저를 나눠서, Drill-down 분석이 뒤따라와야 함.
• 일 서비스에서의 기간별 추이를 비교하는 것이 더 유용하고 중요함. 서비스 간 비교는 쉽지 않음.
  • 서비스마다 DAU, MAU를 측정하는 기준이 다름 (어떤 서비스는 로그인 유저를 기준으로, 어떤 서비스는 모든 방문자를 기준으로함. 방문자를 어떻게 카운트하는지도 모두 다름 등등)
  • 트래킹 서비스에서 보여주는 수치도 대부분 추정치에 가까움.

 

페이스북의 기간별 리텐션 추이

출처 : https://datarian.io/blog/stickiness

 

 

 

 

 

 

---

리텐션 차트 (1)

차트를 통해 리텐션이 어떻게 움직이는지를 측정할 수 있다.

아래와 같은 삼각형 형태의 차트가 가장 보편적이다.

출처 : https://blog.atinternet.com/en/app-analytics-how-to-read-a-retention-graph/

 

영역별 설명

• 좌측의 Cohort : 기준일을 어떻게 나눌 것인가? 예시이미지는 주단위로 분류함.
• 빨간 색 : 그 주의 토탈 볼륨이 얼마였는지
• 파란 색 : 기간이 길어짐에 따라 몇프로 리테인 되었는지를 삼각형 모양으로 측정, 대각선 모양으로 표가 채워지게 됨.

 

보는 법

• 가로 - 같은 시기에 처음 접속한 사람들의 리텐션이 어떻게 변화하는지 비교.
• 세로 - 처음 접속 후의 경과기간은 똑같지만, 처음 들어온 시기에 따라 어떻게 다른 지 비교

 

 

리텐션 차트 (2)

리텐션은 특정 지점의 수치를 본다기 보다는 시간에 따른 변화, 경과를 길게 살펴보는 지표이다.

 

출처 : https://spoqa.github.io/2020/07/03/spoqa-data-analysis-part1.html

 

각 코호트의 리텐션이 시간이 지남에 따라 어떻게 변화하는지 확인하는 차트이다.

가로축은 시간, 세로축은 리텐션, 각 선은 각각의 코호트를 의미한다. 

 

 

 

 

---

리텐션에서 생각해 볼 점

1. 리텐션도 Cohort가 중요!!

Funnel 분석과 마찬가지로, Retention도 Cohort를 쪼개서 그룹에 따른 차이를 보는 게 핵심이다!

• "우리 서비스 Day 7 리텐션은 45%이구요. Day 30 리텐션은 30% 입니다. " (이건 기본일 뿐..)
• Retention 분석 시 활용하는 Cohort의 기본은 날짜 (가입일, 첫구매일.. 가입 월별, 첫구매 월별 로 구분)

 

2. Activation * Retention * Revenue 는 자연스럽게 이어지는 과정이다.

어느 하나만 똑 떼어 보는 것이 아니라, 얼마나 잘 이어지는지를 종합적으로 판단하는 과정이 중요하다.

 

 

3. 접속이 리텐션의 유일한 기준일까? 

Log-in이 ‘유의미한 행동’이기 때문에, 이를 시간에 따라 반복하는지 보는 것이다.

다른 유의미한 행동을 기준으로, 시간에 따른 반복을 보는 것도 물론 중요!!

예 : 상세페이지 5개 이상 방문, 구매하기 클릭, 구매 완료 (→ Repurchase를 보는 것), 메시지 주고받기. 컨텐츠 시청 ...

 

 

 

 

---

리텐션 개선하기

1. 시점에 따른 접근이 필요하다.

시점에 따라 개선 방법이 다르다.

어디가 문제인지를 먼저 판단해야 한다!

 

초기가 문제라면, 초기에 떨어지는 속도를 늦추기에 집중!

• Activation 단계가 문제일 가능성이 크다. -> New User Experience 개선

초기에서 유지된 유저가 계속 줄어든다면, 오랜기간 유지시키기에 집중!

• 고객과의 정기적인 커뮤니케이션 플랜, 휴면고객 복귀 이유와 명분 만들어주기

 

 

2. 지표에 매물되지 말아야 한다.

리텐션은 함정카드가 많은 영역으로, 지표에 매몰되기 쉽다

일시적인 리텐션 증가에 집중하면 안된다.

• 푸시 보내기, 이메일 보내기, SMS 보내기 → 어쨌든 일시적인 리텐션은 늘어난다
• 피로 관리가 제대로 되지 않으면, 장기적으로 악영향을 준다. (uninstall의 촉발제가 될 수 있음
• 유저 커뮤니케이션 채널은 사내에서 일원화해서 관리하는 게 좋음.

 

 

3. Key feature를 기준으로 리텐션 모니터링

단순히 접속이 아니라

핵심기능 사용하기, N 페이지 이상 방문, 결제하기 등 핵심기능을 기준으로 모니터링 필요.

무조건 지금 다시 데려오는 것보다는, 추후 필요하다고 느낄 때 돌아오도록 해도 괜찮다.

 

 

4. 축적된 가치와 습관이 리텐션을 높인다.

서비스에서 오랜시간을 보내며 축적해 놓은 데이터가 많은 경우 리텐션이 높아질 수 밖에 없다.

• 경쟁사 입장에서는 축적된 가치를 이동시키는 것이 전략
• 예시 : 노션에서 에버노트 문서 import하여 가져오기, 새 휴대폰 사면 기존의 정보 그대로 가져오기, 기존의 플레이리스트 캡처해서 등록하면 이미지 인식을  통해 flo에 그대로 플레이리스트 만들어 주기 등등.

습관적으로 이용하는 서비스가 되면 리텐션이 높아질 수밖에 없다.

• 예시 : SNS : 특별히 이유가 있어 들어오는 게 아니라, 일단 들어간 뒤에 뭘 할지 고민함.

 

 

5. 장기간의 리텐션이 중요하다.

현재 status를 측정하는데에도, 실험이 개선효과를 있는지 확인하는데에도 오래걸리지만,

리텐션은 복리 효과를 가져온다는 것을 명심하자.

 

 

6. 리텐션은 일관되게 유지되지 않는다.

기간에 따른 코호트 분석이 필요한 이유 !
내가 잘하는 것도 중요하지만, 경쟁사의 출현 등 외부적 요인도 많은 영향을 끼침.

 

 

7. 카테고리마다 권장되는 리텐션 수준이 다르다.

목표수준을 잘 정의하는 것도 중요하다.

매일 쓰는 서비스와 가끔 쓰는 서비스의 리텐션 수준이 다른 것은 당연.

이걸 고려하지 못한 리텐션을 높이기 위한 장치들은 이미 리테인된 유저를 불편하게 할 수 있다.

이 장치들은 리테인되지 않은 유저들에게 가야한다.

 

 

 

 

---

참고링크

https://datarian.io/blog/stickiness

리텐션 (4) DAU, WAU, MAU 그리고 Stickiness

 

https://datarian.io/blog/retention-analysis

리텐션 (5) 리텐션 차트, 리텐션 커브

 

 https://blog.atinternet.com/en/app-analytics-how-to-read-a-retention-graph/

App analytics: How to read a retention graph? - DA Blog

https://spoqa.github.io/2020/07/03/spoqa-data-analysis-part1.html

스포카의 데이터로 제품 뜯어보기 1편 - Retention