그로스 해킹, 양승화, 2021, 위키북스
그로스 해킹, 린 스타트업, AARRR을 설명한 책이다.
예전에 원티드에서 했던 프리온보드 데이터 관련된 강의에서 강사님이 추천해줬던 책이다.
목차는 아래와 같다.
01장: 그로스 해킹이란?
02장: 전제조건: Product-Market Fit
03장: AARRR
04장: 지표
05장: 그로스 해킹 시작부터, 성장 실험까지
06장: 그로스 조직과 업무 프로세스
에필로그: 그로스 해킹을 공부하려는 사람들을 위해
01 ~ 05장의 내용을 주로 요약했고 나머지는 책을 직접 보길 추천한다.
01. 그로스 해킹이란?
그로스 해킹 (Growth Hacking)을 처음 쓴 사람은 션 엘리스 (Sean Ellis)로 드롭박스 (Dropbox)와 이벤트브라이트 (Eventbrite), 로그미인(LogMeIn) 등의 초기 성장을 이끈 마케터다. 성공이 아니라 성장이 메인이다.
전통적으로 제품을 만드는 과정은 기획-생산-판매의 순차적인 프로세스로, 생산이 끝나고 판매가 시작되면 생산자는 더 이상할 수 있는 일이 없다. 제품의 성공과 실패는 온전히 시장에 의해서 결정된다. 이때문에 성공하는 제품을 위해서는 기획과 생산 단계에서 엄청난 시간과 노력을 투자해야 하며, 어느 정도 수요가 있다고 판단하는 제품을 기획해서 큰 하자 없이 안정적으로 생산하면 큰 문제가 없었다.
하지만 이제는 이러한 성공방식이 더는 유효하지 않다. 고객의 취향이 굉장히 세분화 되었고, 기획과 생산 단계에서 많은 노력을 기울여도 성공을 확신하기 어렵다. 기획 단계에서 철저히 고객 조사를 해서 만들었다고 해도 고객들이 그 사이에 변심하여 사지 않거나, 경쟁자가 나타나거나 유행이나 트렌드가 바뀌기 때문이다. 많은 시간과 노력을 투자하여 만든 제품이 알고보니 아무도 원하지 않는 제품이라는 점을 뒤늦게 깨닫는 것 보다 나쁜 것은 없다. 에릭 리스 (Eric Ries)는 린 스타트업 (Lean Startup)이란 개념을 통해 극심한 불확실성 속에서 새로운 제품과 서비스를 만드는 새로운 방법을 제안했다. 아이디어를 빠르게 제품으로 만들고 고객이 이에 대해 어떻게 반응하지는지를 측정한 후, 그 결과를 통해 배움을 얻고 지속적으로 제품을 개선해 나가는 제품 개발 방법론을 의미한다. 아이디어-개발-측정-개선으로 이어지는 피드백 순환고리 (Feedback Loop)를 최대한 빨리 진행하면서 작은 성공을 쌓아 서비스를 점진적으로 개선하는 것이 린 스타트업의 철학이다. 특히 요즘 IT 서비스는 출시 이후에도 지속적인 개선과 업데이트가 가능하기 때문에 서비스의 출시는 끝이 아닌 시작에 가깝다.
핫메일 (Hotmail), 에어비앤비(Airbnb), 드롭박스 (Dropbox)는 그로스 해킹에서 거론되는 성공적인 사례들이다. 하지만 이런 성공 방식을 각 서비스의 사용 맥락이나 시장 상황을 반영해서 진행해야만 의미가 있기 때문에 그대로 따라하는 것은 아무런 소용이 없다.
그로스 해킹이란 크로스펑셔널한 직군의 멤버들이 모여서, 핵심지표를 중심으로, 실험을 통해 배움을 얻고 이를 빠르게 반복하면서, 제품이나 서비스를 성장시키는 것이다. 이를 통해그 그로스 해킹의 범위는 지표, 분석환경, 프로세스, 문화라는 4가지 지표로 나눌 수 있다.
크로스펑셔널 팀 (Cross-functional Team)이란 개발자, 디자이너, 마케터, 데이터 분석가 등 다양한 직군의 멤버들이 각자의 전문성을 발휘하여 시너지를 내야 한다는 의미다.
린 스타트업이란 시간과 자원이 부족한 스타트업이 성공하기 위해서는 실패로 인한 비용을 최소로 줄이고 작은 성공 경험을 꾸준히 쌓아야 한다는 의미다. 제품 개발-지표측정-학습 및 개선이란 싸이클을 빠르게 반복한다. (원티드 데이터 프리온보드 참조: 원티드의 경우 이를 약 2주 단위로 수행한다. 주기가 길면 4주, 6개월이 될 수도 있다. 프로젝트마다 다르다.)
최소 기능 제품 (Minimum Viable Product, MVP)란 가설을 검증할 수 있는 최소한의 기능이 포함된 제품이다. 처음부터 완벽한 제품을 만들기 어렵고 원하는 결과가 아닐 수도 있기 때문이다.
AARRR 해적 지표 (AARRR Pirates Metrics)는 대표적인 스타트업 엑셀러레이터 500 Startups의 창업자인 데이브 맥클루어 (Dave McClure)가 주장한 지표 관리 방법론이다. 스타트업의 성장을 위해 고객 유치 (Acquisition), 활성화 (Activation), 리텐션 (Retention), 수익화 (Revenue), 추천 (Referral)의 다섯 가지 범주에 따라 주요 지표들을 모니터링하고 관리해야 한다고 주장한다.
02. 전제조건: Product-Market Fit
그로스 해킹을 이해하기 위해서는 전제 조건이 되는 제품-시장 적합성 (Product-Market Fit, PMF)를 설명해야 한다. 일반적인 IT 서비스 기획, 개발, 출시 후 맞닥뜨리는 문제는 다음과 같다. 아이디어-멤버 모집 후 제품 만들기 시작-제품 릴리즈-런칭-반응이 없어서 홍보-리텐션이 낮아서 돈을 써서 마케팅 수행-여전히 낮은 유저수(리텐션). 저자는 이때 할 수 있는 가장 나쁜 결정을 서비스에 새로운 기능을 추가하는 것이라고 한다. 무엇이 문제인지를 확인해야 한다.
제품 관리자가 많이 하는 실수들:
제품을 먼저 만들고 고객을 찾는다. 그리고 서비스 기획 시에 논리적 빈틈을 메워서 상사를 설득하기 위해 노력하는데, 논리적 귀결이 반드시 사용자에게 긍정적인 반응을 이끌어내지 못한다.
기능을 계속해서 추가한다. 하지만 기능의 추가는 서비스 개선과 동일어가 아니며, 기능 추가로 인해서 서비스의 복잡도가 높아지고 레거시가 늘어난다. 기능 추가시 관련된 운영 정책, 고객 커뮤니케이션, 로그 기록과 수집 등 발생되는 유지보수 리소스가 고려되어야 한다. 제품은 기능의 조합이 아니라 가설의 조합으로 이루어져야 하며, 가설을 테스트하기 위한 최소한의 기능으로 이루어져야 한다. 최소한의 기능으로 사용자에게 가치를 전달하는 제품이 성공한다.
제품-시장 적합성 (Product-Market Fit, PMF)이란 좋은 시장에, 그 시장을 만족시킬 수 있는 제품을 갖고 있는 것이라고 넷스케이프의 창업자 마크 앤드리슨은 말했다. 즉, 우리가 만든 제품이나 서비스가 그로스 해킹할 가치가 있는가를 살펴봐야 한다. 우리가 생각하는 문제가 실제로 존재하는지 그리고 수요가 충분하여 사업화 가능한지 생각해야 한다. 확인한 문제를 해결하는 제품이나 서비스인지 확인해야 한다. 제품을 만들며 세운 가설이 무엇인지 그리고 그것이 검증되었는지 확인해야 한다.
PMF의 확인 방법은 세 가지 지표가 있다. 유지율 (Retention Rate)는 사용자들이 특정 서비스에 얼마나 꾸준히 남아서 활동하는 지를 보여주는 지표다. 활성 사용자 비율은 계속해서 감소하는데, 좋은 제품은 일정 시간이 지나면 그래프의 기울기가 완만해지면서 유지율이 안정되지만 나쁜 제품은 유지율이 꾸준히 우하향한다. 구글 플레이 스토어를 보면 랭킹이 높은 앱일수록 리텐션 비율이 완만해지는 지점이 높은 현상을 확인할 수 있다. 이 유지율은 서비스의 성격에 따라 다른데, 뉴스나 만화는 높지만 여행, 음식 배달 등 보다 사용 빈도가 낮은 앱은 낮게 나온다. 즉, 서비스의 성격에 따라서 해당 카테고리에 따라 높고 낮음의 기준이 달라진다.
두 번째 지표로는 전환율 (Conversion Rate)이 있는데, 한 단계에서 다음 단계로 넘어가는 사용자의 비율을 의미한다. 특히 가입이나 결제 전환율을 보면 PMF를 판단할 수 있다. 앱 다운로드-회원가입-휴대폰 인증-상품 페이지 조회-구매-결제완료의 단계가 있는데 휴대폰인증까지는 가입 전환율, 상품페이지 조회부터 결제완료는 구매 전환율로 볼 수 있다. 기본적으로 단계가 거듭될수록 이탈하는 사람이 많아지기에 역삼각형 모양을 띈다. (상품 조회와 구매 사이에 위시리스트, 찜하기, 카트 담기 등도 들어갈 수 있다.) 2020 어도비 디지털 인덱스에서 발표한 이커머스 서비스의 평균적인 구매 전환율은 3%로, 선물, 건강 등 구매 의도가 분명한 상품은 전환율이 4.5%를 넘지만 가격이 비싼 전자기기의 경우 1.4%를 보인다. 그리고 친구 초대를 통해 들어온 사람과 디스플레이 광고를 통해 진입한 사람의 전환율은 차이가 난다.
세 번째 지표는 순수 추천 지수 (Net Promoter Score, NPS)로 이 서비스를 주변 지인이나 친구에게 얼마나 추천하고 싶은지의 설문을 0점에서 10점의 11점 리커트 척도를 통해 만들 수 있는 지표다. 9점과 10점 고객은 적극적 추천 그룹 (Promoters), 7점과 8점은 소극적 추천 그룹 (Passives), 나머지는 비추천 그룹 (detractors)로 분류한다. 적극적 추천 그룹은 서비스나 제품을 좋아하는 충성 사용자로 제품의 홍보에 도움이 될 확률이 높다. 반면 소극적 추천 그룹의 경우 제품에 어느정도 만족하지만 적극적 팬이 아니므로 매력적 경쟁 제품이 나오면 이탈하기 쉽다. NPS는 (적극적 추천 그룹 - 비추천 그룹) / 전체 응답자로, 양수가 나오면 양호한 상태라고 본다. NPS의 레인지는 -1과 1이다. 스타트업의 성공은 적당히 좋아하는 1000명의 사용자 보다 적극적 충성 사용자 100명의 확보했을 때 확률이 더 높아진다. 초기 제품 성공 여부로 설치 수 (install)이나 가입자 수 (sign-up)을 거론하지만, PMF를 확인하기에는 어렵다. 이는 두 지표가 누적 지표기 때문에 본질적인 경쟁력이나 사용자 만족도, 제품의 성공 가능성을 제대로 파악하기 어렵다. 활동 회원 수 (active user)를 중요하게 생각하는 경우도 많지만 마케팅 예산이 크다면 단기간에 늘릴 수 있으며 이를 유지하는게 어려울 수 있기 때문이다.
PMF가 적합하지 않을 때는 브레인스토밍, 새로운 기능 추가, 잔존율이나 전환율 개선을 위한 실험을 하지 않도록 권장한다. 그 이유는 잔존율이나 전환율 개선 자체가 목적이 될 수 있기 때문이다. 두 지표를 목적이 아닌 PMF 확인의 수단으로 활용해야 한다. 이 시기에는 사용자를 직접 만나서 이야기를 들어야 하는데, 포커스 그룹 인터뷰 (Focus Group Interview)보다도 1:1 사용자 인터뷰 (In-Depth Interview)가 더 효과적이다. 사용자 인터뷰 전문가인 모더레이터가 있으면 좋지만 없어도 수행 가능하다. 주의할 점은 다음과 같다. 미래가 아닌 과거와 현재에 초첨을 맞춘 질문, 가정이 아닌 경험을 질문, 결과가 아닌 과정을 깊이 살펴보기, 기억이 아닌 습관을 통해 드러난 구체적인 경험의 확인, 일반화된 진술이 아닌 개인의 경험이 드러나도록 질문과 답변하기, 편향된 믿음의 확인이 아닌 순수한 호기심으로 접근하기.
사용자의 답변을 문자 그대로 반영하는 것은 위험할 수 있으니 그 맥락을 잘 파악해야 한다. 그리고 사용자 행동 데이터 분석을 위해서는 로그 기록이 필수기 때문에 이를 생략하지 말아야 한다.
03. AARRR
지표를 바라보는 관점
과업 기반 (Task-based) 지표 관리란 각 조직별로 담당하는 업무를 우선 정의한 후 해당 업무를 통해 발생하는 수치들을 지표화해서 관리하는 것을 의미한다. 마케팅, 운영, 개발, 사업 담당 부서가 있다고 가정할 때 마케팅은 검색 마케팅, SNS 마케팅, 이벤트 관리 등을 담당한다 할 때, 검색 마케팅의 CTR이나 SNS 마케팅의 ROAS (Return On Ads Spending), 이벤트 참여자 수 등을 지표로서 관리하게 된다. 팀별 지표 체제는 전사적 관점에서 어떤 지표를 우선시해야 하는지를 결정하기 힘들게 한다. 그리고 팀별로 진행 중인 업무의 변경이나 추가시에 모니터링 지표가 수시로 달라질 수도 있다.
프레임워크 기반 (Framework-based)은 회사 조직도가 아닌 사용자의 서비스 이용 흐름 (User Flow)에 따라 단계별 주요 지표를 전체 서비스 관점에서 정의하고 관리한다. 유저가 들어오는 순간부터 나가는 순간까지를 모두 포괄하는 퍼널 (funnel)을 만들고 각 단계의 핵심 지표를 찾는다. 이러한 프레임워크 중 하나가 AARRR이다. AARRR은 고객 유치 (Acquisition), 활성화 (Activation), 리텐션 (Retention), 수익화 (Revenue), 추천 (Referral)의 다섯 카테고리로 구성되어 있다. 고객유치는 사용자들을 어떻게 데려올것인가, 활성화는 사용자들이 우리 서비스의 핵심 기능을 잘 사용하는가, 리텐션은 사용자들이 우리 서비스를 지속적으로 방문하는가, 수익화는 사용자들이 우리 서비스의 핵심 기능을 사용하기 위해 결제를 하는가, 추천은 사용자들이 우리 서비스를 주변 지인들에게 소개, 추천하는가에 대한 문제다.
AARRR의 모델에서 고객 유치가 제일 먼저 나오지만, 스타트업들은 활성화와 리텐션에 우선 집중해야 한다. 그 다음이 고객유치와 추천이고 마지막이 수익화다. 팬들을 분노한 안티로 만드는 가장 빠른 방법은 활성화와 유지율이 잘 준비되지 않았는데 고객 유치 채널을 활짝 열어버리는 상황이다.
고객유치 (Acquisition)
고객 유치는 사용자들 우리 서비스로 데려오는 것과 관련된 활동으로, 핵심은 고객 유치에 기여 (Attribution)한 채널의 성과를 판단할 수 있는 모델의 구현이다.
일반적으로 굉장히 많은 마케팅 채널을 활용하고, 여러개의 캠페인을 동시에 진행한다. 한 채널 안에서도 여러 영역에서 서로다른 메시지를 전달할 수 있다. 따라서, 어떤 채널에서 어떤 캠페인이 효과적이었는지 측정하는 일은 쉽지 않다. 유료 광고가 아닌 친구 초대나 자사 SNS 채널을 통해 유입된 자연 유입 트래픽의 경우, 파라미터 정보가 없거나 유실되는 데이터가 많기 때문에 모니터링하기 어렵다. 또한 단순히 데려온 숫자 뿐만 아니라 꾸준히 남아서 활동하는지, 결제는 얼마나 하는지 등 각 채널의 가치를 정확히 판단해야 한다.
자발적으로 찾아 오는 유저를 오가닉 (Organic) 유저라고 표현하기도 하는데, 구글 애널리틱스 (GA)나 앱스플라이어 (AppsFlyer) 등을 통해 유입을 분석하는 어플들이 제공하는 Organic이 진짜로 자연 유입인지 아니면, 유입된 채널을 식별할 수 없는 (Unknown) 유저인지를 정확하게 파악해야 한다.
고객 획득 비용 (Customer Acquisition Cost, CAC)는 한 명의 고객을 데려오기 위해 지출하는 평균 비용이다. 하지만 단순 평균이 아니라, 채널별, 캠페인별, 광고별, 날짜별, 예산규모 별로 얼마나 유입되는지를 쪼개서 분석하는 방법이 더 유의미하다. 웹에서는 UTM 파라미터 (Urchin Tracking Module Parameter), 즉 유입 효과를 판단하기 위한 장소 정보인 소스 (Source)와 광고의 핵심 내용인 캠페인 (Campaign), 그리고 전달 방법인 매체 (Medium)을 잘 판단해야 한다. UTM 파라미터는 소스(utm_source), 매체(utm_medium), 캠페인(utm_campaign), 검색어(utm_term), 콘텐츠(utm_content)에 해당하는 파라미터를 추가해서 새로운 URL을 생성하는데 이를 통해 어떤 경로로 웹사이트에 진입했는지를 파악할 수 있다. 모바일 앱의 경우 어트리뷰션 (Attribution) 개념이 사용되는데, 사용자가 앱을 설치하고 사용하는데 어떤 채널이 기여했는지를 식별함으로써 모바일 앱의 마케팅 성과를 판단하게 된다. UTM 파라미터에 비해 복잡하여 기술적 뒷받침이 필요하다. 어트리뷰션 서비스로는 앱스플라이어, 애드저스트 (Adjust), 브랜치 (Branch), 코차바 (Kochava) 등의 글로벌 서비스와 에어브릿지 (Airbridge), 애드브릭스 (Adbrix) 같은 국내 서비스가 있다.
어트리뷰션 윈도우는, 앱을 설치하도록 만든 이벤트인 기여 이벤트가 발생한 이후 발생한 전환을 측정하는 기준이 되는 기간을 의미한다. 룩백 윈도우 (lookback window)라고도 한다. 페이스북 광고를 클릭하고 스토어로 이동해서 바로 앱을 설치하면 문제가 없다. 하지만 스토어로 이동 후 바로 설치하지 않고, 다음 날 갑자기 생각나서 스토어에 직접 찾아가서 앱을 설치하는 경우에도 페이스북의 광고가 기여했다고 볼 수 있다. 다음날이 아니라 3일 뒤, 7일 뒤에도 인정해야할까 하는 문제가 바로 이 윈도우 사이즈를 결정하는 문제다. 광고를 보고 클릭해서 발생하는 기여를 클릭-스루 (Click-through), 조회를 통해 발생하는 기여를 뷰-스루 (View-through)라고 한다. 클릭-스루와 뷰-스루는 한 채널에 대해서 별도로 측정할 수 있고, 일반적으로 클릭-스루의 윈도우 사이즈는 뷰-스루보다 크게 가져가는 경우가 일반적으로, 앱스플라이어의 경우 클릭-스루는 7일, 뷰-스루를 1일을 기본값으로 삼고 있다.
어트리뷰션 모델의 경우, 여러 채널의 광고를 보고 설치한 경우 어떤 채널에 기여를 주어야 할까 하는 문제다. 싱글 터치 어트리뷰션의 경우 퍼스트 클릭이나 라스트 클릭 모델이 속한다. 퍼스트 클릭 모델은 여러 건의 기여 이벤트가 발생했을 때 첫 번째 매체가 100% 기여한다고 보는 모델이며, 라스트 클릭의 경우 마지막 매체가 100% 기여한다고 보는 모델이다. 멀티 터치 어트리뷰션의 경우 여러 매체의 기여를 모두 인정하는 모델로, 선형 어트리뷰션은 모든 매체에 동일한 가중치를 부여하며, 타임 디케이 어트리뷰션의 경우 최근에 발생한 이벤트일 수록 높은 가중치를, 오래된 이벤트에 낮은 가중치를 주는 모델이며, U자형 어트리뷰션의 경우 가장 먼저 발생한 이벤트와 가장 최근 발생한 이벤트에 동일하게 높은 가중치를 부여하는 방식이다. 채널의 특성을 잘 이해하고 이를 고려하여 어트리뷰션 모델이나 윈도우를 정해야 한다.
딥 링크 (Deep Link)는 모바일 앱의 특정 화면 (Activity)로 이동하는 링크를 의미한다. 모바일 앱을 설치한 사용자들이 딥 링크를 클릭하면 웹 브라우저 대신 모바일 앱이 실행되면서 앱 내의 적합한 랜딩 페이지를 보여줄 수 있다. 로그인 등 번거로운 과정이 없이 웹에서 앱으로 전환되는 과정에서의 맥락 (Context)가 잘 유지되기 때문에 랜딩 페이지에서의 전환율을 크게 향상시킬 수 있는 장점이 있다. 하지만, 앱이 설치되어 있을 때만 정상적으로 동작하는 한계가 있다.
디퍼드 립 링크 (Deferred Deep Link)는 모바일 앱 설치 유무와 관계 없이 사용할 수 있는 딥 링크다. 딥 링크와의 차이점은, 딥 링크의 실행을 앱이 설치되지 않은 경우 앱 설치 이후로 지연시킴으로써 앱을 설치한 사람과 설치하지 않은 사람 모두에게 동일한 딥 링크 경험을 제공한다. 즉, 스토어로 이동시켜 앱을 설치하게 한 후, 앱을 설치하면 그때 미리 정의한 랜딩 페이지로 이동시킨다. 사용 맥락 유지로 인해 사용자 경험 측면에서 유리하다. 또한 어트리뷰션 측정의 범위가 넓어지는데, 딥 링크를 생성할 때 적절한 파라미터를 추가하면 어떤 채널에서 활용된 딥 링크를 통해 앱을 설치하고 사용했는지를 측정할 수 있다. 앱스플라이어의 원링크, 브랜치의 디퍼드 딥 링크, 애드저스트의 트래거가 추가된 딥 링크 등 여러 어트리뷰션 서비스들에서 이 기능을 제공한다. 기준이 없기 때문에 회사 내에서 자체적인 기준을 잘 세워야 한다.
많은 마케팅 팀이 빠지기 쉬운 함정이, 고객 유치 성과가 정체되었다고 느낄 때, 기존 채널에 대한 최적화 대신 새로운 채널을 찾고 테스트하는 데 지나치게 많은 리소스를 사용한다는 점이다. 보통 새로운 채널의 발견 보다 기존 채널의 효율화가 더 좋은 경과를 가져오는 경우가 많다. 채널 확장은 예산이 추가될 때가 아니라, 채널의 포화도 (Saturation)을 바탕으로 결정해야 한다.
활성화 (Activation)
고객 유치를 통해 데려온 사용자가 서비스의 핵심 가치를 경험하게 만드는 과정이다. 새로운 가입자들이 온보딩(on-boarding) 프로세스를 성공적으로 마무리하는 비율은 일반적으로 높지 않다. (%추가 온보딩이란 유저와 서비스 사이의 첫 만남을 의미한다.) 구매 의도를 가진 사용자들을 결제까지 잘 끌고 가야하고, 중도 이탈하지 못하게 해야 한다. 이러한 프로세스를 퍼널 (Funnel)이라고 하는데 위가 크고 아래가 작은 깔때기 모양이라서 그렇다.
가입 퍼널을 예시로 들면, 앱 다운로드 100% -> 앱 실행 95% -> 튜토리얼 확인 94% -> 회원가입 시작 75% -> 전화번호 인증 40% -> 가입완료 30% 와 같이 아래로 갈수록 점점 작아지는 것을 알 수 있다. Figure 1을 보면 어떤 방식인지 확인할 수 있다.
사용자들이 경험하는 핵심가치를 아하 모먼트 (Aha moment) 혹은 머스트 해브 (Must have)라고 한다. 핵심가치는 서비스 제공자의 입장에서가 아니라, 사용자 (유저)의 입장에서 정해야 한다. 예를 들면, 데이팅 서비스의 경우 매칭 성공, 추천의 경우 사용자가 등록한 컨텐츠가 추천 리뷰를 받았을 때 등이다. 회사가 생각하는 핵심가치와 사용자가 생각하는 핵심가치가 다를 수 있는데, 이를 확인하기 위해서는 마케팅 메시지의 키워드로 서비스 제공자의 측면으로 보고 그리고 사용자 리뷰의 키워드를 통해 사용자의 측면으로 봐서 비교 하면 된다. 서비스에 진입하는 순간부터 핵심가치까지의 경험을 크리티컬 패스라고 한다.
실제 현장에서 전환율의 계산은 생각보다 어렵다. 예를 들어, 유저 1은 상품 A, B, C, D, E 5개를 보고 상품 E만 결제한다. 유저 1의 전환율은 1/5다. 유저 2는 상품 A만 5번 본 다음 1번 결제한다. 유저2의 전환율은 1/5인가 1/1인가? 유저 3은 A, B, C, A, B 3개의 상품을 총 5번 보고 2개의 상품을 결제한다. 유저 3의 전환율을 결제된 상품의 수를 전체 상품의 수로 나눈 2/3인가 아니면 뷰 페이지를 기반으로 한 2/5인가?
다른 예시를 보자. 총 20회의 상품 페이지 조회가 있고, 결제가 4번 있다면 전환율은 4/20으로 볼 수 있다. 상품 뷰의 중복을 제거하고 14개의 유니크한 상품 중 3개의 상품이 결제되었기 때문에 전환율을 3/14로 볼 수도 있다. 이번에는 4명의 유저 중 3명이 결제했기 때문에 3/4를 전환율이라고 볼 수 있다. 어떤 지표를 대표값으로 봐야할 지에 대한 조직 내부에서의 충분한 논의가 필요하다.
다른 예시에서는, 사용자 1~4는 상품 페이지 -> 쿠폰 페이지 -> 상품 페이지 -> 결제완료, 사용자 5는 상품페이지 -> 쿠폰 페이지 -> 이탈의 양상을 보일 때 상품 페이지 뷰를 기준으로 한다면 전환율은 4/9이고, 유저를 기준으로 한다면 4/5다.
페이지 뷰라는 트래픽 기준의 설명에서는, 전환율이 44%인 이유가 상품 페이지 이후 결제로 넘어가기 전에 다른 페이지가 있어서 이탈을 유도할 수 있으니 UI 측면에서 개선해야 한다고 볼 수 있다. 반면에, 유저 기준의 설명에서는 결제 전환율이 80%인데, 쿠폰 페이지로 들어가는 불편함이 있음에도 상품의 매력도나 가격 경쟁력이 있기 때문에 유저들이 최종적으로 구매까지 한다고 볼 수 있다. 이 예시에서 볼 수 있듯이, 트래픽 기준 전환율은 UI/UX 개선에 도움이 되며, 유저 기준 전환율은 UI/UX를 넘어선 상품의 매력도, 가격경쟁력 등의 다양한 요소가 종합적으로 반영된다고 볼 수 있다.
전환율은 코호트 별로 쪼개 보는 행동이 중요한데, 코호트 (Cohort)란 공통적 특성에 따라 분류된 사용자 그룹을 뜻한다. 코호트별로 쪼개보게 되면, 퍼널에서의 전환율들에 유의미하게 영향을 주는 선행지표를 발견하기 쉽다. 가령, 유입 채널 별 전환율을 분석하면 어느 채널의 유저들이 보다 많이 결제까지 이어지는지 등을 알 수 있게 된다. 가입시점, 소스, 미디엄, 캠페인, 시간이나 요일 등의 시계열 특성, 성별, 나이 등의 인구통계학적 요소, 특정 이벤트 경험 유무 등에 따라서 전환율에 차이가 있는지를 살펴보면 서비스 개선 방향, 핵심 유저 타게팅, 마케팅 채널 운영전략 등 다양한 주제에 대한 인사이트를 얻을 수 있다. 결국, 전환된 사용자와 전환되지 않은 사용자의 차이라는 궁극적인 물음에 마주하게 된다.
퍼널의 전환율을 높이는 방법에는 크게 세 가지가 있다.
첫 번째는 개인화로, 이메일이나 푸시 메시지에 사용자들의 이름의 표기, 개개인의 사용 내역을 참고한 데이터를 보여주고, 추천하는 등 여러가지 방법이 있다.
두 번째로는 UI/UX개선으로 전환율을 변화시킬 수 있는 대표적인 방법이다. 다만, 이 변화는 항상 긍정적이지 않을 수 있는데 전환율이 더 낮아질 수도 있음을 염두에 두어야 한다.
세 번째로는 적절한 개입으로 CRM (Customer Relationship Management) 채널이라고 알려진 이메일, 푸쉬, 인앱 메시지 등을 적절히 활용해야 한다. 이 방법은 저렴한 마케팅 방법이지만, 메시지를 발송하는 맥락이 중요한데 타게팅이 잘 된 경우는 논타게팅 보다 5배 이상의 효과를 가져온다. 하지만 논타게팅에다가 너무 잦은 빈도로 보낸다면 회원 탈퇴나 앱 삭제 등의 부작용이 있으므로 유의해야 하며, 보수적으로 판단하고 보내야 한다.
이외에도 퍼널의 개선이 아닌 퍼널의 재설계도 하나의 방법이다.
유지율 (Retention Rate)
사용자들이 우리 서비스를 지속적으로 방문하는가를 나타내며, 서비스 성공 예측의 가장 기본적이고 중요한 지표이며 개선 효과가 나타나는 데에 오랜 시간이 걸린다. 따라서, 잘 하고 있을 때 더욱 세심하게 측정하고 관리해야 하는 지표다. 보통 접속, 로그인 등이 리텐션의 기준인데 반드시 이를 사용할 필요는 없다. 하지만 접속과 로그인은 서비스에 진입하는 유의미한 지표기 때문에 보통 이들을 선택하게 된다. 이외에도 상품 페이지 5개 이상 방문, 구매하기 클릭, 구매 완료, 재구매, 친구초대, 메시지 주고받기, 콘텐츠 시청(감상) 등이 리텐션 지표로 사용될 수 있다.
리텐션 측정 방법은 크게 3가지가 있다. 첫 번째로는 클래식 리텐션 (Classic Retention)이 있다. 이는 Day n의 사용자 수 / Day 0의 사용자 수 로 정의되며, 자주 쓰는 서비스인 전화, 메신저, SNS 등에 적합한 지표다.
두 번째는 범위 리텐션 (Range Retention)으로 Range n의 서비스 이용자 수 / range 0의 이용자 수로 정의된다. 예를 들어 range가 7일, 일주일이면 (3/15~3/22까지의 2주차 이용자 수) / (3/1~3/7까지의 0주차 이용자 수) 로 정의될 수 있다. 사용 주기가 비교적 짧은 가계부, 음식 배달 어플 등에 사용하기 좋은 지표다.
세 번째는 롤링 리텐션 (Rolling Retention)으로 더 이상 이벤트가 발생하지 않는 비율을 측정한다. (%추가 생존 분석과 비슷해 보인다.) 가령 10명 중 2명이 7일째에 접속하지 않았다면 8/10이 7일 기준 롤링 리텐션이다. 한 명은 0일에 접속하고 계속 접속하지 않고, 다른 한 명은 6일째에 접속했다 하더라도 모두 이탈로 처리된다. 또한 유지율이 과대 측정되는 경우가 있는데, 가령 일년에 한번 접속하는 유저가 잡히는 경우 여태까지 꾸준히 접속한 유저들과 구분되지 않고 같은 그룹에 속하게 된다. 따라서 롤링 리텐션은 지표의 움직임에 초점을 두어야 올바르게 사용할 수 있는 지표다. 롤링 리텐션은 가끔 사용하는 서비스인 의류 구매, 여행 등의 서비스에 적합한 지표다.
접속 일자가 아닌 다른 지표로 간단하게 계산 가능한 리텐션 지표가 있는데 바로 인게이지먼트 (Engagement)다. 이는 DAU (Daily Active User) / MAU (Monthly Active User) 로 정의된다. 리텐션은 서비스마다 DAU와 MAU 측정 기준도 다르고 앱 마다 모두 추정치를 보여주기 때문에 명확한 값을 알긴 어렵기 때문에 기간별 추이를 보는 방식으로 활용해야 한다. 리텐션은 전체 사용자로 보기 보단 쪼개서 볼 때 의미가 있다. 날짜 별로, 코호트 별로 쪼개서 관찰하는데 코호트의 기준의 대표적인 예시는 유입 채널이다. 리텐션 차트는 코호트, 볼륨, 기간, 리텐션으로 구성되는데 코호트는 보통 특정 기간, 가령 한 달이며 볼륨은 해당 월의 가입자 등의 코호트에 속한 유저의 수다. 기간은 유지율을 구분하기 위해 기록하는데 +1달, +2달 등 시간의 경과를 표시하면 된다. 리텐션의 경우 각 코호트 별로 집계된 기간별 리텐션을 기록한다. 이때, 살펴보아야 할 점들은, 코호트 안에서 기간에 따른 유지율의 추이, 안정화 시점, 코호트 간의 리텐션 비교, 코호트 자체의 규모 변화 등이 있다.
리텐션의 개선은 크게 2가지가 있는데, 첫 번째는 초기 리텐션이 떨어지는 속도 늦추기다. 서비스에 들어와서 가입하는 동선, 서비스 핵심 기능을 사용하는 프로세스를 단계별로 쪼개서 살펴보아야 하며 가입할 때 발송되는 이메일이나 SNS 등의 메시지의 설명을 검토해야 한다. NUX (New User Experience)라고 불리는 영역이다. 두 번째로는 리텐션이 안정화되는 단계로 사용자와의 관계를 잘 유지함이 중요하다. 정기적인 커뮤니케이션 플랜, CRM 마케팅 활동, 주기적 프로모션 등이 도움이 된다. 장기 미사용 휴면 고객을 대상으로 복귀하도록 하는 리마케팅 (Re-marketing)도 꾸준히 해야한다. 리텐션은 끌어 올리기 자체도 쉽지 않고 올리는데 시간도 오래 걸리기 때문에 애초에 떨어지지 않도록 관리하는 편이 현명하다. 일반적으로 리텐션을 높게 유지하는 방법은 ‘축적되는 가치’를 만들고 이를 사용자에게 지속적으로 전달하는 것이다. 반대로, 후발주자의 경우 경쟁사에 축적한 가치를 손실 없이 이전하는 기능을 제공하여 사용자들을 끌어오려고 노력한다. 노션은 에버노트 등의 경쟁사의 노트를 쉽게 가져오도록 하며, FLO의 경우 멜론과 지니의 플레이리스트 화면 캡처를 통해 동일한 플레이리스트를 플로에서 만들어 준다.
수익화 (Revenue)
궁극적으로 수익이 있어야 서비스의 유지가 가능하다. DAU, MAU, 가입자수, 평점 등도 중요하지만 결국 수익이 있어야 한다. 비즈니스 모델 (BM)을 잘 이해하고, 잘 작동하는지, 비용 대비 수익이 안정적인지 데이터로 확인해야 한다.
ARPU (Average Revenue Per User) = Revenue / #User 로 정의되며 저량 (stock, snapshot) 지표가 아니라 유량 (flow) 지표다. 유량인 이유는 특정 기간의 매출과 유저의 수로 계산하기 때문이다. ARPDAU의 경우 일매출 / #DAU, ARPMAU의 경우 월 매출 / #MAU로 계산한다. ARPPU의 경우 ARP Paying User로 결제자를 기준으로 매출을 평균한 값이다.
LTV (LifeTime Value)는 고객생애가치로 사용자가 진입하는 순간부터 이탈하기 까지의 누적된 기대 수익을 의미한다. LTV = (M - c)/(1-r-i) - AC로 정의된다. M은 1인당 평균 매출, c는 1인당 평균 비용, r은 고객유지비율, i는 할인율, AC는 고객획득비용이다. 하지만, LTV는 현실적으로 계산이 불가능한데 AC와 c의 계산 자체가 불가능에 가깝고 M, r이 기간마다 다르기 때문이다. 따라서 LTV 대신 계산 가능한 지표인 LTR (LifeTime Revenue), 고객생애매출을 정의하고 이용한다. LTR은 LTV와 다르게 고객 한 명에 대한 기대 매출이다. 월별 결제 데이터를 기준으로 LTR을 계산한다면, 가입자가 1000명으로 일정할 때, 활동 회원이나 결제자 대신 가입자로 나눈 ARPU로 계산한다.가령 2020년 1월 부터 12월까지의 경우, LTR_mk = k월의 매출 / 1000 (k = 1~12)을 모두 구한 다음 LTR_mk를 다 더한 값이 LTR이다. 예시와는 다르게 실제 서비스에서는 매달 새로운 이용자들이 들어오고 이탈하기 때문에 훨씬 계산하기 어렵다.
고객 생애 매출은 전체 회원 대신 코호트 별로 나눠서 코호트 별로 어떻게 변하는지 추이의 변화를 살펴보는 편이 훨씬 유용하며, 대개는 코호트 분류 기준이 가입시점이 된다. LTR을 CAC (Customer Acquisition Cost), 고객획득비용과 비교하면 서비스의 수익 모델이 잘 작동하는지 알 수 있다. 건강하게 성장하는 서비스라면 LTR이 CAC를 빠르게 따라잡고 장기적으로는 CAC의 몇 배수까지 높아져야 한다. CAC의 감소 보다는 LTR의 증가가 바람직한 성장 방향이지만, 실무에서는 CAC의 감소가 더 접근이 쉽기 때문에 이에 집중하기 쉽다. 따라서 현실에서는 LTR을 코호트 별 비교를 하거나, LTR을 기준으로 CAC의 수준을 정하게 된다. LTR의 1/5나 1/10을 목표로 CAC를 관리하게 되는데 이 수치가 마케팅 진행시의 의사결정 기준이 된다.
수익화를 쪼개서 보는 것 역시 중요하다. 아이템 별 매출을 구하고 합계하는 법을 이용해 매출에 기여한 아이템을 판별하고, 판매량의 증감을 알 수 있다. 사용자 세그먼트를 분류한 후 세그먼트 별 매출 합계를 이용할 수 있다. 인구통계학적 정보나 신규회원이나 기존회원 등으로 나눌 수 있다. 결제자 수 X ARPPU로 매출을 정의할 수 있다. 매출 = 결제자 수 X ARPPU = 활동자 수 X 결제비율 X ARPPU = 가입자 X 리텐션 X 결제비율 X ARPPU = 설치 수 X 가입전환율 X 리텐션 X 결제비율 X ARPPU라는 등식이 성립한다. 매출을 퍼널 단계 별로 쪼개 보면 매출의 증감을 훨씬 더 자세하게 살펴보고 그 원인이 가입전환율인지 리텐션인지 결제비율인지 결제액의 증가인지 등을 알 수 있다. 이를 통해 간단한 향후 매출 예측도 가능하다.
월별 반복 매출 (Monthly Recurring Revenue, MRR)은 독립적 결제 이벤트가 아닌 구독형 서비스에서 분석할 때 필요한 지표다. 멜론, 리디셀렉트, 넷플릭스, 쿠팡 멤버십 등인데 MRR을 기준(Base)은 전월 MRR, 신규 (New) MRR와 이탈 (Churn) MRR, Upgrade MRR, Downgrade MRR로 나눠서 볼 수 있다. Total MRR = Base MRR + New MRR - Churn MRR + Upgrade MRR - Downgrade MRR로 볼 수 있다.
파레토 법칙처럼 전체 사용자의 20%가 전체 매출의 80%를 결제하는 패턴을 흔히 볼 수 있으며, 게임 같은 경우는 극단적으로 상위 1%의 사용자가 전체 매출의 50% 이상을 차지하는 현상도 있다. 이런 맥락에서 평균 값은 고액 결제자 몇명의 행동 변화에 따라 크게 흔들릴 수 있음을 인지해야 한다. 새로운 기능을 만들 때도 평균 사용자 대신 서비스에 충성도가 높고 매출 기여가 높은 사용자를 고려해서 기획하는 편이 효과적이다. 소위 말하는 고래 (whale) 사용자들의 관리에 수익화의 성패가 달렸다. 결국, 요약된 수익화 지표 하나만 보면 안되고, 사용자들을 다양한 방식으로 그루핑하고 각 그룹에 맞는 운영 및 수익화 전략을 세워야 한다. 좋은 서비스를 만들어서 소비자를 끌어 모으는 일과 탄탄한 BM으로 수익을 내는 일은 다르기 때문에 둘 다 유의해서 만들어야 한다. (%추가 다만, 게임의 경우 고래 유저도 중요하지만 소과금이나 무료 유저가 없이는 생태계가 운영될 수 없기 때문에 이 역시도 고려해야 한다. )
추천 (Referral)
추천은 오가닉 유입의 하나로, 기존 사용자의 추천이나 입소문을 통해 새로운 사용자를 데려오는 유입을 의미한다. Referral은 프로모션이나 이벤트가 아니라 서비스 내에 입소문을 통한 선순환 구조의 구축을 고민하는 문제다.친구 초대에 대한 보상은 CAC에 따라 달라지는데, 일반적으로 유료 마케팅 채널을 통한 고객 획득 비용의 50~70% 수준에서 결정되는 경우가 많다. 다른 마케팅 채널보다 저렴하게 신규 유저를 데려올 수 있고, 추천을 통해 유입된 유저들은 진성 유저가 될 가능성이 높기 때문에 중요하다.
초대한 회원과 초대 받은 회원에게 보상을 주는 시스템의 구축 자체는 어렵지 않으나, 초대하는 맥락을 자연스럽게 구성하는 요소가 중요하다. 어떤 서비스는 이 과정을 게임화기도 한다. 카카오뱅크의 모임 통장의 경우 소모임 등의 회비를 쉽게 관리할 수 있게 만든 통장으로 특별한 보상을 바라지 않고 초대를 하지만, 목적대로 통장을 이용하기 위해 사용자들을 초대하는 굉장히 자연스러운 맥락을 가지고 있다. 친구 초대에 대한 보상은 쿠폰, 적립금, 포인트, 기프티콘 등으로 다양하나 반드시 현금성일 필요는 없다. 드롭박스처럼 무료 용량을 추가로 주는 형태도 가능하다. 또한 문구도 중요한데, 토스의 경우 ‘이 서비스에 가입하고 혜택을 받으세요’가 아니라 ‘링크를 클릭하고 친구가 보낸 돈을 받으세요’라는 형태로 보다 실제 현금에 가까운 보상을 직접적으로 강조했다. 친구 초대를 통한 온보딩 프로세스 역시 세심하게 설계해야 하는데, 에어비엔비의 경우 초대 받은 친구의 온보딩 프로세스 전환율이 매우 높다. 여러가지 실험을 많이 했는데 초대를 통해 가입한 사용자에게는 일반적인 전화번호 입력 화면이 아닌 초대한 친구의 프로필, 사진, 이름, 가입연도와 할인 혜택에 대한 내용을 강조한 화면을 처음 보여준다.
바이럴 계수 (Viral Coefficient)는 Referral의 핵심지표로, 바이럴 계수 = (사용자 수 x 초대 비율 x 인당 초대한 친구 수 x 전환율 ) / 사용자 수 로 구할 수 있다. 10,000명이 있고 그 중 20%가, 평균 5명씩, 초대 받은 사람의 30%가 가입한다면 바이럴 계수는 3000/10000 = 0.3이 된다. 친구 초대 참여 사용자 비율 늘리기, 한 사람의 평균 초대 친구 수 늘리기, 초대 받은 친구의 가입 전환율 높이기가 주된 방법으로 세 가지에 대한 지표를 정하고 확인하고 개선해야 한다. 초대 주기가 빠르다면 기하급수적으로 소비자가 증가하게 된다. 시간이 지날수록 바이럴 계수 0.9, 1.0, 1.1의 차이는 굉장히 커지는데 이는 복리의 마법이다. 또한 초대를 통해 가입한 사용자의 장기적인 경험은 바이럴 계수에 나타내지 않으니 다른 지표로 확인해야 한다.
초대를 통한 추천이 잘 작동하려면 기본적으로 서비스의 완성도가 높아야 하며, 데이팅 서비스처럼 다른 사람에게 굳이 알리고 싶지 않은 서비스라면 좋은 조건을 걸어도 친구 초대가 원활하게 일어나지 않을 수 있다.
04. 지표
스톡 (Stock)은 저량 지표, 특정 시점의 스냅샷에 해당하는 지표다. 시작과 끝이 없고 특정한 시점에서 관찰할 수 있는 값이다. 유량 (Flow)는 시작과 끝에 대한 시간의 범위가 존재하며, 특정 기간, 일정시간 동안의 변화량을 나타내는 지표다. 많은 경우에 스톡의 많은 지표들은 허무 지표 (Vanity Metric)에 가깝지만, 어떤 서비스에서는 중요하다. 가령, 링크드인의 누적 프로필 수, 멜론의 누적 보유곡 수, 넷플릭스의 누적 보유 영화와 드라마의 수 등이 이에 해당한다. 목표로 하는 지표가 스톡인지 플로우인지 정확하게 구분해서 활용해야 하는데 이는 지표에 따라서 모니터링 방식이나 대시보드 설계가 달라지기 때문이다.
MAU는 생각보다 명확하지 않은 지표일 수 있는데, 개념적으로는 명확하지만 구체적인 조작적 정의 (Operational Definition) 즉, 객관적이고 측정 가능한 기준으로 기술한 정의가 명확하지 않다. MAU의 경우 기준이 로그인한 유저인가 아니면 단순 방문자인가, 앱과 웹의 중복 유저는 어떻게 처리할 것인가 등등 다양한 문제가 산재한다. MAU의 집계를 위해서는 측정의 기준이 명확해야 한다. 결제전환율의 경우도 여러가지 의견이 있을 수 있기 때문에 회사와 서비스가 추구하는 바를 모든 구성원들끼리 토의해서 명확하게 정의해야 한다.
저자의 경험담인데, 마이리얼트립에서 저자가 받은 요청은 크로스셀 (cross-sell, 교차구매)의 비율을 높이는 것인데 항공-숙박-교통-투어-티켓-액티비티-여행자보험을 모두 다루는 여행 슈퍼앱을 지향하는데 교차구매란 항공권을 예약한 고객이 숙소, 교통, 티켓 등을 교차 구매하기를 원한다. 회사 입장에서는 매출 규모를 키울 수 있고 고객 입장에서는 편리하게 다양한 여행 경험을 확장할 수 있다. 하지만 여행 자체가 개인화되어야 하는데 박물관, 미술관을 다니는 사람과 로컬 음식과 현지인이 다니는 곳을 다니는 사람이 기대하는 여행 형태가 다르기 때문이다. 크로스셀에 대한 정의도 반드시 정해야 하는데 저자의 경우 전사적인 기준을 만들기 위해 질문 리스트를 들고 경영진과 팀 리더들을 찾아다니면서 의견을 듣고 조율하는 과정을 길게 수행했다. 모호한 지표는 모호한 액션으로 갈 수 밖에 없다.
좋은 지표의 조건 중 하나는 지표를 바탕으로 행동할 수 있어야 (actionable)한다는 점이다. 행동을 이끌어내지 못하는 지표를 허무 지표 혹은 허상 지표라고 한다. 주요 허무 지표는 누적 다운로드, 누적 앱 설치, 누적 방문자, 페이지 뷰가 이에 해당한다. 앱 설치를 많이 하고 싶다면 CPI (Cost Per Install)에 초점을 둔 마케팅을 할 수 있지만 리텐션이나 다른 지표와 연결되지 못한다.
지표를 개선하는 행동은 부분 최적화가 아닌 전체 관점에서의 최적화에 초점을 맞춰야 한다. 특정 페이지의 CTR (Click Through Rate)에 집중하다가 전체 퍼널에서 전환율이 떨어지거나, 퍼포먼스 광고의 CPC (Cost Per Click)에 집중하다가 전체 광고 성과가 낮아지는 경우를 방지해야 한다. 광고의 경우 CPC만으로 판단할 수 없는데, CPC가 1000원인 페이스북 광고의 경우 의도를 가지고 클릭할 확률이 높지만 CPC가 500원인 기사 사진에 달린 광고의 경우 실수로 클릭하여 들어가는 경우가 많다. 이런 경우 CPC가 낮은 기사 광고가 반드시 좋다고 볼 수 없다. 하나의 지표에 의존하지 말고 여러가지 시나리오와 지표를 바탕으로 종합적으로 판단해야 한다.
심슨 패러독스 (Simpson’s Paradox)는 전체 경향이 쪼갠 그룹의 경향과 다른 상황을 의미한다. 전체 지표는 떨어지지만 쪼개서 볼 경우 가장 영향력이 큰 그룹 A는 약간 감소하고, 나머지 B~D의 그룹에서는 올라가는 현상이 심슨스 패러독스의 예시다. 대표값 역시 조심해서 사용해야 하는데 mean은 outlier에 민감하기 때문에 EDA, median, mode 등으로 보충하면 좋다. 생존자 편향 (Survivorship Bias)도 피해야 하는데, 2차 대전 시기 생환한 전투기를 대상으로 어디를 보강할 것인가에 대한 문제인데 생환한 경우 날개에 많이 피탄되었지만 실제로 엔진이나 몸체에 피탄된 경우 돌아오지 못했기 때문에 몸체와 엔진의 장갑을 보완해야 한다는 사례다. 이처럼 잘못된 데이터를 활용해서 분석하는 경우를 피해야 한다.
OMTM (One Metric That Matters)는 여러가지 지표들 중에서 무엇이 중요한지 결정하는 일이다. 가장 중요한 지표는 시간에 따라 달라질 수 있기 때문에 지금 시점에서 가장 중요한 지표인 OMTM을 정해야 한다. OMTM은 북극성 지표 (North Star Metric, NSM)이라고도 한다. 모든 부서와 사람들이 같은 OMTM을 정의해야 하며, 그래야 구성원들이 바라보는 방향성을 일치시키고 자원을 집중할 수 있다. 서비스 초기라면 결제 비율이 OMTM이고, 비즈니스 모델이 검증되었고 매출 극대화를 실험중이라면 ARPPU가 적합하다. OMTM을 정의하기 위한 질문은 다음과 같다. 어떤 비즈니스 모델을 가진 서비스를 만들고 있는가? 서비스 라이프 사이클을 고려할 때 우리는 어떤 단계에 있는가? 지금 가장 신경쓰이는 문제를 찾거나 정의해보자. 우리가 원하는 행동을 하는 사용자와 그렇지 않은 사용자의 무엇이 가장 다른가? 다른 점을 구분할 수 있는 이벤트나 속성은 무엇이며 추세가 달라지는 지점은 언제인가? OMTM은 행동가능한 지표, 즉 actionable한 지표여야 한다.
KPI (Key Performance Index)는 평가를 위해 활용하는 지표이고, OMTM은 성장을 위한 지표로 결과뿐이 아니라 과정도 중요하다. KPI는 팀이나 부서별로 다르게 설정된다. 팀 간의 KPI가 서로 충돌할 수도 있다. KPI가 달성되었음에도 서비스가 성장하지 않는 경우도 현실에서 발견되는 것을 보면 OMTM이 중요한 이유를 알 수 있다.
OKR (Objectives & Key Results)는 구글이 도입한 목표 관리 체계로 3~5개의 목표와 목표당 3~5개의 핵심 결과로 구성된다. 목표는 매우 도전적이고, 정성적인 언어로 표현되며 구성원들의 가슴을 뛰게할 수 있는 크고 담대한 목표다. 핵심 결과는 목표 달성을 위한 구체적인 결과 지표로 객관적으로 측정가능하고 모니터링할 수 있으며, 하나의 목표에 연계된 핵심 결과는 3개 이하가 권장된다. OKR은 도전적인 목표, 전사적인 정렬 (alignment), 투명한 공유를 강조한다. 전사적인 방향과 목표가 정해지면 이에 일치하도록 부서와 개인이 OKR을 정하는 방식이다. 탑다운과 바텀업이 혼재 되어 었으며 사내 모든 구성원들의 OKR이 공개되어있고 이런 투명한 공유를 바탕으로 활발한 협업이 장려된다.
05. 그로스 해킹 시작부터, 성장 실험부터
그로스 해킹의 꽃은 성장 실험이다. 핵심 지표를 정의하고, 가설을 세워 실험을 진행하고, 데이터를 분석하는 과정을 반복하면서 조직은 배움을 축적하고 서비스는 성장할 수 있다. 많은 리소스가 없는 초기 스타트업과 같은 경우라면 다음의 단계를 차근차근 실천하기를 저자는 권장한다.
1단계: 데이터를 활용할 수 있는 업무 환경 만들기
2단계: 데이터 파이프라인 구축하기
3단계: 데이터 활용을 위한 역량과 문화 갖추기
4단계: 성장 실험
다음의 항목 중에서 5가지 이상에 해당한다면 우선 데이터 관련 환경을 점검해야 한다. 우리 회사에 어떤 데이터가 쌓여 있는지, 어떻게 데이터를 뽑아서 볼 수 있는지 잘 모른다. 데이터를 쌓고 있는데 보는 사람이 없거나 데이터의 정확도를 믿을 수 없다. 데이터 추출 요청을 하면 며칠 후에나 결과를 받아볼 수 있다. 추출 요청 후 전달 받은 데이터가 내가 원한게 아니었던 경험이 있다. 필요한 데이터가 있는데 개발자나 데이터 분석가가 바쁜 것 같아서 요청을 못한적이 있다. 별도의 데이터 전담 조직이 없고 개발팀이 그때그때 데이터 관련 업무를 하고 있다. 우리 서비스의 첫 페이지에서 사용자들이 어떤 메뉴나 버튼을 클릭하는지 자세히 모른다. 구글 애널리틱스를 사용하는데 접속해서 어떻게 뭘 해야 하는지 모르겠다. 우리 서비스 사용자들의 고객 생애 가치를 관리하는 조직이 없다. 매출 말고 전사적으로 모든 구성원들이 알고 있는 다른 핵심지표가 없다.
저자는 마이리얼트립에서 그로스 팀을 만들고 업무 범위를 다음과 같이 정했다. 핵심 지표 선정 및 관리, 데이터 파이프라인 설계 및 구축, 주제별 데이터 분석, 데이터 추출 및 분석 요청 대응, 데이터 기반으로 일하는 문화 만들기.
저자는 맨 처음 팀을 만들면서 혼자 일해야 했는데 IaaS (Infrastructure As A Service), PaaS (Platform As A Service), SaaS (Software As A Service)를 적극적으로 활용했다고 한다.
데이터를 수집하고 분석하는 기본환경 구축은 하둡이나 스파크 등으로 할 수도 있지만 아마존의 EMR (Elastic MapReduce), 구글의 GCP (Google Cloud Platform), 마이크로소프트의 Azure 등이 있다. 이를 통해 데이터의 수집, 저장, 전처리를 수행할 수 있다. 아마존의 Redshift나 구글 BigQuery 등도 사용할 수 있다.
ETL (Extraction, Transform, Load)는 여기저기 산재된 데이터를 수집하고, 분석하기 편한 형태로 변환하고, 원하는 DB에 적재하는 일련의 과정을 말한다. StitchData, Fivetra, Supermetrics 등을 통해 광고플랫폼이나 어트리뷰션, CRM 등과 연계해서 쓸 수 있다.
BI (Business Intelligence)는 다양한 직군의 실무자들이 데이터에 쉽게 접근하고 대시보드를 만들고 활용할 수 있게 해주는 툴이다. EMR이나 GCP 등은 데이터 분석가나 데이터 엔지니어들이 주로 사용하는 툴이라 진입장벽이 높기 때문이다. Tableau나 Google Data Studio, Superset, Redash 등이 있다. BI 툴은 비교적 쉽지만 SQL 쿼리를 기반으로 작동하는 경우가 많고 최근에는 드래그 앤 드롭 등을 지원하는 경우도 많다.
데이터 파이프 라인을 만들기 위해서는 어떤 데이터를 쌓을건지, 어떤 형태로 쌓을건지, 어디에 쌓을건지, 어떻게 꺼내서 볼것인지를 결정해야 하는데, 어디에 쌓을 것인가를 빼고는 엔지니어 혼자서 결정하기 힘들고 다른 실무자들과 이야기해서 결정해야 한다. 사용자의 로그는 둘로 나뉘는데 트랜잭션의 결과를 기록하는 서비스 로그, 즉 가입, 예약, 결제 등을 싣는 로그가 있다. 다른 로그는 행동 로그인데 트랜잭션에 이르기까지 서비스에서 하는 하나하나의 액션을 담은 로그로 특정 상품 클릭, 검색, 배너 스와이프 등이 이에 해당한다. 모든 변경분을 다 쌓을것인지, 실시간 스트리밍으로 쌓을것인지, 일 단위 배치로 쌓을 것인지 등을 고려해야 한다.
이벤트와 속성 (property)는 어떤 수준에서 결정할 것인지가 중요하다. 속성이 자세하면, 가격, 카테고리, 할인이벤트, 평점 등의 이벤트 속성과 가입일, 누적구매건수, 쿠폰, 성별 등의 사용자 속성을 활용하여 유용한 분석을 수행할 수 있다. 이벤트 속성은 기본적으로 키와 값 (key-value)로 이루어진다.
행동 로그 설계하고 적재하기를 수행하기 위해서는 이벤트를 어떤 기준으로 쌓아서 볼 것인지를 정의하는 문서인 이벤트 스키마 설계서를 먼저 만들어야 한다. 여기에는 어떤 화면의 어떤 이벤트를 기록할지, 그 이벤트의 발생 조건이 무엇인지, 함께 기록할 것인 무엇인지를 설정해야 한다. 모든 데이터를 수집하면 용량도 많아지고 QA와 유지보수가 힘들어 진다. 발생하는 모든 이벤트의 기록 대신 분석에 필요한 이벤트를 정확히 기록하고 적재하는 것이 더 중요하다.
데이터 활용 역량과 문화를 갖추기 위해서는 구성원 개개인이 BI를 이용해 주도적으로 데이터를 추출하고 대시보드를 만들 수 있는 환경이 유용하다. 이를 통해 전사적인 데이터 활용 능력이 향상된다. 한 걸음 더 나아간다면 간단한 SQL 문법 교육도 유용하다. 정기적으로 교육을 행해야 하고, 이를 실무에서 쓸 수 있도록 허용해야 한다.
A/B 테스트는 종합 대조 실험 (controlled experiment)로 통계적 가설검정 등을 주로 사용한다. A/B 테스트를 위해서는 가설을 세워야 하고, 실험집단과 통제 집단을 잘 나눠야 한다. 독립 변수 (Independent Variable), 종속 변수 (Dependent Variable), 통제 변수 (Control Variable), 샘플 크기 (Sample Size), 실험 기간을 잘 정의해야 한다. 집단을 나눌 때 올바르게 잘 나누어져있는지도 고려해야 한다. A/B 테스트를 수행하는 중에 조기 중지를 이용해 실험을 오염시키고 왜곡하거나, Global optimum이 아닌 Local optimum일 가능성도 염두에 두어야 한다.
'독서' 카테고리의 다른 글
| 우리말 연구의 첫걸음 (1) | 2024.03.04 |
|---|