월간 회고록: 2023년 2월
모바일 홈 개인화, 유저 행태 분석, 밋업, 통계학, 그로스 해킹
지난 2월을 회고해보려고 합니다. 어느덧, 3월 중순이 훌쩍 다가왔네요. 이제까지 써왔던 월간 회고록들에 비해 비교적 빠른 시기에 회고록을 적어보는 듯 합니다. 블로그가 회고록, 칼럼 투성이가 되어가고 있네요. 다음 글은 꼭 기술 주제로 쓴다고 약속하겠습니다. 개인적으로 쓰고 있는 주간 회고들을 둘러보니, 2월에도 참 많은 일들이 있었네요. 늘 그랬듯이, 그 중 함께 공유 드리고 싶은 내용들로 회고록을 채워봅니다. 어쩌다보니 이번 글은 이야기를 들려드리는 어투라기 보다는.. 혼잣말 하는 어투로 채우게 됐네요! 너그러이 이해부탁드립니다.😀
일
모바일 홈 개인화
우리팀1에서 요즘 집중하고 있는 부분은 모바일 홈 개인화이다. 얼마전 미디어를 통해 이 소식을 전하기도 하였다:
지난해에 몇달동안 여러 팀이 붙어 꽤나 많은 리소스를 투입했던 프로젝트이기에, 데이터 분석이라는 도구를 통해 해당 도메인의 추천 서비스를 성장시키는데에 도움을 줘야하는 나로서도 막중한 책임감을 가지고 있다. 얼마전 미디어를 통해 이러한 G마켓의 모바일 홈 개인화 소식이 대중들에게 전해졌다는 소식을 듣고, 조금 걱정스러운 마음이 들었다. 10% 고객에게만 배포한 현 단계에서 미디어를 통해 이 소식을 전하는게 맞는가에 관한 생각이 있었기 때문이다.
나 또한 이러한 홍보를 통해 모바일 홈에 관심을 끌게 되어 애초에 홈에 관심이 없던 유저들의 이목까지 끌어낼 수 있지 않을까? 하는 생각을 했던 적이 있다. 그러나, 얼마 지나지 않아 이 부분은 실험설계 관점에서 봤을 때 상당히 위험한 행위일 수 있겠다는 생각을 했다. 가령, 우리가 신약의 효과를 검정하고자 하는 실험을 설계한다고 해보자. 보통 이러한 종류의 실험을 설계할 때에는 기본적으로 Single-Blind Test를 수행하거나, 여기서 한 발 더 나아가 Double-Blind Test까지 수행하는 경우가 있다. 두 셋팅의 근본적 목적은 순수한 처리효과2를 보기위함이다. 전자는 피실험자3 본인이 어떤 그룹4에 속했는지 알려주지 않는 실험을 말하며, 후자는 약을 처방하는 의사조차도 본인이 처방할 약이 신약인지 위약인지 모르는 실험을 말한다. 신약의 순수한 효과를 알아보기 위해 이정도 셋팅까지 한다는 말이다.5
이 관점에 바라보았을 때, 내가 처음에 무심코 했던 “마케팅과 홍보를 좀 잘하면 홈에 관심없던 고객들까지 유입을 시킬 수 있을거 같은데?”라는 생각은 굉장히 위험하다는 것이다. 이러한 홍보는 결국 모바일 홈 개인화가 우리에게 가져다주는 순수한 효과를 보지 못하게끔 만든다. 그래서, 미디어를 통해 G마켓의 모바일 홈 개인화 소식이 전해졌다는 소식을 들었을 때, 모바일 홈 개인화가 가져다 주는 효과가 과대추정(overestimate)되지 않을까 하는 걱정스런 마음이 들었다. 그러나, 이 부분 또한 얼마지나지 않아 괜한 노파심이라는 생각이 들었다. 냉정하게 생각해봤을 때 G마켓에 관심을 두고 우리 소식을 찾아보는 고객이 몇이나 될까? 지상파 뉴스, CF를 통해 대대적인 홍보를 한 것도 아니고. 애초에 G마켓의 AI 기술에 관심을 가지고 있는 고객들 자체가 극소수일 것이기 때문에 모바일 홈 개인화의 효과가 과대추정될 일은 없을거라고 생각하고있다.😀
다만, 모바일 홈에 내보내고 있는 추천 서비스를 고도화해 나가면서 이에 노출되는 고객 비중들을 차차 늘려가며, 기존의 모바일 홈에 비해 고객들에게 더나은 쇼핑 경험을 제공하고 있다는 판단이 들었을 때는 과감한 홍보 등을 통해 신규 고객들을 유입시키고자 하는 움직임이 필요로 된다고 본다.
유저 행태 분석
개인화 시킨 모바일 홈을 일부 고객에게 배포한 뒤에는, 당연한 얘기겠지만 유저 행태 분석이 필요로 됐다. 서비스 출시 후, 유저 행태 분석이 필수적으로 따라 나와야하는 이유에 대해 생각을 해봤다:
보수적인 관점
- 개인화는 유저들에게 더 나은 경험해주는 서비스임이 자명하다. 하지만, 새로운 것을 도입할 때에는 보수적인 관점에서 사고를 해볼 필요가 있다.6 이 관점에서 우리가 개인화한 홈이 유저들에게 기존의 홈보다 더 나은 쇼핑 경험을 제공하고 있는가에 대한 검증은 꼭 필요로 된다.
서비스 고도화 관점
- 고객들이 남긴 로그에는 그들의 잔심이 남아있다. 그들이 남긴 잔심을 데이터를 뜯어봄으로써 확인할 수 있다면, 이보다 좋은 서비스 고도화 방법은 없다. 단순한 모델 튜닝만으로 극적인 성과 향상을 기대하긴 어렵다. 다들 알겠지만, 도메인 지식과 비즈니스 인사이트가 투영된 Feature engineering은 Parameters tuning에 비해 비약적인 성과 향상을 가져다 준다. 전자의 방법에서 한 발 더 나아가, 유저 행태 분석을 통해 실제 유저들의 흥미를 이끌어 내는 요소, 유저들이 우리 서비스에서 원하는 바를 파악하여 이 부분까지 Feature engineering에 반영한다면 더욱 큰 시너지 효과를 낼 수 있을 것이다. 아울러, 우리는 Output 그 자체가 아닌 특정 Output을 이끌어내는 Input에 관심이 있기 때문에 이 과정에서 자연스레 인과추론이 필요로 될 수도 있다.
유저 행태 분석과는 조금 동떨어진, 선행되면 좋을 것 같은 부분
유저 행태 분석 전에 좀 더 근본적인 부분에 대해 생각해볼 필요도 있다.
지금 우리 서비스를 성장시키기 위해 필요한 단 하나의 지표(OMTM, One Metric that Matters)는 무엇인가?
그 전에, 우리가 성장시키고자 하는 서비스는 현재 어떤 단계에 놓여있는가? 매출을 높이고 싶은 단계에 놓여있는가? 출시한 서비스에 관심을 갖는 유저들을 최대한 모아야하는 단계에 놓어있는가?
즉, OMTM은 서비스를 성장시키고자 하는 방향에 따라 언제든지 달라질 수 있다.
아무튼, 이번 기회에 (부끄러운 이야기일수도 있지만) 처음으로 유저 행태 분석을 수행해보았다. 1-2주 안에 의미있는 인사이트를 뽑아내어 공유 세션을 가지고 싶었는데, 처음 수행해보는 형태의 분석이여서 그런지 중간중간 분석 방향을 두번 세번정도 엎었다..😭 액셔너블한 분석 결과, 실질적인 비즈니스 인사이트를 가져다줄 수 있는 분석 결과를 가져가려고 노력하다보니, 나 자신이 만족할만한 분석 결과가 좀처럼 나오지 않았다. 그래서, 3주라는 기간이 소요됐다. 그럼에도 불구하고, 소요된 시간에 비해 뽑아낸 인사이트는 굉장히 마음에 안들었다. 이렇게 질질 끌다간 끝이 없을 것 같아 팀 내에 공유 세션을 가졌고, 마침내 팀원들과 인사이트를 나눌 수 있었다. 오랜만에 느껴보는, 긴 기간의 분석 후의 후련함이었다.
3주간 분석을 수행하며 느낀 바는 다음과 같다:
유저 행태 분석은 정성적인 평가가 필요로 되는 부분이 많은 듯 하다. 그래서, 도메인 지식이 중요하다고들 하는게 아닌가 하는 생각이 들었다. 반대로, 정성적인 평가밖에 할 수 없어 보이는 부분들을 어떻게 정량적으로 평가해볼 수 있을지에 대한 고민도 필요로 되어 보인다. 어찌됐든, 정성적 평가는 주관이 개입하기 마련이기 때문이다. 이러한 이유에서 팀이 필요하고, 집단 지성이 필요로 되는 것이 아닐까?
앞서 액셔너블한 분석 결과, 실질적 비즈니스 인사이트를 가져다줄 수 있는 결과를 가져가고 싶다고 했었다. 팀내 공유 세션이 끝난 뒤, 요 부분을 핑계삼아 분석 결과 공유가 조금 늦어진 것 같다고 슬랙에 말씀을 드렸다.😂 그랬더니, 선호님(팀장님)이 또 명언을 남겨주셨다.
인사이트가 꼭 있어야만 한다는 부담은 덜어내셔도 됩니다. 정리해주신 팩트를 보면서 인사이트는 같이 논의해도 돼요. 그게 팀이죠. ’어떤 관점으로 데이터를 정리해봤는데 딱히 뭔가 안보인다’는 것 자체만으로도 충분한 정보이자 인사이트가 됩니다.
나는 앞으로도 액셔너블한, 비즈니스 인사이트가 있는 분석 결과를 가져가기 위해 노력할테지만, 선호님의 의견은 많은 위로가 됐고 내게 또다른 새로운 관점을 심어주었다. 이런 분이 리딩하시는 팀에서 데이터 분석을 할 수 있다는게 참 행운이 아닐까 하는 생각을 가지고 있다.
분석의 뎁스가 깊어지다보면, 종종 분석 목적을 잊게 될때가 있다. 다른 말로 하면, 배가 산으로 갈때가 있다. 데이터 분석을 하며 가장 중요한 부분이 이 부분이 아닐까 생각한다. 분석의 스텝바이스텝 Why를 생각해보는 습관, 끊임없이 내게 질문을 던지고 본 분석을 시작했던 배경, 목적과 잘 align되는 방향으로 분석이 진행되고 있는지에 대해 생각해보는 습관. 이 두 가지가 데이터 분석의 다가 아닌가 생각해본다. 방법론은 이러한 고민 속에서 자연스레 뒤따라 나오는 것이고.
개인
데이터 분석가/과학자 제 1회 밋업
지난 2월 23일에는 데이터 분석가 & 데이터 과학자 제 1회 밋업에 참가했다. 장소 마련의 한계로, 추첨을 통해 참가 인원을 선발할 수 밖에 없었는데 운이 좋게도 참가할 수 있는 기회를 얻을 수 있었다. 빅쏠에서 데이터 과학자로 근무하고 계신 이진형님이 데이터 분석가 & 데이터 과학자 모임 오픈 카톡방을 만드신데에 이어, 이렇게 오프라인 밋업까지 주최를 해주셨다.
바쁜 와중에 개인적으로 시간을 내서 이러한 모임을 주최하는 것은 정말 어려운 일이다. 이 글을 읽으실 일은 없겠지만, 감사의 마음을 한번 더 표해본다. 우리나라에 개발자 생태계는 온라인에 잘 형성이 되어있는 반면 데이터 분석가/과학자 생태계는 잘 형성이 되어있지 않다는 생각이 들었는데, 이제는 데이터 분석가/과학자 직군의 온라인 생태계도 점차 갖추어져 나가고 있다는 생각이 든다. 이러한 형태의 밋업도 그렇고, PAP와 같은 커뮤니티에서 뉴스레터까지 발행하며 업계에 미치는 영향력을 점차 키워가고 있는 것들을 보면 말이다. 한편으로는 그러한 생태계 형성이 잘 안되어 있는 부분에 갈증이 있었음에도, 나 스스로는 왜 어떤 모임이나 커뮤니티를 만드는 것에 액션을 취하지 않았을까 하는 생각도 한다. 그래서, 이런 부분에 액션을 옮긴 분들께는 더욱 깊은 존경심과 감사함을 가지고 있다.
이번 밋업에서는 세 분이 발표를 해주셨다. 발표 주제는 다음과 같았다:
<데이터의 불모지, 옥외광고 데이터 전략팀은 무슨일을 할까?>
부제: 없는 데이터 만들어 일하는 방법
발표자: 포커스 미디어 데이터 전략팀 강슬기
<채용 데이터 분석하기>
- 발표자: 두들린 한일석
<가입자는 늘어나는데 왜 MAU는 그대로일까?>
- 발표자: 이진형
추천 서비스라는 프로덕트를 성장시키기 위한 데이터 분석을 하고 있는 내가 가장 관심이 가는 주제는 마지막 주제였고, 세 분 모두 발표를 너무 잘해주셔서 정말 재밌게 들었다. 발표가 끝나고, 궁금한 부분들은 질문도 드리면서 적극적으로 참여했다.😂 발표 후 질문은 곧 상대방의 발표를 집중해서 관심있게 들었다는 것의 증거라고 생각하기에, Q&A 시간에 가능하다면 꼭 질문을 드리고자 한다.7 발표 자료는 여기서 만나볼 수 있다.
발표가 끝난 뒤에는 각자 자유롭게 네트워킹할 수 있는 시간을 가질 수 있었다. 이러한 유형의 모임은 처음이라.. 굉장히 어색했다. 다행히 많은 분들이 적극적으로 움직여주신 덕분에 여러 사람들과 이야기를 나눠볼 수 있었다. 나는 꽤나 내향적인 사람이지만, 이러한 유형의 모임에는 최대한 적극적으로 참가해보려고 한다. 발표를 들으며 인사이트를 얻는 부분도 있지만, 무엇보다 많은 에너지를 얻어갈 수 있기 때문이다. 나와 비슷한 고민을 하는 사람들이 있구나, 이렇게 열심히 하는 사람들이 있구나 하는 것을 눈으로 보고, 그런 사람들과 이야기를 나누는 것은 내게 정말 많은 에너지를 준다. 당시 밋업을 마치고 돌아오면서도 더 열심히 살아봐야겠다는 생각을 했다.
그리고, 밋업에서 당시 내가 업무에서 몰입하고 있던 유저 행태 분석의 인사이트 추출에도 일정 부분 힌트를 얻을 수 있었다. 밋업을 마치고 집에 도착했을때가 자정을 넘긴 시각이었는데, 여러 인사이트들이 내 머리를 스쳐갔고, 결국 잠을 청하지 못하고 떠오른 인사이트들을 정리하고 새벽 5시쯤 잠에 들었던 기억이 난다.
이건 여담인데, 밋업이 열리는 당일에 선호님8도 출근을 하셨다. 혹시나 하는 마음에 밋업에 참가하시냐고 여쭤볼까 하다가 참았는데, 역시나 밋업 장소에서 만나뵐 수 있었다. 내가 먼저 사무실을 떠났는데, 슬랙 DM으로 밋업에 참가하러 간다고 말씀드렸더니 선호님도 참가를 하신다고.. 네트워킹 시간에 너어무 어색해서, 선호님 곁을 잠깐 찾아가기도 했다.😂 아무튼, 이번 밋업은 여러모로 내게 즐거운 경험이었다.
통계학
산업계로 이직을 하고, 통계학이 생각보다 Data Science/Analytics 분야에 차지하는 파이는 크지 않음을 느꼈던 때가 있다. 당시 일종의 허탈함이 느껴지기도 했는데, 요즘엔 오히려 내 기본에 깔려있는 통계학이 데이터를 볼때에 알게모르게 정말 많은 도움을 주고 있다는 생각을 한다. 이 생각을 문득 했을때, 바로 이 생각을 정리하고 싶은 마음이 있어 페이스북에 포스팅을 했었다. 본 주제는 페이스북에 남겼던 글로 갈음해본다.
그로스 해킹
양승화님이 쓰신 그로스 해킹 책을 거진 다 읽어간다. 학계에서 산업계로 넘어와 추천 서비스의 고도화를 위해 데이터 분석을 수행하고 있는 내게 정말 많은 도움을 준 책이다.
프로덕트를 성장시키기 위해서는 데이터 분석을 할 때 어떤 방향성을 가지고 해야하는지, 어떤 부분을 조심해야하는지에 대해 많은 부분 힌트를 얻을 수 있었다. 만오천원이 채 안되는 값싼 금액에 저자가 수년간 쌓아올린 노하우들을 들여다볼 수 있다는 것은 정말 말이 안된다고 생각한다.
가장 깊은 인사이트를 받은 부분은 지표 설계와 관련한 부분이다. 우리팀에서 제공하는 추천 서비스를 성장시키기 위해서는 대체 어떤 지표를 OMTM(One Metric That Matters)으로 삼아야 하는가에 관한 고민이 있었기 때문이다. 이 부분에 대해서도 페이스북에다가 생각을 정리했던 적이 있다:
특정 서비스의 고도화를 위해 데이터 분석을 수행하고 있는 사람9이라면, <그로스 해킹>이라는 책은 한 번쯤 읽어볼 만한 책이라고 생각한다. 책의 뒷장에서는 데이터 분석, 그로스 해킹을 수행할 수 있는 인프라가 갖춰지지 않은 상황에는 어떤 것 부터 시작을 하면 되는지에 대해서도 이야기를 해주는데, 이 부분은 데이터가 흐르는 조직을 만들고자 하는 분들, 데이터 분석가로 채용되어 조직에 들어갔는데 데이터를 활용할 수 있는 환경이 전혀 갖추어져있지 않아 뭐부터 해야할지 고민이 있는 분들께도 많은 도움이 되지 않을까 생각한다.
맺음말
여러분들의 2월은 어떠셨습니까? 주간 회고를 종합해서 돌아보니, 2월에도 정말 많은 배움의 순간들이 있었네요. 글을 쓰면서 몇 번의 퇴고를 거치듯, 분석을 진행해나가며 앞단의 분석들을 다시 되돌아보듯, 주 단위, 월 단위, 연 단위로 삶을 회고해 보는 것은 정말 많은 것들을 가져다주는 것 같습니다. 저는 원래 회고록을 쓰던 사람이 아닙니다. 제가 보기에 너무 멋있고 열정적으로 살아가는 분들이 회고록을 쓰는 것을 보며, 그들의 습관을 따라해보고자 회고록을 쓰기 시작했죠.
제 인생의 첫 월간 회고록은 지난해 4월이었어요. 시작할때는 참 귀찮은 일이었으나, 이제는 회고를 하지 않으면 마치 조립되지 않은 퍼즐 조각들이 머리 속에 가득한 느낌까지 듭니다. 매주 일요일 밤에 한주 동안 얻은 인사이트를 정리하는 것으로 회고를 시작해보세요. 문득문득 드는 생각들을 정리하는데에 정말 많은 도움이 되실 겁니다.
각주
G마켓에서 제공할 추천 서비스를 만드는 팀이며, 나는 이를 고도화하기 위해 데이터 분석을 수행하고 있다.↩︎
여기서는 신약의 효과라 할 수 있겠다.↩︎
실험 참가자(subjects)↩︎
신약을 투여받는 처리 그룹(treatment group)인지, 위약 또는 기존약을 투여받는 통제 그룹(control group)인지.↩︎
실험 결과에 영향을 줄 수 있는 일말의 모든 것을 제거하기 위한 목적으로, Triple-blind test라는 것도 존재한다.↩︎
이러한 이유에서 통계학에서는 2종오류보다 1종오류를 더욱 위험한 오류라고 보며, 1종 오류를 통제하며 가설 검정을 수행한다.↩︎
이게 맞나?.. 문득, 내 질문이 발표자들에게 어떤 부담이 되진 않았을까 하는 생각이 든다.↩︎
우리팀(AI Product팀) 팀장님이시다.😀↩︎
요즘은 이를 프로덕트 데이터 분석가라고 세련되게 표현하는 듯 하다..↩︎
라이센스
인용
@online{방태모2023,
author = {방태모},
title = {월간 회고록: 2023년 2월},
date = {2023-03-12},
url = {https://taemobang.com/posts/2023-03-12-monthly-memory-202302/},
langid = {kr}
}