# 제품에서 숨겨진 성장 기회를 찾는 법

> Clean Markdown view of GeekNews topic #23561. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=23561](https://news.hada.io/topic?id=23561)
- GeekNews Markdown: [https://news.hada.io/topic/23561.md](https://news.hada.io/topic/23561.md)
- Type: news
- Author: [neo](https://news.hada.io/@neo)
- Published: 2025-10-10T11:11:02+09:00
- Updated: 2025-10-10T11:11:02+09:00
- Original source: [youtube.com](https://www.youtube.com/watch?v=2BKmNmnEj9w)
- Points: 27
- Comments: 1

## Summary

Duolingo, Grammarly, Chess.com의 성장 리더 Albert Cheng이 **사용자 중심 가치**와 **실험 기반 성장 전략**의 중요성을 제시합니다. 단순 지표 해킹이 아니라 **탐색(Explore)-활용(Exploit) 프레임워크**, 긍정적 피드백 시스템, **무료-유료 경험 샘플링** 등으로 사용자 경험과 업그레이드율을 선순환 구조로 증폭할 수 있다고 설명합니다.

## Topic Body

- Duolingo, Grammarly 같은 **세계적인 구독형 제품을 성장**시켰던 Albert Cheng이 사용자를 제품 가치로 연결하는 방법을 공유한 유튜브 영상의 스크립트 요약  
  - 성장은 단순한 지표 해킹이 아닌 **사용자 중심의 가치 전달 과정**임을 강조  
- **탐색(Explore)과 활용(Exploit) 프레임워크**를 통해 실험에서 얻은 인사이트를 제품 전체로 확장하며, 한 번의 성공적인 실험을 **10배 이상으로 증폭**시키는 전략 제시  
- Grammarly에서 무료 사용자에게 **유료 기능을 샘플링**하여 제품의 진정한 가치를 보여줌으로써 **업그레이드율 2배 증가** 달성  
- Chess.com에서 패배 후 실수 대신 **훌륭한 수를 보여주는 긍정적 피드백**으로 전환하여 게임 리뷰 25%, 구독 20%, 유지율 대폭 향상  
- 소비자 구독 제품 성공의 핵심은 **높은 사용자 유지율(D1 30-40% 이상)** 이며, 입소문을 통한 유기적 성장과 무료 제품을 통한 광범위한 가치 전달이 필수적임을 시사  
  
---  
  
### Albert Cheng 소개와 배경  
  
- 세계 최고의 소비자 성장 전문가 중 한 명으로, Duolingo, Grammarly, Chess.com의 **성장 및 수익화를 주도**  
- 초기엔 YouTube에서 **2천만 명 이상이 사용하는** 스트리밍 및 게임 기능 개발  
- 그의 성장에 대한 독특한 접근 방식은 **마케팅, 데이터, 전략, 제품 관리를 결합**  
  
#### 피아니스트에서 성장 리더로의 전환  
  
- 대만 이민자 부모 아래 클래식 피아노를 매일 90분씩 연습하며 성장  
- **완벽한 음감(Perfect Pitch)** 을 가져 음표를 즉시 인식하고 빠르게 음악 습득  
- 음악 학교 진학을 고려했으나 엔지니어링으로 방향 전환  
- 피아노와 성장의 공통점  
  - **지속적인 반복과 실수를 통한 학습**: 빠른 피드백 루프와 회복탄력성 개발  
  - **구조적 기반 위의 창의성**: 성장 모델과 지표라는 구조 위에서 창의적 솔루션 도출, 음악 이론 위에서 아름다운 음악 창조와 유사  
  
### 탐색(Explore)과 활용(Exploit) 프레임워크  
  
- Brian Balfour의 Reforge 클래스에서 유래한 개념으로 Grammarly의 엔지니어링 파트너 Nurmal을 통해 접함  
- **탐색(Explore)**: 올바른 산을 찾는 과정  
- **활용(Exploit)**: 그 산을 효과적으로 오르는 데 리소스 집중  
- 대부분의 회사는 한쪽 극단에 치우침  
  - 과도한 탐색: 팀이 산만해지고 **100가지 아이디어를 무작위로 시도**하며 전략 부재  
  - 과도한 활용: **포화와 정체** 상태로 이어지며 지역 최적화에 그침  
- 성장팀은 흔히 활용 모드에 빠지기 쉬움  
- ## 마이크로 수준에서의 적용: Chess.com 사례  
  - Chess.com의 학습 기능 PM Dylan이 게임 리뷰 참여도 개선 작업  
  - **게임 리뷰**: 게임 종료 후 가상 코치가 최악의 수와 최고의 수를 가르치는 기능  
  - 데이터 추적을 통한 발견  
    - 게임 리뷰하는 사용자의 **80%가 승리 후에만 사용**  
    - 당초 예상은 패배나 실수 분석을 위해 사용할 것이라 생각했으나 **인간 심리는 달랐음**  
  - 제품 경험 변경  
    - 패배 후 실수를 보여주는 대신 **훌륭한 수와 최고의 수를 표시**  
    - 코치가 격려 메시지 제공: "패배는 학습의 일부"  
  - 결과  
    - 게임 리뷰 **25% 증가**  
    - 구독 **20% 증가**  
    - 사용자 유지율 대폭 향상  
  - **활용 단계**: 인사이트를 회사 전체에 공유  
    - 퍼즐 PM이 **긍정적 패턴을 자신의 제품에 적용**  
    - 성공률 표시, 카피 조정, 버튼 색상 변경 등  
    - 실험 성공을 **10배 확장** 가능  
- ## 실험 성공률과 지속적 개선  
  - 일반적인 실험 승률은 **30~50%**  
  - 소비자 제품은 매우 예측 불가능하며 많은 가설이 틀림  
  - 큰 성공 또는 큰 실패 실험 모두 매우 가치 있음  
    - 회사 전체에 인사이트 공유 필수  
    - **원래 PM이 모든 적용 방법을 찾을 필요 없음**  
    - 가설과 발견을 명확히 표현하면 다른 팀이 아이디어를 도출  
  - 성공률과 영향력을 높이기 위해 팀원들이 인사이트 주변에 집중  
- ## 탐색과 활용 간 전환 시점 판단  
  - Chess.com은 연간 약 **250개 실험** 진행  
  - **실험 탐색 도구(Experiment Explorer Tools)** 투자  
    - 진행 중인 실험 전반을 조망  
    - 가설과 학습 간 패턴 파악  
  - 통계적으로 유의하지 않은 실험이 증가하면 **과도한 활용의 신호**  
    - 더 이상 짤 즙이 없을 수 있음  
    - 팀에게 다시 브레인스토밍하고 **발산적 사고** 권장  
  
### AI를 활용한 성장 가속화  
- ## 텍스트-SQL 기능  
  - Chess.com의 데이터 요청 Slack 채널에서 활용  
    - 과거: 애드혹 질문(남아공 구독자 수, 지난달 퍼즐 플레이 시간 등)에 데이터 분석가가 수동으로 대응  
    - 현재: **Slack 봇이 자동으로 쿼리 실행 및 분석 제공**  
  - 효과  
    - 첫 번째 답변 제공자로서 Slack 봇 훈련  
    - 회사 전체가 **더욱 데이터 기반으로 의사결정**  
    - 질문의 폭발적 증가  
      - 부끄러워서 못 물어보던 질문도 편하게 질문 가능  
      - ChatGPT와 유사한 효과: 편안한 대화 상대가 큰 차이 만듦  
- ## AI 프로토타이핑 도구  
  - 아이디어에서 대표 솔루션까지 과정 단축  
  - 기존: 사람이 개입하는 여러 단계(아이디어 작성 → 스펙 → 리뷰 → 디자인 등)  
  - Chess.com의 접근  
    - 주요 화면(온보딩 플로우, 홈 화면, 체스보드) **AI 프로토타입 구축**  
    - **v0, Lovable** 같은 도구 활용  
    - 회사 전체에 공유하여 시작점으로 사용  
    - 아이디어를 빠르게 **시각화하고 논의 및 테스트 가능**  
- ## AI 스택  
  - **PM**: Vzero  
  - **디자이너**: Figma Make  
  - **엔지니어**: Cursor, Claude Code, GitHub Copilot  
  - **마케팅**: 번역, 자막, 콘텐츠 적응 도구  
  - **고객 지원**: Intercom Fin  
  - 과제: 팅커링(Tinkering)에서 워크플로우로의 원활한 전환 미해결  
    - 각 기능별로 선호 도구가 다름  
    - 도구 간 상호운용성 부족  
    - 프로덕션 배포까지 여전히 기능 간 핸드오프 필요  
    - 디자인 시스템 컴포넌트와 MCP 투자로 개선 중  
  
### Grammarly의 최대 수익화 성공 사례  
- ## 배경 및 문제 인식  
  - Grammarly는 **AI 기반 글쓰기 도우미**로 Chrome 확장 프로그램 또는 데스크톱 클라이언트로 제공  
  - **프리미엄 비즈니스 모델**: 90% 이상 무료 사용자, 나머지 유료 구독  
  - 구독자 전환 PM Kyla의 팀이 무료-유료 전환 경로 개선 담당  
  - 초기 문제 발견  
    - 사용자가 받는 제안 유형과 페이월 노출 빈도 **추적 미흡**  
    - **계측(Instrumentation) 먼저 구축** 필요  
- ## 핵심 인사이트  
  - 무료 사용자의 **극히 일부만** 모든 제안 수락  
    - 대부분은 선택적으로 수락  
  - 무료 사용자의 실제 체험: Grammarly는 **철자와 문법만 고치는 도구**  
    - 무료 제안이 정확성(Correctness) 위주였기 때문  
  - 유료 기능: 어조를 공감적으로 개선, 명확성 향상, **문장 전체 재작성** 등  
- ## 솔루션: 유료 제안 샘플링  
  - **다양한 유료 제안을 샘플링하여 무료 사용자의 글쓰기 전반에 배치**  
  - 유료 기능을 제한적으로 맛보기 제공  
  - 우려: 너무 많이 제공하면 구독 의향 감소  
  - 결과: **완전히 반대**  
    - 사용자들이 Grammarly를 **훨씬 강력한 도구로 인식**  
    - **업그레이드율 거의 2배 증가**  
- ## 수익화 교훈  
  - 프리미엄 제품의 경우 **무료 제품이 전체 기능을 반영**하도록 해야 함  
  - 일부 유료 기능은 비용이 들지만 **최선을 다해 보여주면 그 자체로 보상**  
  - 시간 기반 무료 체험이 아닌 **역 무료 체험(Reverse Trial)** 개념  
    - 실시간으로 글쓰기 중 개선사항 제공  
    - 하루에 일정 수량만 제공하고 새로고침  
  - 업계 패턴을 Grammarly의 특정 사용 사례에 맞게 조정  
  
### 프리미엄 vs. 체험 모델  
- ## 프리미엄 구독 모델을 선택하는 이유  
  - **미션 지향성**: 제품을 가능한 한 널리 보급하려는 창업자의 목표  
    - Duolingo(교육), Grammarly(글쓰기), Chess.com(체스) 모두 글로벌하게 광범위한 가치 제안  
    - 가장 낮은 진입 장벽은 **무료 제품**  
  - **입소문 성장**: 제품이 주로 입소문으로 성장  
    - 네트워크 효과 구축 가능: Duolingo의 소셜 기능  
    - Grammarly의 B2C2B 플레이: 무료 사용자가 팀이나 동료의 구매 유도  
  - **핵심 가치 제안은 무료**로 영구 제공하고 프리미엄 기능을 샘플링  
- ## 체험(Trial) vs. 역 체험(Reverse Trial)  
  - **역 체험**: B2B 기능에서 강력, 특히 락인(Lock-in)이 있는 경우  
    - 신용카드 정보 없이 시작  
    - CRM 사용이나 콘텐츠 구축에 많은 시간 투자  
    - 체험 기간 종료 시 유지하고 결제할 가능성 높음  
  - **일반 무료 체험**: 소비자 제품에서 더 흔함  
    - 소비자 제품은 역 체험이 작동하기 어려움  
  
### 소비자 구독 제품 성공의 핵심  
- ## 사용자 유지율의 중요성  
  - **사용자 유지율은 소비자 구독 회사의 금**  
  - 유지율이 낮으면 **첫날 결제에 모든 부담** 집중  
    - 사용자 획득 비용 지불  
    - 습관적 사용 패턴 형성 전 공격적 업셀 필요  
  - 많은 앱이 이 방식을 사용하지만 초기 단계를 넘어서기 어려움  
- ## 성장 경로의 차이  
  - Duolingo와 Chess.com: **유기적 입소문 기반** 비즈니스  
    - 시장을 키우는 방식으로 성장  
    - 경쟁이 치열한 공간에서 시장 점유율 경쟁과 대조적  
  - 경쟁 시장에서는 높은 입찰가로 사용자 확보 경쟁  
- ## 유지율 목표  
  - **신규 사용자 유지율(D1, D7 등)**  
    - **D1 유지율 30~40%**: 소비자 앱으로서 상당히 견고  
    - 그보다 훨씬 낮으면 사용자 의도나 DAU 기반 확보 능력에 의문  
  - 시장에 선택지가 많고 앱 피로감 존재하여 달성이 어려움  
  - **현재 사용자 유지율(CURR)**: 훨씬 더 중요  
    - 일일 빈도를 가진 제품의 경우 가장 중요한 지표  
    - 습관적 패턴을 개발한 기존 사용자 기반의 점착성  
    - 시간이 지남에 따라 **복리 효과로 일일 습관 구축**  
    - 회사 성숙 시 대부분의 에너지를 기존 사용자 유지 메커니즘에 집중  
- ## Grammarly의 예외  
  - Grammarly는 설치 후 **매일 능동적으로 열지 않음**  
  - **활성화, 설치, 아하 모멘트가 매우 중요**  
    - 한 번의 설치가 매우 오랜 기간 사용자를 유지  
  - 타이핑할 때 자동 작동하므로 DAU 통계가 정확하지 않음  
  
### 부활(Resurrected) 사용자의 중요성  
- ## DAU/WAU 구성 요소  
  - 성숙한 회사(Chess.com)의 경우 일일/주간 활성 사용자의 **약 80%가 현재 또는 기존 사용자**  
  - 나머지는 **신규 사용자와 재활성화(부활) 사용자**가 비슷한 규모  
  - 회사 성숙 후 신규 사용자에 대한 관심이 많지만 **실제로는 신규 사용자 비중이 크지 않음**  
- ## 비활성 및 산발적 사용자 누적  
  - 시간이 지나면 **수많은 비활성 사용자** 누적  
  - 산발적 사용자: 매일은 아니지만 주 1~2회 또는 월 1~2회 사용  
  - 결국 **수억 명의 휴면 사용자** 축적  
  - **부활 경험**에 투자할 가치 있음  
    - 그들을 다시 데려오는 새로운 방법 찾기  
- ## Duolingo의 부활 전략  
  - **소셜 알림** 활용  
    - 연락처 동기화 사용 시 친한 친구가 Duolingo 시작했다는 푸시 알림  
    - 제품으로 복귀 유도  
  - **재배치(Replacement) 메커니즘**  
    - 3년 전 프랑스어 학습했지만 대부분 잊음  
    - 앱 재오픈 시 **재배치 테스트 권장**하여 적절한 수준에 배치  
  - 성숙한 회사에게 이러한 메커니즘은 **상당히 높은 ROI** 제공  
  
### Duolingo, Grammarly, Chess.com의 차이점  
- ## Duolingo: 체계적 실험 기계  
  - 매우 **구체적이고 일관된 제품 개발 접근법**  
  - **Green Machine 플레이북** 작성 및 공개  
  - 기업 정신  
    - 대학 졸업 직후 **지적이고 에너지 넘치는 인재** 대거 채용  
    - 놀라운 실험 도구 제공  
    - **회사의 클락 스피드(Clock Speed)** 중시  
    - 많은 창의성과 아이디어 발상  
  - 제품 경험이 각 사용자에게 **하루에 여러 번 변경**  
    - 매우 충격적인 수준  
  - 제품 개발 사이클의 각 단계마다 **스펙과 프로세스** 보유  
    - 매우 엄격하고 일관되게 운영  
    - 제품 리뷰는 **10~15분** 정도로 신속  
- ## Grammarly: B2C에서 B2B로 진화  
  - 처음에는 **학생 대상 유료 제품**으로 시작  
  - 점차 모든 사람 대상 프리미엄 모델로 확장, 전문가 중심으로 전환  
  - 특정 회사의 특정 기능(마케팅, 영업, 고객 지원 팀)이 대규모로 Grammarly 채택  
  - **관리형 엔터프라이즈 모션** 추가  
  - Albert의 역할: 소비자 셀프서브 모션에 집중하되 분리되지 않고 상호 연결  
    - 셀프서브 수익 및 활성 사용자 증가  
    - **제품 주도 세일즈(Product-Led Sales)**: 적합한 팀/기능/회사를 발견하여 수요 생성 및 영업에 전달  
  - 생성형 AI 전환과 함께 빠르게 진화  
    - 최근 Coda와 Superhuman 인수로 **생산성 스위트**로 변모  
  - Duolingo와 달리 **더 많은 전략적 의사결정** 필요  
  - 핵심 제품팀이 **반복 활동**을 가장 많이 주도  
    - 제안의 빈도와 품질이 현재 사용자 유지율을 가장 많이 좌우  
    - Albert가 성장팀을 구성했으나 **실제로는 핵심 제품팀이 주도해야 함을 깨달음**  
    - 핵심 제품 리더와 대화 후 책임 이전  
- ## Chess.com: 체스에 대한 광적 열정  
  - 직원들이 **체스에 광적으로 열정적**  
  - 전 세계에서 원격 채용, 체스를 사랑하는 사람들만 채용  
  - 하루 종일 체스를 플레이하고 스트림 시청  
  - Slack은 항상 체스 수와 게임으로 폭발적 활동  
  - Duolingo의 경우  
    - 언어 학습 제품이지만 원래 정신은 **동기부여**  
    - 가장 어려운 것은 **습관 형성**  
    - 언어 학습은 첫 번째 수단이며 **동기부여와 습관이 초능력**  
  - Grammarly의 경우  
    - 철자와 문법 수정으로 알려졌지만 진정한 독특함은 **수많은 애플리케이션 전반에 통합**  
    - 이제 **AI 슈퍼하이웨이**로 문법 작성 이상 제공 가능  
  - Chess.com은 **체스에 관한 것 100%**  
    - 정신에 스며들어 있고 사람들은 열정적  
    - 항상 제품을 도그푸딩  
    - 제품을 항상 사용하고 아이디어를 제시하는 놀라운 에너지  
  
### AI가 Chess.com을 변화시키는 방법  
- ## 체스와 AI의 오랜 관계  
  - 체스와 AI는 **거의 한 세기 동안 얽혀 있음**  
  - 초기 컴퓨팅 선구자들이 기계 지능 테스트용으로 체스 선택  
  - **1997년 IBM의 Deep Blue**가 세계 챔피언 Garry Kasparov 격파  
    - AI가 인간을 대체할 것인가에 대한 충격과 성찰의 순간  
    - **30년 전 일**이지만 모두 여전히 존재하며 체스를 플레이하는 사람 역대 최다  
- ## 현재 체스 엔진의 능력  
  - Stockfish 같은 엔진이 **세계 최고 그랜드마스터보다 극적으로 우수**  
  - ELO 레이팅 시스템 비교  
    - 평균 체스 플레이어: 1,000~1,500  
    - 최고 그랜드마스터(Magnus Carlsen): 약 2,800  
    - **Stockfish 및 유사 엔진: 약 3,600**  
  - 체스 엔진이 **주요 기물(룩 등) 없이 플레이해도** 최고 선수와 경쟁 가능  
  - 컴퓨팅 파워로 **초당 수천만 번** 계산하므로 인간 경쟁 불가능  
  - 체스 엔진 플레이를 보면서 **새로운 창의성, 전략, 라인, 게임에 대한 감상** 열림  
- ## Chess.com의 AI 활용 접근법  
  - 모든 사용자에게 이 기술 제공, **처음 말을 옮겨본 사람도 포함**  
  - **게임 리뷰 제품**: 뒤에서 체스 엔진 실행하여 모든 수에 대한 평가 생성  
  - 번역 및 접근 가능한 스타일로 사용자에게 제공  
    - 사용자의 모국어 사용  
    - 오디오로도 제공  
  - **LLM 활용**: 개성과 말투를 사용자에게 전달하는 부분  
  - 핵심 원칙: **고객을 최우선**  
    - 유행이라는 이유만으로 LLM 적용하지 않음  
    - 올바른 기술을 올바른 기능에 적용하여 사용자에게 가치 제공  
    - 과대 광고에 휘둘리지 않음  
- ## LLM의 체스 플레이 능력  
  - 놀랍게도 **LLM 자체는 체스를 매우 못함**  
  - 환각(Hallucination) 발생, 움직임 패턴 인식은 잘하지만 **매우 깊은 체스 분석은 못함**  
  - ChatGPT로 체스보드 이미지를 생성하면 **칸 수가 잘못되거나 설정이 부적절**  
  - 추론 능력은 개선될 것으로 예상  
  - Google이 최근 모든 최고 LLM이 서로 플레이하는 토너먼트 후원  
    - 개선 중이지만 체스는 **훈련된 딥 컴퓨팅 엔진**이 LLM보다 훨씬 강력  
- ## AlphaZero와 AlphaGo  
  - AlphaGo 다큐멘터리는 기술적으로 깊은 내용을 **감정적이고 인간적으로** 표현  
  - AlphaZero 훈련 방식: **자기 자신과 수많은 게임을 플레이**  
    - 신경망을 통해 매번 더 똑똑해짐  
    - 수십억~수조 번 반복으로 매우 능숙해짐  
  
### AI가 성장 역할을 변화시키는 방법  
- ## 성장의 정의  
  - 성장의 역할: **사용자를 제품 가치에 연결**  
  - 사용자 여정을 고려하여 각 요소별로 팀 구성  
    - 각 팀은 특정 지표 목표와 로드맵 보유  
    - 목표 대비 실행  
  - AI는 실험 사이클의 일부 요소를 **가속화** 가능  
- ## 제품 발견(Product Discovery)에서의 AI 활용  
  - 코어 제품은 더 긴 시간 프레임과 철저한 사용자/시장 조사 필요  
  - 성장은 **많은 실험을 실행**하며 각 실험의 출력이 다음 아이디어의 입력  
  - 기존 방식: 분석 문서를 수동으로 작성  
    - 읽고 인사이트 파악  
    - 아이디어를 다른 스펙으로 번역  
  - AI 활용  
    - ChatGPT 같은 도구로 **다른 사람의 분석을 요약**  
    - 시도할 아이디어에 대한 조언 제공  
    - 아이디어 발상과 조사 사이클이 **훨씬 빠름**  
  - 프로토타이핑도 **극적으로 단축**  
    - 아직 PM이 직접 프로덕션에 코드 배포하는 단계는 아님  
    - 특히 **대담한 아이디어를 구상하는 시간 극적 단축**  
- ## 탐색과 활용에 미치는 영향  
  - 과거: 탐색(Explore)이 더 어려웠음  
  - 현재: **탐색이 훨씬 쉬워짐**  
    - 광범위한 개념을 시각화 가능  
    - 시각화하면 팀 주변에서 논의하고 클릭 가능  
    - **세상을 변화시키는 차이** 만듦  
  
### 실험 규모 확대를 위한 팁  
- ## 첫 번째 팁: 일단 시작하기  
  - Atlassian의 제품 현황 보고서: **40%의 제품팀이 실험을 전혀 실행하지 않음**  
  - 철학적 이유나 B2B 지향일 수 있어 이해 가능  
  - 하지만 일정 규모와 빈도를 가진 소비자 제품이라면  
    - 충분한 데이터 수집 가능  
    - 많은 경험에도 불구하고 **자주 틀림**  
    - 소비자 행동은 매우 변덕스러움  
    - 회사에서 일하면 자연스럽게 **파워 유저**가 되어 신규 사용자 경험 망각  
  - **첫 단계를 밟을 것을 권장**  
    - AB 테스트 실행  
    - 타사 도구 찾아 빠르게 통합  
    - 엔지니어와 협력하여 무언가 만들기  
    - 크롤-워크-런 연습  
- ## 선호 도구  
  - Grammarly에서 **StatSig** 사용 (최근 인수됨)  
  - Duolingo와 Chess.com은 **인하우스 실험 도구** 보유  
  - 장단점 존재  
    - Duolingo는 실험 기계이므로 맞춤형 도구가 큰 가속제  
  - 일반적으로 **초기부터 인하우스 구축은 권장하지 않음**  
    - 일정 규모에서는 의미 있을 수 있음  
    - 이 회사들은 15년 전 설립되어 당시 도구가 없었음  
- ## 두 번째 팁: 시스템이 개별 실험만큼 중요  
  - **시스템이 개별 실험만큼, 아마도 더 중요**  
  - 성장 모델부터 시작  
    - 회사가 어떻게 성장하는지 이해  
    - 어떤 채널을 활용할지 파악  
  - **제품 계측(Instrumentation)** 필수  
    - 그렇지 않으면 실험 결과가 이상하게 나옴  
  - 실제 사례: 한 회사에서 인하우스 실험 도구 사용 중  
    - 3개월 후 **사용자 유지율이 거꾸로 구성**되어 있음을 발견  
    - 모든 긍정적 결과가 부정적 결과였음  
    - 매우 당황스러웠고 다시는 발생하지 않을 것  
- ## 세 번째 팁: 인사이트 공유와 확산  
  - 큰 성공 또는 큰 실패 실험 발견 시  
    - **회사 전체에 명확하게 공유**  
    - 가설과 발견 명확히 표현  
    - 원래 PM이 모든 적용 방법을 찾을 필요 없음  
  - 성장 리더로서 다른 사람들이 아이디어를 **집중(Swarm)** 하도록 권장  
    - 성공률 향상  
    - 영향력 증대  
  
### 연간 1,000개 실험 목표  
- ## Chess.com의 실험 여정  
  - **2023년 이전**: 거의 실험하지 않음  
  - **작년**: 약 50개  
  - **올해**: 약 250개 진행 중  
  - **내년 목표**: 1,000개  
- ## 목표의 진정한 의미  
  - Albert가 만든 목표이지만 **숫자 자체가 목적은 아님**  
  - 목표 설정의 진정한 가치: **무엇이 사실이어야 하는지에 대한 대화** 유도  
  - 목표 달성을 위한 인사이트  
    - PM이나 엔지니어링만 실험하는 것이 아님  
    - **라이프사이클 마케팅**: 푸시 알림과 이메일 카피 변경 실험  
    - **앱 스토어**: 스크린샷, 키워드 등 실험  
    - **콘텐츠 마케팅 팀** 등  
    - 엔지니어링 지원 없이 **특정 화면에 노코드(No-Code)** 활성화  
      - 홈 화면이나 가격 화면에서 구성 가능한 많은 테스트  
    - 진행 상황 추적 및 **관찰 가능성(Observability)** 확보  
  - 실제로 1,000개를 달성하는 것보다 **이러한 것들을 달성하는 것이 진짜 중요**  
  - 거의 달성하고 이런 것들을 이루면 매우 좋은 상태  
  
### 문화 전환 방법  
- ## Chess.com의 극적인 문화 변화  
  - 0개 실험에서 **2년 후 1,000개**(하루 약 3개)로 전환  
  - 많은 팀이 병렬로 실험 진행  
- ## 문화 전환 성공 요인  
  - ### 리더십의 지원  
    - CEO와 공동창업자 Eric과 Danny에게 많은 공로  
    - 실험은 그들의 직관적 사고 방식은 아니었음  
    - **정신적 유연성과 격려**로 도구로 추가  
    - 프론트라인에서 **제품 주도 성장과 실험을 설파**  
    - 창업자와 기존 접근 방식에 **대립하지 않는 것이 매우 중요**  
  - ### 실제 성공 사례 공유  
    - 게임 리뷰와 긍정성 사례처럼 **실제 작동하는 것을 보여줘야 함**  
    - **승리(Win)가 필요**: 축하하고 사람들이 학습에 대해 좋은 느낌  
    - 전반에 걸쳐 적용되면 누구나 활력을 얻음  
    - 지표가 움직이고 **더 빠르게 학습하고 배포**  
    - 위에서 목표만 설정해서는 안 됨  
    - 사람들이 **작동하는 것을 봐야 함**  
  - ### 초기 실험  
    - Albert 합류 전에 이미 일부 실험 진행 중  
    - 이미 궤도에 올라 있었음  
  
### 추가 실험 교훈  
- ## Duolingo의 성공 사례  
  - ### 스트릭(Streak)과 몰입  
    - Jackson이 팟캐스트에서 논의  
    - **몰입과 달력에 스트릭 표시**를 통한 학습 효과  
    - 큰 이정표 달성보다 **시작하는 것이 중요**  
  - ### 바이럴리티(Virality) 팀  
    - 바이럴리티는 매우 **모호한 개념**이며 제품에서 생성하기 매우 어려움  
    - Duolingo는 상당히 많이 공유되는 제품  
    - **스크린샷 추적** 투자  
      - 앱에서 사용자가 스크린샷하는 핫스팟 찾기  
      - 다른 앱에서도 볼 수 있는 방법  
      - 일정 기간 동안만 실행  
    - 발견한 공유 핫스팟  
      - 스트릭 이정표: 명백한 공유 지점  
      - **매우 재미있는 챌린지**: 매우 높은 공유율  
      - 리더보드 상위 3위 진입은 공유 대상이 아님  
    - **이러한 순간에 일러스트레이터와 애니메이터 배치**  
    - 매우 즐거운 경험 창조  
    - 결과: 놀랍도록 잘 작동  
    - 교훈: 인간 직관에 반하여 공유를 강요하지 말 것  
      - **사용자가 이미 유기적으로 스크린샷하는 순간**을 찾아내기  
      - 그 순간을 훨씬 훨씬 더 좋게 만들기  
      - **5배 또는 10배 증폭**하여 많은 성장 유도  
  
### 게임화의 세 가지 기둥  
- ## Jorge의 게임화 모델  
  - 게임화 패턴은 본질적으로 **세 가지 기둥**  
  - ### 1. 핵심 루프(Core Loop)  
    - Duolingo: 레슨 진행  
      - 레슨 완료 → 보상 획득 → 스트릭 연장  
      - 다음날 푸시 알림  
    - **핵심 루프를 매우 타이트하게 만드는 것이 중요**  
      - 사람들이 고수할 습관 필요  
  - ### 2. 메타게임(Metagame)  
    - Duolingo: 경로(Path), 리더보드, 업적  
    - **장기적으로 추구할 것들**  
    - 지속적으로 활동할 **장기 동기부여** 제공  
  - ### 3. 프로필(Profile)  
    - 시간이 지남에 따라 프로필 구축  
    - 제품 경험 내 **투자의 반영**  
    - 이 세 가지를 완성하면 **장기 학습 여정** 성공 가능  
- ## Chess.com의 신규 사용자 과제  
  - 신규 사용자의 **75% 이상이 완전 초보자 또는 초급자**로 분류  
  - 초보자는 라이브 게임에서 **즐겁지 않음**  
    - 데이터: 첫 게임 승리율 **1/3 미만**  
    - 게임 패배 시 사용자 유지율 **10% 악화**  
    - 규모에서는 나쁨  
  - 일반적인 모바일 게임: 매우 단순화된 버전 생성  
    - 체스에서는 더 어려움 (규칙 변경 불가)  
- ## 학습 초기 단계의 중요성  
  - 언어 학습이든 체스든 **첫 단계는 자기 의심**으로 가득  
  - 자신이 그것을 못한다는 강화 경험  
  - 사용자를 **그 주변으로 안내하는 경험을 의도적으로 제작**할 가치  
- ## Chess.com의 솔루션  
  - 완전 초보자라고 하면 **더 즐거운 플레이 학습 경험** 제공  
    - 라이브 게임에 바로 투입하지 않음  
  - **처음 5게임 동안 레이팅 숨기기**  
    - 레이팅이 급락하는 것을 보지 않도록  
  - 코치와 플레이, 친구와 플레이, 봇과 플레이 등 다양한 경로  
  - 실시간 힌트: 실제 사람과 플레이하면서 **어디로 이동해야 하는지 가이드**  
    - 승리를 도와줌  
  
### 팀 구축에 대한 반직관적 교훈  
- ## 전통적인 채용 방식  
  - JD(직무 설명서) 작성  
    - 찾고 있는 다양한 특성 나열  
  - 자사와 유사한 **회사 숏리스트** 작성  
  - 그곳에서 채용 시도  
  - 업계의 전형적인 기본 경로  
- ## Albert의 발견: 높은 주도성(High Agency)  
  - 여러 소규모 스타트업과 Duolingo 경험에서 깨달음  
  - **최고 성과자들의 특징**  
    - **매우 높은 주도성(Agency)**  
    - **클락 스피드(Clock Speed)**: 빠른 사고와 행동  
    - **에너지**  
    - 미션에 대한 관심은 있지만 **깊은 경험이 반드시 필요하지 않음**  
  - 경험이 오히려 **목발(Crutch)** 이 될 수 있음  
    - 특히 AI로 기반이 빠르게 변하는 세상  
    - 학습된 많은 습관을 **의도적으로 버려야 함**  
    - **초심자의 마음(Beginner's Mind)** 필요  
  - **빠르게 반응하고 움직이는 사람** 찾기  
  - **빠른 학습 속도**  
  - 그런 회사들이 살아남고 번성할 것  
- ## 높은 주도성 식별 방법  
  - 많은 부분이 **면접 과정 밖에서 발생**  
  - 신호들  
    - **질문의 유형**: 실제로 제품을 시도하고 깊이 파고들었는가?  
    - **레퍼런스**  
    - 면접 설정을 위한 **커뮤니케이션**  
    - 대화에 가져오는 **에너지**  
  - 많은 소프트 시그널 포착 가능  
  - 시간이 지나면서 이러한 패턴 인식  
  - 과거에는 질문과 루브릭에서만 읽고 다른 것은 신경 쓰지 않았음  
  - 이제는 이러한 것들을 훨씬 더 균형 있게 고려  
  - **바이브(Vibes) 요소** 존재  
  - **워크 트라이얼(Work Trial) 면접 방식** 지지  
    - 대화 면접 대신 **일주일 정도 실제로 함께 작업**  
  
### 회사 규모 선택  
- ## Albert의 골디락스 존(Goldilocks Zone)  
  - Google(대기업)부터 극소형 스타트업까지 경험  
  - 자신에게 맞는 곳: **중간 규모** 발견  
- ## 각 규모별 특징  
  - ### 대기업 (Google)  
    - **엄청난 규모** 다루기  
    - 동료로부터 많은 **모범 사례 학습**  
    - 원하는 모든 도구와 기능 보유  
    - 하지만 **느리게 움직이는 경향**  
    - 물건을 배포하고 출시하기 어려움  
    - 결국 약간 미치게 만듦  
  - ### 극소형 스타트업  
    - **매우 빠르게 움직임**  
    - 하지만 Albert의 모든 **백발은 여기서 생김**  
    - 아무도 회사를 모름  
      - 사람을 **하나씩 채용**  
      - 사용자를 **하나씩 확보**  
    - 빠르게 학습하고 많이 배포할 수 있지만  
    - 세상에 **큰 영향을 미치려면** 매우 고될 수 있음  
    - 일부는 하이퍼스케일하고 성공하지만  
    - Albert는 한동안 이 길을 시도했으나 자신에게는 맞지 않았음  
  - ### 중간 규모 (500~1,000명)  
    - **규모 있는 기여** 가능하면서도  
    - **일일 및 주간 단위 속도로 실행** 가능  
    - 회사 전반의 노력을 볼 수 있으면서도  
    - 세부 사항에 들어갈 수 있음  
      - 실험 결과 읽기  
      - 픽셀 살펴보기  
      - 특정 팀과 협력  
    - **10~20년 된 회사**  
      - 내구성 있고 이상적으로는 수익성  
      - 좋은 리더십 팀  
      - 여전히 많은 차원을 찾아야 함  
      - **주요 변곡점**에 있음  
      - 정체되지 않고 역동적  
- ## 개인별 최적 단계  
  - 모든 사람은 **자신이 가장 빛나는 회사 단계** 보유  
  - Albert는 큰 기술 회사 → 극소형 스타트업 → 중간 규모 여정  
  - 중간이 자신의 골디락스 존  
  
### 실패 코너: Chariot 사례  
- ## 배경  
  - San Francisco의 **통근 셔틀 서비스**  
    - 15인승 셔틀  
    - 여러 동네에서 샌프란시스코 다운타운으로 운행  
  - 대중 버스 시스템과 Uber/Lyft의 **중간**  
  - Albert가 제품 책임자로 근무  
  - 핵심 서비스는 사용자들에게 매우 사랑받음  
    - 신뢰할 수 있고 빠르며 충분히 저렴  
- ## 실패한 시도: Chariot Directly  
  - 아이디어: **동적 경로**로 활용도 개선  
    - Uber/Lyft와 유사하게 더 혁신적으로 만들기  
  - 드라이버가 고정 경로를 운전하지만  
    - 여유 시간이 있으면 경로를 벗어나 집에서 픽업 가능  
  - 시도했지만 **결국 작동하지 않음**  
- ## 배운 교훈  
  - ### 1\. 솔루션이 문제를 찾음  
    - **"이렇게 하면 좋지 않을까"** 를 쫓아감  
    - "이것이 우리 사용자이고 이것이 우리가 해결하는 문제"가 아님  
    - "이것이 그들을 기쁘게 할 이유"가 아님  
    - 문제가 아닌 **솔루션에서 시작하면 안 됨**  
  - ### 2\. 양면 시장(Marketplace) 고려  
    - **한 명 이상의 최종 사용자** 존재  
    - 승객 앱에만 너무 집중  
    - 드라이버가 경험의 많은 부담을 짊어짐을 깨닫지 못함  
    - 운영팀도 마찬가지  
    - 드라이버가 혼란스럽거나 불만족하면  
      - 전반적인 제품 경험이 **어려워질 수 있음**  
  - ### 3\. 검증 전 PR의 위험  
    - 서비스 출시 전 많은 **PR 진행**하여 입소문 냄  
    - PR은 때와 장소가 있음  
    - 하지만 고객이 확실히 원한다는 **검증 전에 하는 것은 매우 위험**  
    - 출시 후 많은 **매몰 비용(Sunk Cost)** 발생  
      - 끝까지 봐야 함  
      - 성공을 보고 싶어 함  
- ## 회고  
  - 10년 전 일이지만 여전히 생생하게 기억  
  - 회사에서 좋은 시간 보냄  
  - **3가지 이상의 핵심 교훈** 포함  
  - 이후 많은 제품을 구축하면서 전달된 교훈  
  
### 라이트닝 라운드  
- ## 추천 도서  
  - ### 현재 읽는 책  
    - 4살과 1살 아이가 있어 대부분 **어린이 책** 읽음  
    - **Snuggle Puppy**: 노래가 있어 딸이 크게 웃음, 마음이 따뜻해짐  
  - ### 업무 추천 도서 : **Ogilvy on Advertising**  
    - 40년 된 책이지만 **실용적 예제**로 가득  
    - 카피와 크리에이티브에 대한 내용  
    - 구식 광고이지만 **실험 지향적 접근**  
    - 궁극적으로 중요한 것: **사용자를 행동으로 유도**  
    - 제품 구매가 목표  
    - 영리한 광고나 섹시한 크리에이티브가 아님  
    - 제품 및 라이프사이클 팀에 매우 사실  
  - ### Dark Squares  
    - Chess.com 공동창업자 **Danny Wrench의 회고록**  
    - 체스계에서 매우 유명  
    - **학대적 컬트에서 성장**하며 체스 신동이었던 이야기  
    - 믿을 수 없는 스토리  
    - 현재 절반 정도 읽음  
    - 함께 일하는 사람들의 **과거가 얼마나 깊은지** 모른다는 것을 상기  
    - 체스보드의 어두운 칸과 어려운 과거를 동시에 의미  
    - 이 팟캐스트 릴리즈 시점에 출간 예정  
- ## 인생 모토  
  - 어머니의 명언: **"평판보다 중요한 것은 없다"**  
  - 자선적 이해  
    - 매일 내리는 **작은 결정들**  
    - 사람을 어떻게 대하는가  
    - 어떻게 나타나는가  
    - 성격은 무엇인가  
  - 이것들이 **복리로 쌓여** 놀랍고 놀라운 방식으로 문을 열어줌  
  - 합류한 많은 회사가 비교적 **가벼운 연결**을 통해 옴  
  - 이 팟캐스트도 함께 일했던 사람들이 출연한 것을 봄  
  - **옳은 일을 하고 좋은 평판을 쌓으면** 먼 길을 갈 수 있음  
  - 반대편: 평판은 **취약**함  
    - 잘못된 일을 하면 복구하는 데 오래 걸림  
  - 평생 동안 머릿속에 남은 흥미로운 인생 모토  
  
### 핵심 메시지  
  
- 깨달음: **실제 경험에 진실**하게 임하는 것이 중요  
  - 많은 교훈이 다른 사람들의 시도에서 나옴  
  - **정신적 스펀지** 역할  
  - 다양한 것 시도  
  - 흡수하고 즉시 실천  
  - 작동하지 않는 것은 **버리고 회사 요구에 맞게 진화**

## Comments



### Comment 44778

- Author: t7vonn
- Created: 2025-10-10T11:31:45+09:00
- Points: 2

최근 논란이 된 메신저 회사의 누군가와 비교되네요 ..
