디자인 솔루션은 직감적이 아니라 계획적이어야 한다: Toughtful Execution Framework

🔗 이 글은 Annina Koskinen이 Spotify.design에 올린 아티클을 번역, 요약한 글입니다.

⚡️요약

이 글은 디자인 프로세스에 대해 공부한 사람이라면 모두 알고 있는 Empathy - Design - Prototype - Test - Iteration 단계를 Spotify만의 언어로 다시 쓴 내용이라고 볼 수 있다. 이 때 중요한 점은 데이터를 바탕으로 해야 한다는 점이다. 팀은 비즈니스 목표를 달성하기 위한 역할을 하며, 디자인이 설정된 목표를 증명할 수 있는 지표를 움직이는 것을 확인해야 한다. 이 프레임워크는 다음과 같은 단계로 이루어진다.

1단계: 목표 정하기. 이 때 목표는 비즈니스 목표일 수 도 있고, 작은 단위의 개선 프로젝트일 수 도 있다.
2단계: 목표와 관련한 데이터와 인사이트를 모으기. 목표와 관련된 사용자의 컨텍스트, 사용 행태, 멘탈 모델 등 다양하고 구체적인 데이터와 인사이트를 모은다.
3단계: 수집된 데이터와 인사이트에서 기회나 문제¹ 발견하기. 각 인사이트에서는 다양한 방식으로 기회나 문제가 정의될 수 있다.
4단계: 각 포착한 기회나 문제를 해결할 수 있는 가설 세우기. 이 역시 하나의 기회나 문제를 여러 가설로 해결을 꾀할 수 있다. 만약 목표가 너무 커 발견한 기회나 문제도 크다면 집중하고자 하는 기회나 문제를 위한 또 하나의 Toughtful Execution Framework를 만들면 된다.
5단계: 각 가설을 증명하거나 반박하기 위한 디자인 솔루션 만들기. 한 가설은 여러 디자인 솔루션으로 증명이나 반박이 가능하고, 각 솔루션을 임팩트와 실현 가능성으로 평가하여 테스트할 솔루션을 결정한다. 이 때 테스트할 솔루션은 MVP수준으로 만들어 테스트한다.
6단계: 위에서 선정한 디자인 솔루션 테스트하기. 테스트한 결과는 가설을 증명할수도, 증명하지 못할수도 있다. 만약 결과가 가설을 긍정적으로 증명한다면, 더 많은 긍정적인 신호를 끌어내고 사용자의 만족도를 끌어올릴 수 있도록 MVP를 더 Iteration해야 한다. 반대로 결과가 가설을 증명하지 못한다면 다른 디자인 솔루션이나 다른 가정으로 넘어가 다시 단계를 진행한다.
7단계: 테스트한 결과로부터 배우게 된 점을 정리해 팀이 앞으로 나아가는데 밑거름이 되도록 하기.

Intro

직감은 창의적인 프로세스에 중요한 역할을 한다. 하지만 전략적인 결정을 하는 데 단독으로 사용되거나 한 가정에 대해 여러 해결책을 생각해보는 것을 막게 되어선 안된다.

Annina Koskinen은 Spotify의 그로쓰 임무를 수행하는 팀이 목표를 달성하고 영향력을 행사할 수 있는 리소스가 되어준 Thoughtful Execution Framework을 제시한다.

Thoughtful Execution Framework은 여러 문제나 기회를 식별하는 방식으로 데이터와 직감을 활용할 수 있도록 하고, 하나의 해결책으로 수렴하기 전에 가설 수립과 발산을 광범위 하게 진행할 수 있도록 한다.

📕 PDF 가이드나 Figma 템플릿, Mural 템플릿을 활용하여 이 프레임워크를 사용할 수 있다.

---

우리는 우리의 마음과 감정의 목소리를 맹목적으로 신뢰해서는 안된다. 우리의 마음은 항상 감정과 과거 경험을 바탕으로 주관적인 표현만을 제공하기 때문이다. 하지만 우리의 의견과 선택은 항상 어느정도 직감에 의거하기 때문에 이 주관적인 마음을 완전히 배재할 순 없다. 이건 잘못된 것이 아니라 다양성을 만들어주는 아름다운 것이다. 서로 다른 관점과 경험을 가진 사람들이 무엇이 더 합리적인 판단인지 알아내려 하는 것이 전략적인 비즈니스 결정이기 때문에 우리는 이 주관성에 대해 더 잘 알고 있어야 한다.

약 5년 전 Spotify가 새로운 Tribe를 만들려고 하던 때, 성공적인 팀을 가장 잘 구성하는 3가지 방법을 세워볼 수 있었다.

첫째, 조직의 모든 팀이 통찰력과 회사의 전략을 바탕으로 한 명확한 목표를 가지고 있다.
둘째, 이러한 목표는 측정할 수 있어 우리의 업무가 비즈니스에 미치는 영향을 추적할 수 있어야 한다.
마지막으로, 팀들은 그들의 목표를 달성하기 위한 세심하게 세운 계획을 가지고 있어야 한다.

팀에게는 보통 다음과 같은 일이 많았기 때문에 여기에서 개선의 기회를 발견하였다.

비즈니스 목표가 세워진 다음, 팀은 보통 곧바로 그 목표를 달성할 아이디어를 생각하는데 몰두하곤 했다. 그리곤 한 반짝이는 아이디어를 발견해 이 아이디어가 원하는 효과를 제공하는지 얼른 A/B 테스트를 하려 했다. 하지만 우리는 곧 목표에 한 솔루션만으로 곧바로 달려가고, 그 솔루션이 원하는 결과를 주지 못하면 되돌아서서 그 이유를 찾는게 굉장히 힘들다는 것을 배우게 되었다. 솔루션을 잘못 디자인 한건지? 아니면 가정이 옳지 못했던건지? 그것도 아니라면 진짜 문제를 해결하고 있던게 맞긴 한건지?

팀들이 이런 막막한 상황에 놓이는 것을 막기 위해 이런 마인드셋을 가질 수 있는 방법을 생각해보기로 했다.

The Thoughtful Execution tree

한 솔루션으로 곧바로 달려들게 하는 생각을 바꾸기 위해, 프로덕트 개발 프로세스에 필수적인 스텝을 밟도록 하였다. 이런 스텝은 트리 구조로 보여줘 팀들이 이 스텝을 순서대로 밟는 것을 도왔다. 우리는 팀이 문제 발견, 가설 수립, 아이디어 발산 과정을 넓게 먼저 본 후 하나의 솔루션으로 수렴할 수 있도록 하고자 했다.

It all starts with data and insights

만약 친구가 당신에게 다른 나라로 이민간 뒤 외롭다고 불평하면, 아마 이런 말을 하고싶은 생각이 들 것이다. “원래 책 읽는거 좋아했으니까 독서모임 같은델 들어가는건 어때?”. 아마 다른 사람은 동료들이랑 더 많은 시간을 보내라고 말 할 수도 있을 것이다. 하지만 그 친구의 행동을 세심하게 분석해야 그녀가 외롭다고 하는 진짜 이유를 알아낼 수 있을 것이다. 그녀가 일이 너무 많아 친구를 만날 시간이 없을 수도 있고, 아직 언어가 유창하지 못해 사회적인 교류를 못할 수 있을 수도 있다. 진짜 문제를 제대로 이해해야 유의미한 조언을 해줄 수 있을 것이다.

비즈니스 세계에서도 이와 비슷하게, 목표가 세워졌다면 해결해야 할 잠재적인 문제와 기회가 무엇인지 정확하게 알기 위해 데이터와 인사이트를 모으는데 충분한 시간을 들여야 한다. Spotify에서는 이것을 산(mountains)이라고 부른다. 마치 산처럼 이 문제와 기회들은 높이도 다르고, 달성할 수 있는 난이도도 달라 각각에 맞는 고유한 전략이 필요하다.

브라질에 있는 팀에서 사용자가 음악을 들으러 계속 Spotify로 돌아올 수 있는 방법에 대해 고민하고 있었다. 물론 브라질 사람들이 더 앱에 자주 들어올 수 있도록 하는 많은 아이디어를 떠올릴 수도 있었겠지만, 데이터와 인사이트를 충분히 모아보니, 제대로된 솔루션이 있다면 더 많은 사람들이 활성 사용자(active user)로 남을 수 있는 아주 색다른 문제와 기화를 발견할 수 있었다. 해결하고자 하는 한 영역은 로컬 브라질리언 음악 카탈로그를 새로운 사용자에게 더 효율적으로 제공하는 쪽이었고, 다른 한 영역은 느린 네트워크 속도에 맞춰 어플리케이션 퍼포먼스를 최적화 하는 것이었다. 이런 아주 다른 두 문제와 기회는 아주 다른 솔루션으로 해결해야 할 것이며 데이터와 인사이트를 통해 올바른 방향을 바라보는 것이 중요하다는 것을 알 수 있다.

해결할 서로 다른 문제와 기회를 발견한 뒤 다음으로 할 일은 이를 해결했을 때 가장 임팩트가 큰 곳이 어딘지 아는 것이다. 가능하다면 데이터 사인티스트 친구에게 빠른 조사나 실험을 해서 어떤 기회의 “산”이 가장 높은지 알아봐 달라고 할 수 있다. 프로젝트의 범위에 따라 목표의 지표를 움직이기에 가장 적합한 방법으로 하나의 문제나 기회에 집중하는 것으로 결정할 수도 있고, 여러 개를 한 번에 해결하려 할 수도 있다.

하나의 문제나 기회에 집중하기로 했다면, 그 문제나 기회에 대한 또 하나의, 더 자세한 Toughtful Execution tree를 만드는 것이 좋다. 예를 들어, 한 팀이 Spotify 모바일 가입 경험을 최적화 하려고 할 때, 그들의 최초 목표는 가입에 성공하는 수를 늘리는 것 이었을 것이다. Funnel은 어느 프로덕트를 보아도 어느정도 비슷하다. 100%의 사람들이 funnel에 들어와서, 계속 남아있을 동기에 따라 다른 수가 다른 순서에서 이탈하게 될 것이다.

많은 앱들은 서비스를 사용하기 위해 계정을 만들어야 한다. 그리고 많은 회사가 이 경험을 최대한 부드럽게 만들어 서비스를 사용하기 위해 동기로 가득차지 않은 사람들까지도 “한 쪽 끝에 있는 문”을 통과시키기 위해 최적화에 힘을 쓴다. 우리 가입 팀이 데이터와 인사이트를 보기 시작했을 때, funnel에서 더 최적화할 수 있는 키 포인트를 발견할 수 있었다.

1. 몇몇 사람들은 Spotify 앱을 다운 받았지만, 가입 폼 화면까지 오지 않았다.
2. 몇몇 사람들은 가입 폼 화면으로 들어왔지만, 폼을 완성하지 않았다.
3. 몇몇 사람들은 가입 폼 화면으로 들어오고, 폼을 완성했지만 어떤 오류때문에 가입에 실패했다.

이 세 목표는 모두 그들의 목표하는 지표를 개선할 수 있었을 것이지만, 팀은 세 번째 기회를 먼저 집중하기로 했다. 세 번째 기회에 있는 사람들은 가입에 대한 동기를 분명히 보였지만 가입 하기에 실패했기 때문이다. 이제 팀은 또 다른 Toughtful Exeucution Tree를 만들었고, 이번엔 목표를 더 구체적으로 잡았다.

가입 화면의 데이터를 수집하고 경험에 대한 양적인 테스트를 수행해 가입 폼에 대한 가설을 세울 수 있는 더 구체적인 문제와 기회를 발견할 수 있었다.

From opportunities to multiple hypotheses and solutions

모든 문제와 기회는 여러 다른 결과에 도달할 수 있는 여러 다른 방식으로 설명될 수 있다. 이 때문에 우리가 가장 원하는 결과로 도달할 수 있는 방법이 무엇인지 확인할 수 있도록 각 기회마다 여러 가설을 세우는 것이 중요하다. 세워진 각 가설은 또 여러 솔루션을 가질 수 있으므로, 하나의 디자인 솔루션을 실행해 보는 것으로는 가설을 증명하거나 반박할 수 없다.

우리가 왜 어떤 플레이리스트가 각 사용자에게 추천 되었는지 더 잘 설명할 수 있는 기회를 탐색하고 있을 때, 우리는 여러 가설을 세웠고 그 중 일부가 아래 트리에 표현되어 있다. 또 트리는 하나의 가설이 여러 방법으로 디자인될 수 있다는 점도 보여준다. 그리고 각 방법은 서로 다른 방식으로 효과를 보였을 것이다.

From solutions to learnings

솔루션 디자인 단계에서, 테스트 할 MVP(Minimum Viable Product)로 스콥을 줄여나가기 전에 일단 과감하고 자유롭게 생각해야 한다. 점진적인 개선을 할 수 있는 단기적인 방식과 더 큰 변화가 필요한 장기적인 방향성 모두를 생각해야 한다. 위 예시들은 대체로 점진적인 개선이 들어있긴 하지만, Toughtful Execution은 이미 존재하는 것을 변화시키는 것 뿐만 아니라 완전히 새로운 것을 생각할 때도 잘 작동한다. 당신의 트리는 프로덕트의 가치를 제안하는 첫 단계에서는 좀 더 높은 곳에서 바라보고 있어야 하고, 기초를 정확하게 다진 다음엔 최적화가 나와야 한다. 프로덕트가 성숙하지 못한 상태라면, 지표의 임팩트를 측정하기 위해 더 큰 도약이 필요할 것이다.

당신이 솔루션을 디자인 했다면, 원하는 임팩트를 만들어 내는데 가장 효과적일 것이라고 생각되는 것을 테스트 할 차례다. 아이디어를 만족도와 실현 가능성으로 분석해보자. 예상되는 임팩트와 실행할 수 있는 속도도 염두에 두자. 가장 많은 것을 배울 수 있는 아이디어와 가장 만들기 쉬운 아이디어가 무엇인지 각각 평가해보자.

양적인 테스트는 A/B 테스트에 적합한 사항에 대한 많은 정보를 제공할 수 있다. 테스트를 해보고 실험을 하는 과정에서 또 다른 솔루션을 떠올리게 될 것이고 더 많이 배우면서 트리도 함께 업데이트 할 수 있을 것이다. 우리의 목표는 솔루션이 목표의 지표를 움직이는지를 확인해 가설을 증명하거나 반박하는 것이다. 목표하는 지표가 움직이지 않는 여러 솔루션을 실험했다면, 트리의 다른 가지로 옮겨갈 시간이 됐다는 의미이다. 반대로 MVP가 성공적인 결과를 내었다면, 솔루션을 더 반복 수정한다면 더 긍정적인 효과를 볼 수도 있을 것이니 다른 기회로 넘어가기 전에 반복 수정하는 것이 중요하다.

The power of Thoughtful Execution

우리가 팀에 우리의 프레임워크를 소개해줬을 때, 우리는 그들이 탐색하고 있는 가설의 질이 올라가고 비즈니스 지표가 긍정적인 트렌드를 그리는 것을 명확하게 확인할 수 있었다. Spotify의 문화는 자율성이 강조되기 때문에, Toughtful Execution을 공식적인 프로세스로 소개되는 것을 원하지 않았다. 우리는 팀에게 Toughtful Execution tree를 문서화 할 수 있는 한, 그들이 트리의 각 스텝을 어떤 도구를 사용해 수행할 지에 대한 자율성을 제공했다. 이 프레임워크는 팀이 작업을 구조화 하고 업무를 목표에 맞춰 조정하고, 팀 외부에 작업 중인 내용과 그 이유, 이후 어떤 영역에 초점을 맞출 지를 전달하는데 유용한 도구가 되어주었다.

Your turn

우리는 Toughtful Execution을 그로쓰 팀에서 5년 동안 사용 해오며 이 프레임워크를 외부에 알릴 때가 되었다고 생각했다. 그 과정에서 배운 팁들을 남겨둔다.

1. Don’t get paralyzed by not having enough data

달려 들 문제와 기회를 정의하는 데 최대한 많은 데이터와 인사이트를 동원해야 하는 것이 중요하긴 하지만, 일을 진행하기 전에 모든 것을 안다는 것은 비현실 적인 일이다. 여러 회사의 여러 팀은 데이터와 리서치에 다른 수준을 가지고 있으며, 충분한 인사이트를 가지지 못하는 상황은 일반적인 일이다. 빠른 인사이트를 얻을 수 있는 다른 방법을 생각해보라. 유사한 프로덕트를 벤치마크 해보거나, 당신의 프로덕트에 대한 전문가 평가를 수행해보라. 가능하다면 당신의 프로덕트에 대한 학습 실험을 수행해 추가적인 인사이트를 얻을 수도 있다. 기회를 발견하고 정의하는데 직감을 사용해도 괜찮다. 하지만 직감은 양심적으로 사용하고, 사용한 가정이 사실인지 확인하자. 중요한 것은 진행하는 것이며 Toughtful Execution tree는 배워가는 과정에서 계속해서 업데이트 할 수 있다.

2. Be mindful of which testing method to use

양적인 실험이 핵심 비즈니스 메트릭이 어떻게 영향을 받았는지 확실한 데이터를 제공하긴 하지만, 질적인 방식에서도 많은 것을 배울 수 있다. 과감한 아이디어를 정성적인 설정으로 테스트 해보는 것은 무언가를 만들기 위해 시간과 리소스를 투자하기 전 빠르고 저렴하게 테스트 해볼 수 있는 방식이다. 예를 들어, Spotify의 핵심 네비게이션을 리디자인 할 때, 우리는 card sorting 기법을 사용해 Spotify의 다른 콘텐츠 세트와 기능을 각 카드에 담아 기존 유저와 신규 유저에게 그룹핑 하고 구조화 하는 실험을 하였다. 이 리서치에는 하루만 소요되었고, 프로토타입을 만드는데 무언가를 투자하지도 않았지만 사람들이 우리의 프로덕트를 어떻게 멘탈 구조로 바라보고 있는지 알 수 있었다.

3. Holistic changes tend to move metrics

리텐션과 같은 큰 비즈니스 지표를 움직이는 것은 어려운 일이니 당신의 실험이 중립적인 결과를 보이더라도 실망하지 말라. 우리가 무료 티어 고객에게 제공 할 온보딩 기능을 탐색하고 있을 때, 프로덕트 교육의 한 부분이 질적인 실험에서는 긍정적인 결과를 보였지만 양적인 지표를 움직이지는 못한 경우를 종종 발견하였다. 하지만 우리가 한 번에 여러 변경한 실험을 진행했을 때는 리텐션이 상승하는 것을 확인할 수 있었다.

4. MVP only gets you basecamp

당신의 실험이 목표하는 지표를 긍정적인 방향으로 움직이는데 성공했다면, 이 실험을 확장하고 다음 기회로 넘어가고자 하는 생각이 들 것이다. MVP는 기회의 산에 있는 “베이스캠프”까지만 데려다 줄 뿐, 경험을 더 개선한다면 더 많은 임팩트를 가져갈 수 있을 것이다. MVP는 보통 경험을 위한 꼭 필요한 기능을 넣기 위해 프로덕트 만족도에 큰 임팩트를 줄 수 있는 만족도를 위한 요소가 제거된 경우가 많다. 따라서 MVP를 프로덕트 전반에서 높은 퀄리티를 낼 수 있도록 최적화 하는 과정이 중요하다.