🔗 이 글은 B2B 디자이너들의 모임 Medium에도 게재되었습니다

B2B 디자이너들의 모임 첫 ‘멤버들에게 질문’ 세션으로 A/B 테스팅 솔루션을 제공 중인 스타트업 ‘Hackle’의 프로덕트 디자이너 Alley님과 함께합니다.

핵클(Hackle.io)이 어떤 서비스인지 궁금하시다면? >>

🙋🏻‍♀️ 안녕하세요! 간단히 자기소개 부탁드립니다

Alley: 안녕하세요. 저는 현재 Hackle A/B Test에서 Product Designer로 근무하고 있는 Alley 입니다. 핵클에 입사한지 1년 차이며, 이전에 커머스 계열에서 근무한 경력이 있습니다.

다양한 디자이너, 개발자분들과 교류하는 것을 좋아해서 사이드 동아리도 자주 참여하는데 가장 대표적으로는 ‘디프만’이라는 동아리에서 ‘가슴속 3천원’이란 서비스를 제작한 경험이 있습니다. B2B 디자이너 단톡에서도 다양한 교류를 나누고 싶어서 첫 질문 세션에 참여하게 되었습니다!

Alley: 핵클은 현재 A/B 테스트 플랫폼을 주력으로 제공하고 있습니다. 저희 핵클은 다양한 고객분들이 안정적이고, 빠르게 데이터 기반의 성장을 할 수 있도록 돕는 것을 목표로 서비스를 확장해나가고 있습니다. 핵클의 A/B 테스트 플랫폼은 웹 대시보드 형태로 제공되어 사용자들이 쉽게 접근해 사용할 수 있습니다.

사용자들은

1. 테스트 프로젝트를 생성하고,
2. 각기 다른 시안이나 기능을 제공할 그룹을 설정하고,
3. 테스트를 통해 확인하려는 데이터를 설정한 후 (예: 구매 전환율, 평균 구매 금액 등)
4. 전체 트래픽 중 어느 정도를 테스트 그룹에 할당할지를 결정하여 A/B 테스트를 만들 수 있습니다.

테스트를 진행하고자 하는 서비스에 연동해둔 SDK가 자동으로 진입한 사용자들을 판별해 테스트 그룹에 배정하고, 각 테스트 그룹에서 제공할 시안이나 기능을 자동으로 노출합니다. 이후 사용자의 행동 데이터를 수집해 설정한 목표 데이터로 계산합니다. 해당 데이터는 매시간 업데이트되어 테스트의 진행 현황을 빠르게 확인하실 수 있습니다.

사용자들은 자신이 운영하는 서비스에 중요한 이벤트나 지표를 확인하거나, 테스트 과정에서 영향을 받을 수 있는 데이터를 모두 확인하여, 각 테스트 그룹이 결과 지표에 미치는 영향력을 확인할 수 있습니다.

예를 들어 커머스 서비스를 운영하는 경우 구매 전환율, 평균 구매 금액, 평균 구매 횟수와 같은 데이터들이 실험 결과에 따라 긍정적인 신호를 보일 것으로 가설을 세울 수 있습니다. 테스트의 목표를 이러한 데이터로 설정하고, 해당 목표를 달성하는데 더 유효한 그룹이 어떤 것인지 판별해낼 수 있습니다.

핵클은 사용자들에게 ‘검증 프로세스’의 필요성을 직접 확인시켜주는 역할을 해요. 대부분의 고객은 신규 기능이 더 좋은 결과를 가져올 것이라고 예상하지만, 사실 A/B 테스트는 사용자가 수립한 가설이 예상과 다름을 알려줍니다. 예를 들어, ‘신규 기능 A를 제공하면 기존 사용자의 Retention 수치가 올라갈 것이다’라는 가설을 세웠지만, 신규 기능을 출시한 후에도 기존 사용자의 Retention 수치가 유의미하게 증가하지 않는 것이죠. 이러한 과정을 통해 아무리 작은 제품 개선이라도 데이터를 바탕으로 의사결정 하는 과정이 꼭 필요하다는 것을 느끼고, 데이터 검증 과정을 업무 프로세스에 지속적으로 적용해야 합니다.

핵클에서는 실제로 프로덕트 개선에 관한 결정을 위해 테스트를 수행하고, 결과 데이터를 바탕으로 의사결정 하는 문화를 가지고 있어요.

🧙🏻‍♀️ 핵클을 개선하기 위해 핵클을 사용한 경험에 대해서 알려주세요!

Alley: 핵클에서는 서비스 홈페이지, 테스트 대시보드 개선 작업에서 모두 핵클 A/B 테스트를 활용합니다. 신규 기능 출시, 불편 사항 개선과 같이 사용자에게 영향을 줄 수 있는 기능에 대해 테스트를 진행하고 그 결과 데이터를 바탕으로 의사결정을 하고 있어요. 그리고 테스트의 내용에 따라 알맞은 가설을 매번 설정하고, 봐야 할 핵심 지표도 테스트에 맞게 지정합니다.

👸🏻 핵클을 사용한 실제 고객사 사례를 소개해주실 수 있나요?

Alley: 핵클의 고객사 중 ‘스파르타 코딩클럽’에서 진행한 A/B 테스트 케이스를 소개해드릴 수 있을 것 같아요. 서비스 홈페이지에서 사용자 리뷰 영역 디자인을 변경하는 A/B 테스트를 진행하였어요. 그룹 A는 기존 디자인을 그대로 제공하는 대조군으로, 그룹 B는 가독성을 높인 개선된 디자인을 제공하는 실험군으로 설정하고, 목표 데이터는 구매 이벤트로 설정하였습니다. 테스트를 설계하신 분은 가독성이 더 높은 리뷰 디자인이 구매에 긍정적인 영향을 줄 것으로 가설을 세우고 기대를 한 것이죠.

하지만 설계자의 예상과 달리, 기존 시안이 제공된 그룹 A에 노출된 사용자보다, 새로운 시안이 제공된 그룹 B 사용자의 구매 전환율이 47%가 더 낮았습니다. 이처럼 개선했다고 생각한 디자인이 항상 예상대로 긍정적인 결과로 이어지지는 않는다는 사례가 될 수 있겠습니다.

📚 유저가 A/B 테스팅 전 설계나, 테스팅 후 분석하려면 사전지식이 필요할 것 같은데요, 유저에게 이런 정보들을 어떻게 전달하나요?

Alley: 프로덕트 디자이너 입장에서 좋은 프로덕트란 학습하지 않고도 사용하기 편한 프로덕트라고 생각해요. 이용 가이드나 블로그에서 전달되는 정보는 더 심화된 사용을 원하는 사용자나 학습 의지가 충만한 사용자에게는 좋은 매개체가 될 수 있지만, 일반적인 대다수 사용자에게는 프로덕트를 사용하는데 학습이 필요하다는 것은 큰 허들이 된다고 생각해요. 그래서 사용자에게 필수적인 정보들은 프로덕트를 사용하기 쉽게 만들거나, 정보를 충분히 전달해야 사용자들이 Churn 하지 않고 계속 사용할 수 있다고 생각합니다. 꼭 필요한 경우에만 이용 가이드를 연결해 불편사항을 해결하고 있습니다.

🐣 A/B 테스트를 진행할 때 어떤 점을 유의해야 하나요?

Alley: 일반적으로 통계적으로 유의미한 실험 결과를 위해서는 충분한 숫자가 뒷받침되어야 객관성을 확보하고 편향적이지 않은 데이터를 얻을 수 있다고 알고 있는 경우가 많아요. 하지만 A/B 테스팅에서는 사용자의 숫자는 그렇게 중요하지 않습니다. 충분한 사용자 수가 확보되어야 한다는 전제가 있는 경우, 사용자가 많지 않은 서비스의 경우 그 숫자를 채우기 위해 아주 긴 시간 동안 테스트를 할 수밖에 없는 경우가 생기기 때문입니다. 오히려 가장 중요한 것은 ‘테스트 기간’이라고 할 수 있습니다. 핵클이 권장하는 최소 테스트 기간은 7일입니다. 각 요일별로 사용자 행동 추이가 달라질 수 있기 때문에 요일이라는 변수를 모두 반영할 수 있는 테스트 결과를 받아보기 위함입니다.

테스트 결과를 해석할 때는 목표로 설정한 핵심 이벤트 지표를 종합적으로 고려해야 올바른 결정을 내릴 수 있습니다.

예를 들어 A안은 ‘배송비를 기존 금액으로 안내’, B안은 ‘배송비를 2천원 더 올린 금액으로 안내’로 나누어 테스트하여, 구매 전환율, 평균 구매금액, 구매 횟수 등 데이터를 비교하는 시나리오를 생각해보겠습니다. 만약 B안의 결과가 A안 대비 구매 전환율 -3%, 평균 구매 금액 +5,000원, 구매 횟수 -0.3%이라고 했을 때 어떤 결정을 해야 할까요?

평균 구매 금액이 증가했음에도 불구하고, 구매 전환율과 구매 횟수가 감소한 것이 최종 매출에 영향력이 더 큰 경우 A안을 최종 선택하겠죠. 반대로 구매 전환율과 구매 횟수가 감소했음에도 평균 구매 금액이 증가한 것이 최종 매출에 영향력이 더 큰 경우 B안을 최종 선택할 것입니다.

A/B 테스트는 서비스의 특성이나 비즈니스 방향성, 현재 사용자의 행태 등 다양한 요소에 의해 결과 데이터의 통계적 차이가 유의미하다고 볼지 달라질 수 있습니다. A/B 테스트를 통해 얻어야 하는 가장 중요한 인사이트는 신규 사항을 출시하기 전 실제 사용자를 대상으로 테스트하여 얻은 데이터를 바탕으로 해당 기능의 영향력에 대해 이해한 뒤 의사결정하는 것입니다. 모든 신규 기능 및 개선 사항이 긍정적인 결과만 가져오는 것이 아니며, 부정적인 결과도 해당 기능으로 인한 영향력인지를 파악하지 못한다면 장기적인 서비스 성장에 큰 걸림돌이 될 수 있기 때문입니다.

🏃🏻‍♀️ 앞으로 더 성장할 핵클

💎 핵클 프로덕트는 어떤 문제를 해결하고자 하고, 어떤 지향점을 가지고 있나요?

Alley: 핵클의 궁극적인 목표는 고객분들이 성장하는데 필요한 모든 서비스를 제공하여, 개발 리소스를 줄이고 데이터 기반의 의사결정이 가능한 환경을 제공하는 서비스가 되어 고객과 함께 성장하는 기업이 되는 것이 목표입니다. 현재는 A/B 테스트 툴에 주력하고 있으나 다양한 고객분들의 사용 방향을 지속적으로 관찰하면서 필요로 하는 여러 기능들을 추가로 제공하고자 노력하고 있습니다.

프로덕트 사용과 수익화 단계를 AARRR 프레임워크로 보았을 때, 프로덕트 디자이너 입장에서 가장 어려운 부분은 역시 Activation과 Retention 단계에요. 사용자 모객 단계의 경우 세일즈의 영향을 많이 받는 단계이지만, Activation과 Retention 단계는 실제적인 제품 만족도가 큰 영향을 끼친다고 생각해요.

특히 B2B SaaS 툴은 사용하는 고객에 따라 사용 방법이 조금씩은 상이할 수 있는데, 자유도를 높이면 높일수록 사용성이 떨어지게 되는 딜레마가 저의 오랜 숙제에요. 이를 위해 지속적인 사용자 인터뷰 및 실제 고객의 사용 방식을 확인할 수 있는 다양한 데이터를 확인하고, 새로운 기능을 출시하기 위해 노력하고 있습니다.

그중 프로덕트 디자이너 입장에서는 A/B 테스트에 대한 경험이 없거나 필요성을 인지하지 못한 예비 고객들에게 어떻게 다가가고 이해시킬 것인가를 가장 중요한 문제로 보고 있습니다. 이 문제를 해결하기 위해 디자인 작업 전반에서 각 기능이나 단어들을 고객들이 이해가 쉬운 내용으로 구성하고, 핵클 A/B 테스트를 사용했을 때 얻을 수 있는 장점을 더 많이, 그리고 쉽게 느낄 수 있도록 노력하고 있습니다.

👇 AARRR 프레임워크란?

• Acquisition : 사용자 모객 단계
• Activation : SDK 설치, 최초 아하 모먼트 경험, 사용자 교육 및 온보딩 단계
• Retention : 서비스의 반복 사용, 능숙한 사용 단계
• Referral : 만족 & 추천 단계
• Revenue : 고객 수익화 단계

🚴🏻 핵클은 어떻게 일하고 있나요? 조직 구조와 문화를 알려주세요

Alley: 저희 핵클은 A/B 테스트 플랫폼을 제공하는 기업인 만큼 데이터 기반의 의사결정을 중요시 여기는 조직이에요. 누구나 적극적으로 의견을 제시하고, 데이터 기반으로 검증해 의사결정 하며, 이 과정에서 입사 시기나 연차는 전혀! 중요하지 않습니다. 누구나 의견을 내고 데이터를 통해 검증하는 열려있고 데이터 친화적인 문화를 가지고 있습니다.

또 빠른 성장이 중요한 스타트업인 만큼 한정적인 업무 리소스를 효율적으로 사용하기 위해 비즈니스 우선순위가 높고, 고객에게 더 많은 임팩트를 제공할 수 있는 업무를 우선하여 진행하고 있습니다. 뛰어난 실력을 갖춘 인재도 좋지만, 성장 가능성이 큰 인재를 선호하며 함께 성장할 인재를 찾고 있습니다!

🙋🏻‍♀️ 핵클에서 함께 일할 동료를 찾습니다! »

B2B 디자이너들의 모임 소개

B2B 프로덕트를 만들고있는 B2B 디자이너들은 B2C 디자이너보다 더 어려운 문제를 풀고 있는 경우가 많은데 비해 자료, 지식, 피드백을 찾는데도 어려움을 겪고 있습니다.

더 많은 B2B 프로덕트 디자이너들이 한 자리에서 어려운 점, 배운 점을 공유하고 서로 도움이 되기 위해 커뮤니티를 운영중입니다.

🔗 B2B 디자이너들의 모임 노션 바로가기