UX 설계시 A/B 테스트의 중요성 (2)

지난 아티클에 이어 A/B 테스트 진행방법과 분석에 대해 알아보겠습니다.

지난 아티클

A/B 테스트를 어떻게 진행할까요?

어떤 디자인 버전이 더 나은지 결정하기 위해 두 가지 버전을 동시에 만듭니다. 그런 다음 버전 A는 대상 그룹의 절반에게 보여주고, 다른 버전은 나머지 대상 그룹에게 보여줍니다. 사용자가 원하는 동작을 유도하는 옵션이 테스트의 우승자이며 일반적으로 실행되는 디자인입니다.

예시를 통해 한 단계씩 A/B 테스트를 어떻게 진행하는지 배워봅시다.

1. 목표 설정 테스트를 실시하기 전에 왜 테스트를 진행하는지 알아야 합니다. 달성하고자 하는 목표를 설정하세요. 이렇게 하면 계속해서 사용하거나 테스트할 버전을 결정할 수 있습니다. 테스트 전에 가능한 한 많은 데이터를 수집하여 변경 사항을 양적으로 확인할 수 있도록 해야 합니다.

   예시:

• 뉴스레터 가입률 향상
• 더 많은 양식 응답 획득
• 더 많은 공유 획득

1. 무엇을 테스트할 것인지 결정 달성하고자 하는 목표를 고려하세요. 목표에 더 가까워지기 위해 디자인의 단일 측면을 변경할 수 있는지 고려하세요. "무엇을 A/B 테스트할까요?" 섹션으로 다시 스크롤하여 아이디어 목록을 확인하세요.

   예시:

• 블로그 게시물의 가운데로 뉴스레터 가입 상자 이동
• 양식의 질문 수 줄이기
• 소셜 미디어 공유 버튼 크기 키우기

1. 가설 설정 어떤 버전이 더 좋을 것으로 예상하는지 가정하세요. 이렇게 하면 테스트를 진행하는 이유를 확립하고 디자인을 비판적으로 고려할 수 있습니다. 달성하려는 결과를 방해하는 요소가 무엇일 수 있을까요? 가설을 한 문장으로 작성해보세요.

   예시:

• 블로그 게시물의 가운데로 뉴스레터 가입 상자 이동하면 뉴스레터 가입이 더 많이 발생할 것으로 예상합니다.
• 양식의 질문 수를 줄이면 완료된 양식 수가 증가할 것으로 예상합니다.
• 버튼 크기를 키우면 보다 접근하기 쉬우며 더 잘 보일 것이므로 공유가 증가할 것으로 예상합니다.

1. 테스트 진행 테스트할 디자인의 두 가지 버전을 만들어보세요: A와 B입니다. 이것은 거의 모든 미화의 프로토 타입이 될 수 있습니다. 그런 다음 통계적으로 유의미한 응답을 얻기 위해 샘플 대상자 크기를 결정하세요. 그런 다음 대상 그룹의 절반에게 버전 A를 무작위로 노출시키고, 다른 절반에게 버전 B를 노출시키세요.
2. 기다리세요 테스트가 제대로 작동하는지 모니터링하되 결과를 확인하지 마세요. 결과를 확인하기 전에 테스트가 완료될 때까지 기다려야 합니다. 결과를 조기에 확인하고 우승자를 가정하는 것은 유혹적일 수 있지만 시간을 기다려야 합니다.

 

테스트는 통계적으로 유의미하고 의미 있는 결과를 내기 위해 충분한 시간이 소요되어야 합니다. 데이터를 확인하기 전에 마지막 단계에서 결정한 최소 샘플 크기에 도달할 때까지 기다리세요. 의미 있는 결과를 얻기 위해서는 선택한 샘플 크기에 따라 48시간부터 최대 2개월까지 시간이 걸릴 수 있습니다.

1. 결과 분석 결과가 나오면 결과를 구현하여 명확한 우승자를 결정하세요.

   예시:

• 블로그 게시물의 가운데로 뉴스레터 가입 상자를 이동하면 가입률이 15% 증가합니다. 앞으로 모든 블로그 게시물의 가운데로 뉴스레터를 이동하겠습니다.
• 양식의 질문 수를 줄였지만 완료된 수는 2%만 증가했습니다. 데이터가 충분히 의미 있지 않았으므로 가설로 예상한 솔루션을 명확한 우승자로 결정할 수 없었습니다. 다른 변수로 테스트를 다시 진행할 것입니다.
• 소셜 미디어 공유 버튼 크기를 키웠더니 공유가 20% 증가했습니다. 큰 소셜 버튼을 전체 사이트에 구현하겠습니다.

 

A/B 테스트 결과를 분석하는 방법

테스트 결과를 분석할 때, 먼저 그것들이 통계적으로 유의한지 확인해야 합니다. 통계적 유의성은 테스트 결과가 샘플링 오차 때문이 아니라는 것을 확신하는 수준을 결정하는 임계값입니다. 이는 무작위 테스트에 따라 발생하는 불확실성을 고려합니다.

통계적 유의성을 판단하기 위해 각각의 변형별로 사용자 수와 전환 수에 의존할 것입니다. A/B 테스트에서 의미를 가정하기 전에 90% 이상의 통계적 유의성을 달성하는 것이 목표입니다.

테스트 결과가 통계적으로 유의한지 여부를 결정한 후에는 데이터를 어떻게 사용할지 결정할 수 있습니다. 아마도 버전 B가 더 좋은 성과를 냈으므로 그것을 실행할 수 있습니다. 원래의 디자인이 약간 더 나은 결과를 보여줬다면 다시 테스트해 볼 수 있습니다. 테스트가 통계적으로 유의미하지만 목표를 달성하지 못했다면 다른 테스트를 실시하기로 결정할 수 있습니다.

 

A/B 테스트의 가장 중요한 규칙은 추측하지 않는 것입니다. 테스트의 목적은 디자인 결정에 양적 데이터를 사용하는 것입니다. 테스트 결과를 기다리지 않거나 결과를 무시한다면 A/B 테스트는 시간, 에너지, 돈의 낭비입니다.

 

UX 디자인 직업에서 A/B 테스트를 얼마나 사용할지는 귀속된 곳에 따라 다를 것입니다. 일부 회사는 대부분의 시간을 A/B 테스트에 사용하고, 다른 회사는 주로 사용성 테스트에 의존할 수 있습니다. 그럼에도 불구하고, 이것은 UX 디자이너로서 가지고 있는 가장 유용한 기술 중 하나입니다.