목차
7. 사용성 테스트 UT(Usability Testing)
8. 콘텐츠 테스트
9. 맥락적 조사
10. A/B 테스트
11. 이해관계자 워크숍
12. 게릴라 리서치
사용성 테스트 준비 및 절차는 무엇이 있을까?
1. 테스트를 통해 확인하고 싶은 것 정하기
테스트는 분명한 목적이 있어야 한다. 그냥 전체적으로 파악하기 위해 사용성 테스트를 하는 것도 좋지만, 광범위한 관찰은 오히려 어떠한 인사이트도 얻지 못할 수도 있다. 이번 UT에서는 '고객이 장바구니에 물건을 담고 결제까지의 과정이 어떻게 되는지 본다.' 등 기능별로 구분하는 것이 좋다. -강남언니는 8개월간 총 40회 이상 했다!(WOW)
2. 테스터가 할 일 정하기
참가자가 사용성 테스트에서 해야 할 일을 미리 정한다. 할 일을 정할 때에는 참가자가 테스트 시간을 충분히 채울 수 있는 양으로 정하는 것이 좋고, 참가자가 상황에 이입해서 Task를 수행할 수 있도록 구체적인 상황이 제시된 시나리오 형태로 작성하는 것이 좋다.
3. 테스터 정하기
사용성 테스트를 통해 확인하고 싶은 것을 가장 잘 보여줄 수 있는 참가 대상을 정한다. 참가 대상을 정한 후에는 서비스 내부나 외부 구인 플랫폼 등을 통해 구인한다. 정해진 참가 대상에 따라 참가자를 구인하는 곳은 달라질 수 있다.
4. 테스트 환경 구성하기
사용성 테스트에 필요한 환경을 구성하는데 이때, 아래의 체크리스트를 확인하면서 구성하면 좋다.
□ 테스트 공간과 관찰 공간이 마련되어 있나요?
□ 테스트 공간에서 참가자가 조작하는 모습과 참가자-진행자의 대화가 관찰 공간에 중계되고 있나요?
□ 테스트 시 사용되는 테스트 기기가 카메라를 통해 정상적으로 녹화되고 있나요?
□ 오디오 음질이 대화를 들을 수 있을 정도로 양호한가요?
사용성 테스트를 하기 위해서 참가자와 관찰자는 완전히 분리되어야 한다.(물론 진행자는 함께 있어야 한다.)
사실 관찰자가 있다는 것을 아는 것 자체가 부담일 것이다. 그런데 만약 같은 공간에서 지켜보기까지 한다면, 사용자는 어떠한 요구를 충족시켜야 한다고 생각하고 평소의 패턴과 다르게 행동할 수도 있다.
사람
- 참가자: 사용성 테스트의 대상자로 준비된 Task를 가장 잘 수행할 수 있는 사람
- 진행자: 참가자를 만나서 사전에 준비된 Task를 참가자에게 제시하고, Task 과정을 지켜보며 질문하는 사람
- 관찰자: 사용성 테스트 과정을 보면서 참가자가 어떤 어려움을 겪는지, 우리의 제품이 참가자에게 어떻게 이해되는지 확인하는 사람
공간
- 테스트 공간: 참가자와 진행자가 함께 테스트를 진행할 공간
- 관찰 공간: 관찰자들이 테스트 공간에서 일어나는 일들을 관찰하는 공간
테스트 환경을 구성한 후에는 테스트할 내용이 테스트 기기에 모두 구현되어 있는지 확인해야 한다. 사용성 테스트는 보통 1시간 이내로 진행되는데, 테스트 당일에 테스트 내용이 제대로 구현되어 있지 않다면 테스트를 진행하지 못할 수 있기 때문이다.
시나리오를 통해 알고 싶은 내용이 보이지 않는다면 참가자에게 추가적으로 질문할 수 있다. 질문할 때에는 참가자가 질문의 의도를 파악하지 못하도록 중립적이고 객관적인 시각으로 질문해야 하며, 진행자의 선호도가 질문에 드러나지 않도록 유의해야 한다.
"이 버튼을 누르면 무엇을 할 수 있을 거라고 생각하세요?" (O)
"이전에 누른 버튼보다 방금 사용하신 이 버튼이 더 사용하기 편한 것 같지 않으세요?" (X)
테스트가 진행되면, 관찰자들은 관찰 공간에서 테스트 과정을 실시간으로 지켜봅니다. 관찰자들은 테스트 모습을 지켜보면서 각자 발견한 문제점을 메모한다.
6. 공유하고 개선하기
하나의 테스트가 끝나면 관찰자들은 각자 발견한 문제점을 서로 공유한다. 공유한 내용은 다음 제품 개선의 액션 아이템으로 활용할 수 있다. 이후, 서로 이야기 나눈 문제점을 참고하여 제품을 개선한다.
강남언니 팀은 고객이 의사를 통해 시술을 받은 후 강남언니에서 평가를 더 쉽게 작성할 수 있도록 개선했다. 이 과정에서 사용성 테스트를 통해 사용자가 불편해하던 지점을 빠르게 발견하고, 제품 개선 전에 수정할 수 있었다.
8. 콘텐츠 테스트
사용자가 콘텐츠를 어떻게 이해하고 반응하는지를 평가하는 방법이다. 콘텐츠가 사용자에게 공감을 얻는지 확인하는 데 중요하며 제품의 전반적인 톤, 즉 사용자가 브랜드에 대해 갖는 인상을 설정한다. 주로 텍스트나 시각 콘텐츠에만 국한된다. 이 부분에서 A/B 테스트와 차이가 있다.
콘텐츠 테스트를 수행할 수 있도록 지원을 해주는 플랫폼 중에는 스티비가 있다. 스티비는 뉴스레터 제작과 발송, 마케팅 성과를 높이는 이메일 뉴스레터로, CTA 버튼, 이미지, 프로모션 쿠폰 등 콘텐츠 테스트를 할 수 있으며, 지표를 통해 콘텐츠 구성이나 문구를 결정할 수 있다.
9. 맥락적 조사
맥락적 조사는 사용자가 실제 환경에서 작업을 수행하는 동안 관찰하고 인터뷰하는 방법이다. 사용자 인터뷰와 에스노그라피가 혼합된 것이라 볼 수 있는데, 사용 맥락에 대한 정보를 얻기 위해 반구조적 인터뷰 방식을 포함하고 참가자들이 자신의 환경 속에서 작업하는 동안 관찰되고 질문 받는다. 사용자가 익숙하지 않은 환경에서 인터뷰할 경우 결과가 왜곡될 수 있다는 점을 유의해야 한다.
그 예시로는 의료기기 사용적합성평가가 있다. 실제 의료기기를 사용하는 의사, 간호사, 방사선사와 같은 의료진 또는 환자 등 의료기기의 사용자가 직접 평가에 참여해 기기를 다뤄보고 평가한다. 직접 사용해보며 발생할 수 있는 안전성에 관한 잠재적인 요인을 찾아내고 미연에 방지할 수 있다.
이와 유사한 개념이 인간공학(Human Factors of Ergonomics) HCI이다. 인간의 신체적 인지적 특성을 고려하여 물체, 시스템, 환경의 디자인을 과학적인 방법으로 기존보다 사용하기 편하게 만드는 응용학문이다.
10. A/B 테스트
A/B 테스트는 두 가지 이상 버전의 제품이나 기능을 사용자에게 제공해 더 나은 결과를 도출하는 방법이다. 일반적으로 광고, 문자, 웹 페이지의 구성요소, 모바일 앱 등 다양한 곳에서 사용할 수 있으며, 그로스해킹, 퍼포먼스 마케팅, 디지털 마케팅 분야에서 효과 측정을 위해 많이 사용된다.
A/B 테스트가 필요한 시기
1) 성과가 최적 수준에 도달하지 못하는 경우
CTA 버튼, 마케팅 캠페인 등이 목표한 성과에 도달하지 못하는 경우, AB Test를 활용하여 문제를 발견할 수 있다. 사용자의 무의식에서 비롯되는 행동들을 유도해야 하는 경우 특히 효과를 볼 수 있다.
2) 새로운 것을 시작할 때 어떤 접근 방식이 효과적인지 판단해야 하는 경우
새로운 시도를 할 때의 리스크를 최소화해야 하는 경우, AB Test로 두 가지 다른 방법의 성과를 대조하여 더 나은 의사결정을 내릴 수 있다.
A/B 테스트 진행 순서
1. 리서치
기존 서비스의 현황을 조사하고, 이탈률이 높은 지점, 문제점을 먼저 찾아야 한다.
2. 가설 설정
조사한 내용을 바탕으로 가설을 설정하고 테스트를 진행한다. 목표치로 설정할 KPI를 특정하고, 해당 KPI를 증가시켜 전환율 상승을 이루기 위한 가설을 설정한다.
3. A/B 버전 생성
설정한 가설을 바탕으로 A(기존 대조군)과 B(가설 반영한 실험군) 버전을 생성한다.
4. 테스트 진행
생성한 A,B 버전을 바탕으로 테스트를 진행한다.
1) A,B 버전은 동일한 기간 동안 동시에 진행
2) 테스트 기간 동안, 설정한 가설 외 다른 요소의 변경은 최대한 자제
3) 충분한 크기의 데이터가 확보되어야 함.
5. 결과 분석 및 의사결정
테스트 결과를 바탕으로 가설을 검증하고 어떤 버전을 도입할지 결정한다.
B 버전이 더 좋은 결과가 나왔다면 설정한 가설이 유효한 거에요. B 버전을 도입하고, 더 좋은 성과가 나온 이유를 분석한다.
A 버전이 더 좋은 결과가 나왔다면, 설정한 가설이 유효하지 않은 것이다. A 버전을 유지하고, 테스트를 통해 얻은 인사이트를 정리하고 새로운 테스트를 계획해 볼 수 있다.
가장 유명한 예시는 오바마의 웹사이트이다. A/B 테스팅 플랫폼 옵티마이즐리(Optimizely)의 최고 최적화 책임자이자 오바마 사이트의 웹 개발 이사였었던 카일 러쉬는 오바마 웹사이트에서 500건의 A/B 테스트를 통해 기부 전환율을 49% 올렸고 이메일 수집률을 161%나 증가시켰다. 그러나 과연 1%, 2%의 클릭률 차이도 유의미할까? 에 대해서는 생각해봐야 한다. A/B 테스트가 단순 인기투표로 전락하명 안 된다. 서비스의 지속가능성을 위해 지표를 활용하고 자원을 들여 개선해야 한다.
UX writing도 microcopy A/B 테스트이다.
UX Writing은 기능을 광고하기 위한 것이 아니다. 광고의 목적은 짧은 순간에 사용자에게 강렬한 인상을 남겨주는 것이라면 UX Writing은 사용자가 기능을 잘 사용할 수 있도록 도움을 주는 것이다. 그래서 UX Writing은 광고와는 다른 관점에서 접근해야 한다. 과장 없이 솔직하게, 모든 사람이 쉽게 이해할 수 있어야 한다.
11. 이해관계자 워크숍
주요 이해관계자들과 함께 문제를 분석하고 해결책을 도출하는 협업 워크숍이다. 이때 이해관계자란 조직이나 회사에서 프로젝트를 완성하는 데 핵심 역할을 하는 사람이나 진행하고 있는 유저리서치 분야에서 전문성과 지식을 보유하고 있는 사람들인데 이를 이해관계자를 참여시켜서 이루어지는 조사이다.
이해관계자 워크숍은 '고객'에게 초점이 있지 않고, 회사 내의 직원들에게 사용자의 문제를 공감하도록 돕는 것에 의의가 있다.
오늘의 집의 '최고의 의사결정을 만드는 3가지 원칙' 중 첫번째가 바로, 이해관계자 참여를 전제로 리서치하기이다.
저희는 이해관계자도 모르는 리서치나, 충분히 공감을 얻지 못한 리서치는 하지 않아요. 이해관계자들이 리서치의 필요성을 공감하고 리서치에 빠져들 수 있도록 하는 것도 리서치팀의 중요한 역할이죠.
평소에 캐주얼한 1:1 미팅을 통해 이해관계자 요구를 수집하며, UT나 리서치가 진행될 때 참관하는 것은 물론, 디브리프와 액션 아이템 도출까지 이해관계자와 긴밀하게 함께 하고 있어요. 리서치를 통해 얻은 인사이트가 단순히 ‘유익했다’ 수준에 그치지 않고 이해관계자들이 진심으로 고객에게 공감하고 스스로 해결책을 찾아 나설 수 있도록 돕고 있습니다.
출처: 오늘의집 채용스토리
12. 게릴라 리서치
마지막으로 게릴라 리서치는 짧은 시간 안에 저렴하게 사용자 피드백을 받는 방법으로, 주로 공공 장소에서 진행된다. 리서치의 대상이 되는 사람들이 갈 만한 장소로 가서 허락을 구해 인터뷰를 하거나, 테스트를 진행하는 것이다. 주로 프로덕트 초기에 가설을 세우고, 방향성을 잡을 때 많이 사용하는 방법이다. 어떻게 보면 상당히 즉흥적이지만 그만큼 간편하고 융통성이 있고 비용도 적게 든다. 단, 표본의 신뢰도가 낮을 수 있으며 운이 안 좋다면 시간을 들이더라도 인터뷰이를 구하지 못할 수도 있다.
이렇게 총 12가지의 유저 리서치 방법론을 아주 짧게 들여다 보았다. 이외에도 VOC 수집 및 분석 등 고객 문제 발견을 위한 여러가지 방법이 있다. 제품의 중심은 언제나 '고객'이라는 것을 잊지 않고, 여러시도를 하다보면 어느샌가 고객과 점점 가까워질 그날이 오지 않을까 생각한다.