- 700+ obserwacji
- ~50 wdrożonych zmian
- 9 agentów w badaniu
- 4 tyg. cały projekt
- Rola
- Projektowanie badania, moderacja, analiza
- Zespół
- Research team (2), Mobee Dick
700 obserwacji, które przebudowały portal dla agentów ubezpieczeniowych UNIQA
Testy użyteczności nowego portalu dla agentów ubezpieczeniowych UNIQA, prowadzone w modelu RITE – z debriefingami po każdej serii sesji i poprawkami wrzucanymi do prototypu jeszcze przed kolejnym uczestnikiem.
Kick-off projektu
Początek 2022. Zespół UNIQA szykował się do wdrożenia nowej wersji portalu dla agentów ubezpieczeniowych i – zanim puścił go na produkcję – chciał sprawdzić, czy faktycznie sprawdzi się w codziennej pracy.
Od ogółu do szczegółu
Na początku projektu rozbiliśmy ogólny cel badania – weryfikację użyteczności prototypu – na bardziej szczegółowe obszary:
- G01
Sprawdzenie, jak użytkownicy rozumieją treści, komunikaty i nazewnictwo na poszczególnych ekranach.
- G02
Zrozumienie, w jaki sposób użytkownicy postrzegają kategoryzację produktów ubezpieczeniowych.
- G03
Analiza tego, jak użytkownicy wyszukują konkretne produkty, polisy i oferty.
- G04
Przetestowanie użyteczności skrótów do kalkulatorów oraz funkcji szybkich akcji.
- G05
Ocena alternatywnych wersji strony głównej.
Metodologia badania
Prototyp, wdrożenie odłożone w czasie, zespół klienta, który chciał być częścią procesu – te warunki w zasadzie same podpowiedziały wybór RITE (Rapid Iterative Testing and Evaluation).
RITE skraca drogę od obserwacji do poprawki, ale ma pułapkę: zmiany wprowadzane w trakcie badania utrudniają porównywanie doświadczeń kolejnych uczestników. Żeby decyzje o zmianach były świadome, a nie odruchowe, porządkowaliśmy obserwacje w kategoriach – co rozwiązujemy od razu, co trafia do kolejki poza harmonogramem badania, co dalej obserwujemy, a co wynika z kontekstu zewnętrznego i niekoniecznie wymaga zmian w prototypie. Każdą zmianę dokumentowaliśmy i przypisywaliśmy do sesji, od której wchodziła w życie. Decyzje zapadały zespołowo, na debriefach.
Formuła badawcza RITE
Próba
9 agentów ubezpieczeniowych. Za mało na statystykę, za dużo na czystą eksplorację – ale akurat tyle, ile potrzeba w RITE. Tracimy na liczebności, zyskujemy gęstość obserwacji z jednego uczestnika i możliwość sprawdzenia, czy wprowadzone poprawki faktycznie działają. Kryteria rekrutacji ustaliliśmy razem z klientem.
Sesja pilotażowa
Zanim zaprosiliśmy pierwszego uczestnika, przeszliśmy cały scenariusz na próbę. Dzięki temu poprawiliśmy kolejność zadań, przeformułowaliśmy kilka pytań pogłębiających i ograliśmy logistykę spotkania online – udostępnianie ekranu, podział ról między moderatora i obserwatora.
Zadania szyte na miarę agentów
Mając jasno określone cele badawcze oraz dostęp do działającego prototypu, przygotowałem scenariusz testów użyteczności, który ujednolicił przebieg spotkań z uczestnikami.
Przykładowe zadania i pytania pogłębiające
Zadanie 1
„Do Twojego biura przychodzi klient, który chce kupić ubezpieczenie na życie dla siebie i swojej rodziny. Korzystając z portalu, zaprezentuj ofertę dopasowaną do jego potrzeb.”
Pytania dodatkowe
- Co to za strona?
- Co możesz tutaj zrobić?
- Czy jest coś, czego się tu spodziewałeś, a nie widzisz?
- Jak opisałbyś ten produkt?
- Zanim klikniesz – czego spodziewasz się dalej?
Zadanie 2
„Otrzymujesz telefon od swojego menedżera regionalnego z informacją, że część klientów zalega z opłatami za polisy. Spróbuj rozwiązać ten problem.”
Pytania dodatkowe
- Co to za strona?
- Co możesz tutaj zrobić?
- Czy jest coś, czego się tu spodziewałeś, a nie widzisz?
- Jak według Ciebie różnią się [XYZ] i [XYZ]?
- Własnymi słowami – co oznacza tutaj [XYZ]?
Moderator i obserwator
W trakcie projektu pełniłem rolę moderatora i obserwatora sesji badawczych. Obserwacje dokumentowaliśmy na interaktywnej tablicy FigJam, a spotkania z uczestnikami prowadziliśmy zdalnie, wykorzystując MS Teams.
Jedna z sesji badawczych moderowanych przez autora
Przestrzeń obserwacji na interaktywnej tablicy FigJam
Debriefy jako sport zespołowy
Debrief był sercem tego procesu. Spotykaliśmy się co 2–4 sesje, a jeśli coś wymagało szybkiej decyzji – nawet po jednej. Przechodziliśmy wspólnie przez scenariusz: co kto zauważył, co z tego wynika, co z tym zrobić.
Obserwacje zbieraliśmy na FigJamie – jedna karteczka to jedna uwaga, którą ktoś z zespołu wyłapał w trakcie sesji albo przy późniejszym odsłuchu. Pod koniec badania było ich około 700. Na debriefach najpierw grupowaliśmy je oddolnie, szukając powtórzeń, a potem dopasowywaliśmy do celów badawczych G01–G05. Obserwacje, które wracały w kilku kategoriach naraz, były dla nas najmocniejszym sygnałem.
Po każdym debriefie spisywaliśmy decyzje – również te dotyczące mniejszych zmian wprowadzanych między sesjami. Dzięki temu w każdej chwili mieliśmy dostęp do historii prototypu i wiedzieliśmy, skąd wzięło się konkretne rozwiązanie.
Kategoryzacja obserwacji obejmująca tematy główne i poboczne
Przykładowe podsumowanie sesji debriefingowej
50 zmian, jedna strona główna
Do produktu trafiło blisko 50 zmian – od poprawek w nazewnictwie i mikrocopy, przez rekonfigurację elementów na ekranach, po wybór jednej z testowanych wersji strony głównej. Po każdej serii sesji prototyp wchodził na spotkanie z klientem nie jako lista problemów, ale jako lista decyzji do podjęcia.
Z pięciu pierwotnych celów badawczych odpowiedzieliśmy na cztery. Piąty – architektura kategorii produktów – okazał się głębszy, niż zakładaliśmy. Zamiast wyciągać pochopne wnioski, zrobiliśmy z niego punkt wyjścia do osobnej rekomendacji.
Spojrzenie wstecz
Czego się nauczyłem
RITE to zupełnie inny rytm pracy niż klasyczne dwie rundy testów. Po sesjach badawczych niemal od razu spotykaliśmy się z klientem, omawialiśmy obserwacje i planowaliśmy iteracje – poprawki trafiały do prototypu jeszcze przed kolejnym testem. Ta intensywność wymagała szybkiego podejmowania decyzji, ale dawała coś, czego nie daje tradycyjny model: możliwość weryfikacji poprawki już z następnym uczestnikiem.
Równie ważną lekcją było zarządzanie relacją z klientem. Angażowanie zespołu UNIQA w proces – zapraszanie na sesje, wspólne debriefingi, materiały o dobrych praktykach obserwacji – budowało zaufanie i współodpowiedzialność za wyniki. Jednocześnie nauczyłem się, że dbanie o klienta to nie tylko informowanie go o postępach, ale też stawianie jasnych granic: na przykład kiedy zmiana w prototypie jest gotowa do testowania, a kiedy potrzebuje więcej pracy.
Co zrobiłbym inaczej
Zaproponowałbym przeprowadzenie card sortingu przed testami użyteczności. Jednym z głównych wniosków z badań było to, że agenci nie zgadzali się co do kategoryzacji produktów ubezpieczeniowych – problem, który testy użyteczności potrafią ujawnić, ale nie rozwiązać. Gdybyśmy zbadali architekturę informacji wcześniej, sesje z uczestnikami moglibyśmy poświęcić na testowanie interakcji zamiast odkrywania, że sama struktura treści wymaga przebudowy.