capa portfolio.001.jpeg

UX Research aliada à Data Science apoiando estratégias de produto

Janeiro, 2018

Participação Conjunta: Planejamento dos métodos e amostra; Moderação e Tabulação das sessões de entrevistas e teste; Análise da pesquisa; Apresentação de resultados para stakeholders

RESUMO

Um estudo de segmentação de usuários por comportamento de jogo realizado no final da temporada de 2017, que definiu quatro clusters de usuários, permitiu a descoberta de dois problemas: um desses clusters apresentava um rápido abandono do jogo, enquanto um outro cluster mostrava uma queda na frequência de jogo ao longo da temporada.

Nossa pesquisa teve como objetivo descobrir quem eram os cartoleiros de cada um desses clusters, quais eram as suas motivações para jogar Cartola, como o Cartola estava inserido em suas vidas e porque alguns deles abandonavam ou jogavam com menos frequência. Por fim, também precisávamos validar uma feature nova para o jogo que impactaria todos os jogadores.

Através da pesquisa, conseguimos descobrir quatro pilares de experiência relacionados ao jogo: fator social; performance; curva de aprendizado; dedicação. Esses quatro pilares foram a base para entender o porquê da queda na frequência de acesso e abandono do jogo relacionados aos dois clusters que apresentavam esses comportamentos, assim como as motivações de jogo de cada um dos quatro clusters. Após essa descoberta, o time desenvolveu diversas soluções centradas em cada um dos pilares para atacar os problemas.

O projeto também marcou o início desta abordagem de entendimento dos usuários através de segmentação de Data Science aliada a UX Research, que continua sendo construída ao longo do tempo com novas pesquisas e que mais do que nunca apoia as decisões estratégicas do produto. 

Como resultado do conjunto de iniciativas realizadas com base nesses aprendizados, conseguimos ver em dois anos uma mudança na proporção de usuários dentro de cada cluster, com uma diminuição do cluster de usuários que abandonam o jogo e um aumento nos outros clusters mais engajados.

Métodos Utilizados:

​​

  • Entrevista em Profundidade

  • Teste de Conceito

  • Teste de Usabilidade

A IDENTIFICAÇÃO DO PROBLEMA

Através de um estudo de segmentação feito no final da temporada de 2017 pelo cientista de dados do Cartola, conseguimos formar clusters pelos padrões no comportamento de jogo dos cartoleiros, e assim ter um entendimento geral sobre o consumo de cada jogador.

Os parâmetros utilizados para realizar a segmentação foram:

A segmentação deu origem a quatro clusters de cartoleiros:

1. Campeões

Escalam o time praticamente sempre. Pontuam 'fora da curva'. Não há abandono do jogo.

2. Competidores

Escalam o time com muita frequência e pontuam muito bem. Praticamente não há abandono.

3. Casuais

Escalam o time com alguma frequência no início da temporada e pontuam bem. Depois da metade do campeonato a frequência de escalações diminui. O abandono começa no final do campeonato.

4. Degustadores

Escalam o time esporadicamente, pontuam mal e começam a abandonar o jogo pouco antes da metade do campeonato.

Através do entendimento do comportamento de jogo dos cartoleiros com base nesta análise, conseguimos identificar dois problemas:

1. Cartoleiros degustadores engajam pouco no jogo e abandonam rápido.

 

2. Cartoleiros casuais diminuem seu engajamento no jogo ao longo da temporada.

Entendemos esses comportamentos como um problema porque é:

Ruim para o cartoleiro que abandona o jogo

 

Fica desmotivado e deixa de fazer parte da brincadeira com os amigos.

Ruim para o cartoleiro que continua no jogo

 

Disputa com menos amigos, o que diminui a competitividade e a diversão do jogo.

Ruim para o negócio

 

Menos usuários ativos, o que reflete em receita de publicidade, assinaturas PRO e a própria relevância do jogo.

Como estamos falando de um jogo, ao mesmo tempo em que precisávamos atacar esse problema, deveríamos garantir mais competitividade e diversão para todos os clusters.

CENÁRIO DA PESQUISA

Para atingir os objetivos definidos, o time do Cartola aproveitou um grande volume de pedidos da comunidade do jogo e criou uma nova funcionalidade chamada de 'capitão'.

O capitão faria parte do jogo para todos os cartoleiros e seria necessário no processo de escalação que ocorre em todas as rodadas, sendo então o centro da experiência do jogo.

Embora tivesse sido uma das funcionalidades mais requisitadas pelos cartoleiros (o que significava uma grande aprovação), a dimensão e a importância dessa novidade no jogo eram muito grandes. Precisávamos entender que tipo de impacto isso poderia causar em cada um dos clusters, tanto do ponto de vista de conceito quanto de usabilidade na interface, e se essa etapa a mais na escalação do time aumentaria a complexidade para quem está iniciando no jogo.

Ao mesmo tempo, ainda não havia um conhecimento sobre quem eram os cartoleiros de cada cluster.

Portanto, para validar a funcionalidade também precisávamos criar uma baseline de conhecimento qualitativo sobre cada um deles, para então avaliar se essa solução fazia sentido.

Tempo era um fator decisivo

Havia apenas dois meses até a temporada do Cartola começar. 

O time ainda precisaria de tempo hábil após a pesquisa para fazer possíveis ajustes necessários antes do seu lançamento.

 

Devido à essa restrição, planejamos métodos e um tamanho de amostra que nos permitisse definir qualitativamente os clusters, validar a nova funcionalidade com cada um deles e, ao mesmo tempo, fazer tudo isso no menor espaço de tempo possível.

MÉTODOS E AMOSTRA

Recrutamos usuários novatos para que tivéssemos uma impressão sobre a complexidade do capitão pelo olhar de quem está iniciando no jogo e ainda não possui familiaridade.

Além disso, levando em consideração que o tempo disponível era curto, e que a funcionalidade impactaria todos os clusters, escolhemos dar prioridade aos usuários com maior relevância no jogo (competidores e casuais), uma vez que a rejeição deles significaria uma situação crítica para o produto. Isso foi refletido na diferença da amostra de quatro usuários competidores e casuais vs. dois usuários degustadores.

CRONOGRAMA

O cronograma do projeto foi criado levando em conta uma equipe de quatro UX Researchers dedicados, sendo dois sêniors e dois estagiários.

RECRUTAMENTO

Para que pudéssemos falar com usuários de cada um dos clusters, inicialmente o time do Cartola realizou uma abordagem de formulário por notificação push no mobile e pela interface do jogo (tanto no desktop quanto no mobile), convidando os usuários para participarem de uma pesquisa presencial.

Após o preenchimento do formulário, os respondentes que aceitaram participar foram identificados pelos clusters e então recrutados por telefone para a etapa presencial.

SESSÕES DE TESTE

Os usuários experienciaram durante o teste o processo de início no Cartola e de jogar uma rodada completa:

  • Criação de perfil e entrada no jogo

  • Momento pré-jogo, com o mercado aberto para escalar o time

  • Momento pós-jogo, com a pontuação dos jogadores disponível

PRINCIPAIS APRENDIZADOS DA PESQUISA

Com este estudo, conseguimos descobrir 4 pilares de experiência relacionados ao Cartola e, através deles, entendemos porque cada usuário faz parte de cada cluster.

1

Fator Social

A chave para atrair novos cartoleiros e manter os usuários ativos no jogo

A recomendação dos amigos é o principal motivador para começar a jogar Cartola.

O maior valor do Cartola é a socialização com amigos, familiares e amantes de futebol, e o principal motivador para continuarem jogando.

Isso é ainda mais forte para os degustadores e casuais.

"

Sozinho acho que não [jogaria]...Ia ser sem graça. Porque eu não ia participar de liga e jogar sozinho só por jogar eu acho que não tem graça. Apesar de ser um jogo bom.

- Cartoleiro Casual

Performance

Equilíbrio entre dificuldade e oportunidades de mandar bem

2

Pontuar muito abaixo dos amigos é desmotivador e leva ao abandono.

 

É um dos motivos do abandono dos degustadores.

Cartoleiros iniciando no jogo se sentem intimidados quando precisam entrar em ligas de apostas com os amigos experientes e acabam abandonando. 

É outro motivo que explica o abandono dos degustadores.

Esquecimento de escalar o time em algumas rodadas corrobora para a queda na frequência de jogo e no rendimento do time.

Jogadores menos envolvidos com o jogo estavam sendo impactados por esse esquecimento.

"

Eu joguei umas 3 semanas, por pilha de amigo. Mas aí...'ah, vamo apostar dinheiro', aí eu falei: 'então não vou acompanhar'. (...) Você tinha que ver, a maneira que eles falavam era surreal, eles eram profissionais. Eu falei: 'cara...vou perder dinheiro...'

- Cartoleiro Degustador

3

Curva de Aprendizado

Começar a jogar é difícil

Demora no entendimento da lógica do jogo, influenciando a performance de cartoleiros degustadores e casuais.

Também foi a maior dificuldade dos novatos que acessaram o Cartola pela primeira vez no teste de usabilidade.

Problemas de arquitetura de informação e usabilidade prejudicam os cartoleiros iniciando no jogo.

Atuais competidores também disseram ter tido as mesmas dificuldades quando começaram no game.

"

Como eu não me adaptei, eu parei. (...) Aí os amigos começaram a montar [time] e me chamaram pra montar o time também, aí eu fui e montei o time e voltei a jogar.

- Cartoleiro Competidor

"

Não entendia [como funcionava], aí alguém me explicou...Aí eu entendi que tinha que montar um time com determinada quantidade de cartoletas (...) e aí depois foi fuindo...

- Cartoleiro Casual

4

Dedicação

A relação com o futebol varia por cluster

Acredita-se ser preciso dispor muito tempo e assistir todos os jogos do campeonato brasileiro para jogar Cartola.

​É a principal barreira para os novatos nunca terem experimentado o jogo.

A necessidade de dedicar tempo ao jogo é outro motivo do abandono dos degustadores.

Cartoleiros casuais e competidores disseram ter o costume de assistir outros jogos do campeonato brasileiro além do próprio time.

Ótimas impressões sobre a feature de Capitão

Percepção unânime de aumento na competitividade e capacidade de virar o jogo

"

Dá uma apimentada na disputa

- Cartoleiro Degustador

"

Vai dar o que falar (...) vai ser legal e divertido

- Cartoleiro Casual

"

Vai arrebentar!

- Cartoleiro Competidor

Survey

Para medir quantitativamente a aceitação do capitão depois de implementado, o time do Cartola realizou 2 questionários ao longo do tempo:

Fase 1 - Set 2018

6 meses com o capitão no jogo

200 mil respondentes

Fase 2 - Mai 2019

mais de uma temporada completa de jogo

152 mil respondentes

A. Competitividade

Os resultados quanto às impressões dos cartoleiros sobre o aumento da competitividade no jogo foram bastante positivos. Além disso, o percentual de jogadores que inicialmente discordaram caiu consideravelmente com o tempo.

B. Diversão

Observamos uma taxa de aprovação incrível quanto à diversão que o capitão trouxe ao jogo, algo primordial para o Cartola. Ao longo do tempo a pequena taxa de reprovação também caiu.

SOLUÇÕES

A descoberta dos 4 pilares de experiência relacionados ao comportamento de jogo de cada cluster foi essencial para direcionar os esforços de produto e estratégia de negócio que vêm acontecendo até hoje.

Depois desta pesquisa realizada em 2018, o time do Cartola continuou iterando novas soluções para o jogo, sempre com a definição do pilar de experiência e dos clusters envolvidos no problema.

 

Exemplos de algumas dessas soluções:

Competição entre duplas

Novidade lançada em 2019, buscando incentivar ainda mais interações sociais entre amigos no game.

Testamos diferentes alternativas de jogos para o Cartola que estimulassem o lado social, uma delas foi a competição entre duplas.

Para esse teste de conceito também utilizamos a mesma abordagem de pesquisa com clusters de consumo. E novamente foi fundamental um processo unido à Data Science, pois vimos diferenças significativas entre os clusters.

Para os competidores, as novas modalidades de competição precisavam ser tão estratégicas quanto o jogo principal.

X

Já os casuais e degustadores gostaram de modalidades que também exploravam sorte na competição.

Mudanças na frequência de notificações de mercado

Notificações de mercado são notificações push que o jogo envia quando a rodada está aberta e os jogadores podem escalar seu time, e também quando falta pouco tempo para o mercado fechar.

A estratégia foi revista, buscando diminuir o esquecimento dos cartoleiros em escalar o time, que consequentemente impactava sua performance.

Melhorias de arquitetura de informação na interface do jogo

Ao longo dos últimos dois anos, foram implementadas melhorias de arquitetura buscando sempre diminuir a curva de aprendizado dos cartoleiros iniciando no jogo.

IMPACTO DO PROJETO

Todas essas iniciativas em conjunto feitas pelo Cartola nos últimos dois anos serviram pra minimizar os problemas de abandono e queda na frequência de jogo observados no comportamento dos clusters. 

Através delas, conseguimos impactar a proporção de jogadores em cada um dos clusters conforme a ilustração abaixo, indicando:

  • queda de 18% na fatia do cluster degustador

  • queda de 31% na fatia do cluster casual

  • aumento de 290% na fatia do cluster competidor

  • aumento de 250% na fatia do cluster campeão

 

Esses números indicam que, do total de jogadores ativos no Cartola atualmente, temos uma porcentagem maior com ótimos índices de engajamento no jogo.

Conteúdos de pesquisa qualitativa na área de UX Design

Copyright © 2020 | Gab Insights

  • Instagram
  • LinkedIn ícone social