Resultados de medição
Neste capítulo, discutiremos como medir os resultados e simplificar as estatísticas dos testes feitos no site.
Compreendendo as estatísticas
Os pesquisadores podem ou não entender as estatísticas. Mas, a ferramenta de teste A / B prova ser um salvador, simplificando essas estatísticas. Portanto, muitos cálculos podem ser evitados. A maioria das ferramentas de teste é consistente no uso de critérios de 95% como uma conclusão de meta bem-sucedida.
Isso significa que em cada 10 você é um vencedor por 9. Vamos dar um exemplo. Seu relatório de ferramenta de teste é o seguinte -
| Variações | Taxa de conversão |
|---|---|
| Página de controle | 1,91% |
| 1 | 2,39% |
| 2 | 2,16% |
| 3 | 3,10% |
Este relatório prevê uma variação de taxa de conversão de mais ou menos 0,20% no intervalo de 95%. Estatisticamente, o intervalo da meta está entre 1,76 e 2,06.
Buscando insights
Ao planejar um teste, tenho dois objetivos em mente. Primeiro, está aumentando a receita e o outro está buscando informações sobre o que levou a um ROI mais alto.
Por exemplo, em um estudo de caso, conseguimos desviar o tráfego para a página do produto, em vez da página da categoria ou homepage, melhora as taxas de conversão ou não. Pegamos três variações, em uma direcionamos o tráfego na página inicial carregada com categorias e subcategorias direcionando ainda mais para a página do produto. No segundo, direcionamos o tráfego para a página de categorias adicionando filtros. No terceiro, direcionamos diretamente para a página de detalhes do produto com o botão de compra.
Para minha surpresa, a terceira variação venceu. Essas são apenas as informações exigidas por um comprador sobre o produto. Isso nos permite aprender como o aumento da taxa de conversão e as melhorias contínuas podem nos fazer aumentar nossos leads.
Sem dúvida, a adição de muitas variações e insights sobre os testes nos deu o redesenho do site.
Resultados de compreensão
Deixe-me esclarecer. NEM TODOS OS TESTES GANHAM. Sim, é doloroso, mas verdadeiro.
Existem testes que fornecem resultados em alta escala. Há outros que depois de tantas tentativas também ficariam sem resultado. Mas se você planeja um teste com uma segmentação de direção do insight, pode ter uma nova hipótese a ser testada. Nem todos os testes ajudam a aumentar a receita.
Dê um exemplo para entender. Existem três campanhas com diferentes taxas de conversão.
| Campanha A | 8,2% |
| Campanha B | 19,1% |
| Campanha C | 5,2% |
Qualquer um dirá cegamente que a 'Campanha B' tem um desempenho excepcional. Mas vamos cavar um pouco mais.
| Visitas | Transações | Taxa de conversão | |
|---|---|---|---|
| Campanha A | 1820 | 150 | 8,2% |
| Campanha B | 20 | 4 | 19,1% |
| Campanha C | 780 | 41 | 5,2% |
Veja com atenção, a 'Campanha B' é muito pequena para ser estatisticamente significativa. A campanha B com 1 transação com uma visita dará uma taxa de conversão de 100 por cento. 'Campanha A' é executada sobre 'Campanha C'. Ao concluir os resultados, há vários fatores que precisam ser considerados e podem ser diferentes a cada vez. É você quem precisa analisar todos os insights e decidir os resultados.