Calcolatore Test A/B

Come funziona la formula della dimensione del campione

Il calcolatore usa l'approssimazione standard per un test a due varianti con significatività del 95% e potenza dell'80%:

n = 16 × p(1−p) ÷ δ²

dove p è il tuo tasso di conversione di partenza in decimale e δ è l'incremento assoluto che vuoi rilevare, quindi δ = p × MDE. Con i valori di default: p è 0,02, un incremento relativo del 20% rende δ = 0,004, e la formula dà 19.600 visitatori per variante. Con 500 visitatori giornalieri per variante, sono 40 giorni di test. La durata esce dritta da un calcolo che puoi fare prima di costruire qualsiasi cosa.

Verificare i risultati finiti: lo z-test

z = (p₂ − p₁) ÷ √( p̄(1−p̄)(1/n₁ + 1/n₂) )

Per un test finito il calcolatore fonde entrambe le varianti in un unico tasso combinato p̄, chiede quanto è grande il divario osservato rispetto al rumore che ti aspetteresti con queste dimensioni del campione, e converte quello z-score in un p-value a due code. Sotto lo 0,05 il risultato supera la soglia convenzionale del 95%. La lettura dell'incremento porta con sé un intervallo di confidenza al 95%: l'intervallo in cui plausibilmente si trova l'incremento vero. Un test significativo il cui intervallo sfiora lo zero è una vittoria reale ma forse minuscola, quindi leggi l'intervallo, non solo il verdetto.

Cosa significano davvero significatività e potenza

La significatività del 95% vuol dire che, se davvero non c'è differenza tra le varianti, dichiarerai un vincitore per errore circa 1 volta su 20. La potenza dell'80% vuol dire che, se l'incremento è reale e grande quanto il tuo MDE, il test lo coglierà 4 volte su 5, e lo mancherà una volta. Nessuna delle due è una garanzia. Sono tassi di errore con cui hai accettato di convivere, e reggono solo se fissi la dimensione del campione in anticipo e leggi il risultato una volta sola, alla fine.

La trappola del poco traffico

La dimensione del campione scala con l'inverso del quadrato dell'effetto. Rileva un incremento grande la metà e ti serve quattro volte il traffico. È per questo che i piccoli negozi che copiano la cultura del testing dei grandi finiscono con test che non si chiudono mai: un MDE del 5% con una base del 2% richiede oltre 300.000 visitatori per variante. Se qui i giorni tornano in mesi, la risposta non è più pazienza. Alza l'MDE e testa cambiamenti abbastanza grandi da superarlo.

Meno test, più coraggiosi

Con poco traffico, il tuo calendario di test dovrebbe contenere una manciata di grandi cambiamenti per trimestre: un'offerta diversa, un hero ricostruito, un nuovo modo di presentare il prezzo. Ognuno o sposta il numero in modo visibile o ti insegna qualcosa di reale. Dieci micro-test che finiscono tutti senza conclusione non ti insegnano nulla, se non che il tuo traffico non regge i micro-test. Adatta l'ambizione del cambiamento al traffico che hai davvero.