Nel 1936, negli Stati Uniti si tennero le elezioni presidenziali e, come al solito, nelle settimane precedenti più di una testata giornalistica cercò di prevedere il vincitore effettuando dei sondaggi. I candidati erano il presidente in carica, il democratico Franklin D. Roosevelt, e il suo sfidante repubblicano, Alfred M. Landon. La nota rivista “Literary Digest”, che aveva correttamente previsto i risultati delle cinque elezioni presidenziali americane precedenti, quell’anno decise di avviare un sondaggio che sarebbe stato più ambizioso e costoso di qualsiasi altro mai svolto in precedenza.
Ad agosto il mensile inviò per posta 10 milioni di fac-simile di schede elettorali a nominativi estratti dai registri automobilistici e dagli elenchi telefonici. Entro il 31 ottobre il “Digest” ricevette e contò circa 2,4 milioni di voti grazie ai quali previde che Landon avrebbe ottenuto il 55% dei voti contro il 41% di Roosevelt. Appena quattro giorni dopo, l’esito delle elezioni smentì completamente il pronostico del “Digest”: Roosevelt venne rieletto alla Casa Bianca, e nemmeno con una vittoria di misura, ma con un ampio margine: ottenne il 61% delle preferenze contro il 37% del candidato repubblicano.
Ci si può attendere una grossa variazione nei risultati su un campione poco numeroso, ma il mensile aveva interpellato 2,4 milioni di persone. Con un campione così ampio, come aveva potuto sbagliare tanto clamorosamente? Ci sono vari modi per spiegare il colpo di scena. Nel 1936 gli Stati Uniti erano ancora in preda alla Grande Depressione. Coloro che possedevano un’automobile e un telefono erano presumibilmente tra i più privilegiati nella società. Di conseguenza, l’elenco compilato dal “Digest” sovrarappresentava gli elettori delle classi medie e alte che, con opinioni politiche più tendenti a destra, erano meno inclini a votare Roosevelt, e sottorappresentava la popolazione dei votanti del partito democratico.
Fu poi commesso un altro errore, ancora più grave: la rivista non si preoccupò di capire chi fossero i 7,6 milioni di persone interrogate che non avevano risposto, e perché non lo avessero fatto. Con un così basso tasso di risposta, il sondaggio, quindi, non si basava più sul campione della popolazione prevista originariamente. Se anche la composizione demografica iniziale fosse stata rappresentativa della popolazione nel suo complesso (e non lo era), coloro che risposero al sondaggio tendevano ad avere idee politiche diverse da quelle di coloro che non risposero.
Un tasso di risposta del 24% è palesemente insufficiente per ottenere risultati attendibili dei parametri di interesse della popolazione, a meno che non sia possibile assumere che i 7,6 milioni di non rispondenti abbiano la medesima opinione dei rispondenti. Le persone generalmente più ricche e istruite e che tendevano a votare repubblicano erano anche più propense a rispondere al sondaggio. Insieme, queste due distorsioni nel campionamento (distorsione dovuta alla selezione del campione e distorsione da non risposta) portarono ad un errore così imbarazzante nelle previsioni.
Quello stesso anno, George Gallup, utilizzando un campione di poche migliaia di americani, predisse correttamente la vittoria di Roosevelt. A dimostrazione del fatto che non è importante solo la dimensione del campione, ma ancor più la sua composizione. Il clamoroso errore distrusse la credibilità della rivista “Literary Digest” che cessò la pubblicazione meno di due anni dopo.