Andrejs Dunkels fue un matemático sueco que murió muy joven: falleció justo 45 días después de cumplir 59 años, en 1998. Además de muy bueno en su profesión, se destacó como escritor. Tiene varias frases que perduraron pero en una de ellas logró condensar una idea muy pertinente para este siglo XXI.

“Es fácil mentir usando estadísticas. Es difícil decir la verdad sin ellas.”

Después de lo que sucedió en la Argentina en las últimas elecciones presidenciales (ambas rondas), muchos (pero no todos) de los encuestadores deben haberse sentido mal por los resultados que habían ido ofreciendo previamente y que después la realidad golpeó de frente. Creo que tiene sentido reformularse algunas preguntas. ¿Qué pasó? Hubo tanta diferencia porque:

a) ¿Algunos encuestadores dibujaron los resultados de acuerdo con quien era el que ponía el dinero para solventarlas?

b) ¿Tomaron bien las muestras?

c) ¿Tenían restricciones presupuestarias que los condicionaron para operar y conseguir los datos sin hacer concesiones respecto a la aleatoriedad de la muestra?

D) ¿Todos los errores fueron “honestos”?

e) ¿La matemática que usaron era la adecuada?

Es muy posible que usted, sí, usted, tenga otras dudas que yo no he sabido condensar entre las cinco preguntas que escribí acá arriba. Ciertamente, tengo un gran respeto por los profesionales que se dedican a esta rama de la matemática de la que yo, sin ninguna duda no soy un especialista, ni mucho menos. A muchos de ellos los conozco personalmente y sé de su probidad profesional.

Por otro lado, alguna vez fui el profesor que estuvo a cargo de la materia Probabilidades y Estadística, en Exactas (UBA), por lo que tengo un conocimiento muy superficial sobre el tema. Con todo, terminé confundido con algunos resultados. Me explico.

Hay gente que tiene interés en encuestar a la población, o al menos a un cierto grupo de la población, y pretende obtener cierto tipo de resultados. Es decir, no se trata de “medir lo que pasa”, sino de “aspirar a que algo suceda” y torcer los resultados como si fuera el “diario de Yrigoyen”.

Hay muchas formas de lograrlo: bastaría con elegir dónde hacer las preguntas y alcanza con una selección tendenciosa para obtener resultados “a medida”. Está claro que compulsar ciertas zonas de la Capital (Recoleta, por poner un caso) no es lo mismo que obtener el mismo tipo de respuestas en ciertos conglomerados de La Matanza, aunque deploro las “etiquetas”, pero por ahora, le pido que me las conceda y, después de los resultados obtenidos, tampoco estoy muy seguro de lo que escribí en este mismo párrafo.

Hacer una encuesta seria no es barato. Más aún: diría que resulta muy caro. Pero me refiero a hacer una encuesta seria, una encuesta bien hecha. La próxima pregunta entonces debería ser: ¿qué quiere decir “bien hecha”?

No necesito dar una definición académica, pero hay dos componentes específicos que deben ser muy cuidados. Por un lado, importa mucho la formulación de las preguntas, aunque en el caso de la votación a presidente esta parte quedó totalmente soslayada. Pero por otro lado, hay un factor no negociable, y es la selección de la muestra. Es imprescindible que sea al azar, y elegir 1100 (1) personas al azar en un universo de 40 millones, es un tema altamente no trivial.

Curiosamente, la elección de la muestra es la “clave” esencial para que los resultados obtenidos sean extrapolables y válidos como representativos de la voluntad de esos 40 millones.

Pero más allá de la matemática involucrada, el otro día leí un ejemplo que me pareció extraordinario y que me sirvió a mí para encontrar una forma de comunicar por qué la opinión de un grupo tan pequeño de personas puede servir para inferir el resultado final. Acompáñeme por acá.

Suponga que a usted le tocó cocinar una noche para mucha gente. Es una cena de año nuevo o un aniversario importante. Usted es el encargado de preparar una sopa para 30 personas. Yo estoy cerca suyo y le pregunto si la sopa ya está lista, y usted me dice: “Probá”.

Yo podría probar, pero veo que usted todavía tiene el salero en la mano y está empezando a esparcir sal en la parte superior. Si yo probara la sopa en ese momento, antes de revolver, no tendría una verdadera idea del gusto final. Más aún: podría ser que usted pusiera –en la cuchara que me va a entregar– parte de la sopa que está en la superficie, justo a la que usted recién le estuvo agregando la sal pero todavía no revolvió. O podría seleccionar sopa de una parte más profunda a la que la sal aún no llegó, simplemente porque no tuvo tiempo de revolver.

Podría suceder también que usted eligiera sopa que está en la parte inferior de la olla, muy cerca del fuego; en ese caso, la temperatura de la porción que yo voy a probar no reflejará cuán caliente está toda la sopa. O si usted eligiera una parte que está en la superficie, muy pegada al borde, es muy posible que no esté tan caliente (algo así como lo que hacen las “madres con los bebés” que ponen en la cuchara líquido que saben que no está hirviendo).

¿Por qué me extiendo tanto en esta parte y lo hago con tanto detalle? Es que usted advierte que no sería prudente sacar una conclusión sobre la sopa, si la selección que usted hace de ella es tendenciosa. En cambio, si usted la sazonara bien, la revolviera bien y en la cuchara que usted me ofrece no hay ningún patrón especial, entonces sí, esa muestra sería claramente representativa de toda la sopa.

Más aún, y esto es la conclusión más importante que quiero sacar: resulta obvio que no hace falta que yo le haga probar toda la sopa para que usted me diga cómo está la sopa en cuanto al sabor y temperatura. Alcanza con cualquier cucharada que usted elija.

Lo mismo ocurre con las encuestas si uno toma la precaución de que la muestra sobre la que pretende extrapolar y sacar conclusiones generales ¡sea verdaderamente al azar!

En el caso de la sopa se entiende perfectamente pero en el caso de las encuestas nos cuesta más, resulta totalmente anti-intuitivo. Ahora quiero agregar algo que es “no menor”, pero le dejo a usted determinar la relevancia que tiene.

Tanto en el caso de la sopa como en el de las encuestas, hay ciertas situaciones que están más cerca de la excepción que de la norma. Ahora verá a qué me refiero. Voy a empezar con el ejemplo de la sopa porque me parece que es más “evidente”. A usted no se le escapa que mientras está cocinando y llega el momento de sazonar la sopa, bien podría pasar que usted abrió el salero y decidió esparcir con la mano parte del contenido con la mano. Al hacerlo, se podría haber deslizado un gránulo de sal más grande que el resto y que a pesar que usted la revolvió en forma normal, no tuvo oportunidad de disolverse.

Podría pasar también, que en la porción que usted puso en la cuchara “justo cayera ese granito de sal”. En ese caso, yo probaría la sopa y sacaría una conclusión –equivocada– pero honesta. Le diría: “Mirá, la sopa está muy salada”.

Está claro que nadie podría disputar mi conclusión, al menos no en ese momento y habiendo probado de esa cucharada de sopa que usted me dio.

Ahora, traslademos el problema a las encuestas. Cuando el resultado dice que el candidato A ganará la elección con un 72% de los votos y que el error de la encuesta es de más o menos un 3 por ciento, esto significa que en la votación final, el candidato A debería obtener un número de votos entre un 69 y un 75 por ciento del total. Hasta acá, todo bien. ¿Y el gránulo de sal que era más grande? ¿Cuándo aparece?

Bien, la matemática dice que si usted tomara 100 muestras al azar de 1.100 personas y les preguntara por quién van a votar, entonces, ¡en 95 de ellas el resultado estará en la franja entre 69 y 75 por ciento! Pero, y esto es muy importante, habrá cinco, en donde el resultado no caerá allí. Y punto. Este sería el caso equivalente a que el grano de sal que no se disolvió hubiera caído justamente en la parte de sopa que usted puso en la cuchara. Para ponerlo en otros términos, es la forma en que la matemática estima (y previene) que el resultado no es (ni puede ser) exacto. La exactitud se podría conseguir encuestando a todo el electorado, que sería el equivalente a probar toda la sopa.

Para terminar, yo tengo mi conjunto de potenciales respuestas a las preguntas que formulé más arriba, pero no estoy en condiciones rigurosas de ofrecerlas públicamente porque sencillamente no tengo los datos. En todo caso, son solamente conjeturas. ¿Quién, en su sano juicio, dibujaría resultados sabiendo que la realidad los confrontaría a los pocos días? Por otro lado, estoy seguro de que en todos los casos, los encuestadores conocen perfectamente la matemática necesaria (y mucho más). Pero algo raro sucedió camino al foro... no sé qué fue, pero que algo pasó... pasó.

(1) ¿Por qué 1100? Le sugiero que revise http://www.pagina12.com.ar/diario/sociedad/3-259427-2014-11-09.html Allí hay una “idea” de respuesta.