Las encuestas: error y precisión. Ulises Beltrán Gonzalo Carreño BGC, Beltran Juárez y Asocs. S. C.
Los resultados sobre preferencias electorales que publicamos en Excélsior en cualquier periodo previo a una elección que obtenemos por encuesta tienen la siguiente leyenda: “estos resultados no son un pronóstico, reflejan las preferencias de los encuestados al momento de realización de la encuesta”. De hecho, la pregunta específica con la que obtenemos la estimación de preferencias claramente dice, “Si las elecciones tuvieran lugar en este momento, ¿por cuál partido o candidato votaría Usted?” y el momento al que hace referencia es, obviamente, el de la entrevista, no el de la elección. Esta redacción elimina una respuesta especulativa sobre una posible conducta futura que puede ni siquiera estar definida al momento de la entrevista, y su publicación permite al lector conocer la posición de partidos y candidatos al momento en que se publican y, si así lo desea, tomar decisiones informadas sobre su voto el día de la elección. No obstante estas aclaraciones, una vez pasada la elección, comentaristas y público juzgan la calidad de las encuestas comparando los resultados de la votación con lo que los encuestadores dijimos durante la campaña y casi invariablemente se les juzga por lo que no son, es decir, porque fueron pronósticos mucho o poco certeros del resultado. Estrictamente hablando, el reclamo puede ser injustificado aunque, dentro de ciertos límites razonables, es un reclamo por lo menos válido. El encuestador tendría que ofrecer una explicación amplia si publicó que un partido recibía 5 por ciento de las preferencias al momento de la encuesta y quince días después obtiene 55% de los votos. Un primer límite razonable es tomar en cuenta únicamente las encuestas levantadas en un periodo relativamente cercano a la elección y reconocer si hubo o no en este periodo previo eventos que justifiquen la posibilidad de un cambio significativo en las preferencias. Otro límite razonable es el margen de la diferencia entre los resultados de la encuesta y la votación que se tome para juzgar su “precisión”. Para empezar, la medición de la encuesta tiene un margen de error conocido por efecto de la selección de la muestra y, en segundo lugar, un error no estimado derivado del proceso de entrevista. Una convención razonable para evaluar el desempeño de las encuestas es tomar en cuenta los resultados de las que se levantaron dos semanas antes de la elección, que es la convención más común en varios países. En este periodo se publicaron resultados de 28 encuestas de 12 agencias distintas. Los resultados se pueden ver en el Cuadro que acompaña este artículo. Lo menos que se le puede pedir a una encuesta previa es que si la diferencia entre el ganador y su competidor más cercano resultó en la elección muy amplia, la encuesta refleje el orden básico de las preferencias; es decir, que identifique al ganador.
Si tomamos todas las encuestas de todos los estados sin considerar la diferencia entre primero y segundo lugar, parecería que las encuestas tuvieron un desempeño pobre: trece de las 28 encuestas, casi la mitad, fallaron en señalar con acierto a quien resultó ganador, de hecho, en cuatro estados ninguna encuesta acertó al ganador. Sin embargo, en cuatro casos la diferencia entre primero y segundo fue menor a cinco puntos: Aguascalientes, Veracruz, Durango y Tlaxcala. Tomando en cuenta este hecho, el desempeño de las 16 encuestas que quedan mejora. De 16 encuestas en estos estados, doce señalaron con acierto al posible ganador. Otra forma de juzgar el desempeño de las encuestas es estimar la diferencia entre la estimación para algunos o todos los partidos y compararla con el resultado. El problema con este método es que genera una gran cantidad de estimaciones y preguntas. El promedio del valor absoluto de estas diferencias puede resumir esta diversidad de números, pero puede ocultar algunos detalles relevantes. Una opción intermedia es utilizar la diferencia entre el primer y el segundo lugar como el parámetro de comparación. Esta es la forma más común en muchos lados. Con base en esta cifra, el desempeño de las encuestas levantadas en este proceso electoral aparece en general muy satisfactorio. Como se puede ver en el cuadro, el error más grande fue de 14.9 puntos en una encuesta de Mercaei realizada en Puebla, y el estado con el error promedio más grande fue Tamaulipas. Sin embargo, también hubo errores muy bajos, como la encuesta de El Financiero en Oaxaca (el estado con el error promedio más pequeño) con sólo 1.6 puntos. El error promedio de las 28 encuestas es de 3.5 puntos, un desempeño superior al de las encuestas para gobernador en los Estados Unidos, en las que el error promedio de las encuestas para elecciones de gobernador ha variado entre 4 y 5 puntos entre 2004 y 2012 (Ver http://fivethirtyeight.com/features/is-the-polling-industry-in-stasis-or-in-crisis/). Ciertamente resulta difícil entender por qué si el promedio de los errores en la diferencia entre primer y segundo lugar fueron bajos, varias encuestas se equivocaron al pronosticar al ganador. Como mencioné arriba, esto se explica porque en cuatro estados las elecciones se definieron con diferencias entre primero y segundo lugar menores a cinco puntos. Si la distancia real entre primer y segundo lugar es pequeña, una encuesta puede equivocarse en la votación que pronostica para cada partido por pocos puntos y errar al pronosticar el ganador. El caso más claro es la elección en Aguascalientes donde la diferencia entre el PRI y el PAN fue de tres puntos y, aunque ninguna encuesta acertó al ganador, las dos últimas tuvieron un error de sólo un punto.
Aguascalientes
Fecha de levantamiento 21-24 May 2016 24-26 May 2016 27-29 May 2016
Número de casos
Dif. entre 1° y 2° Error en la lugar dif.
PRI-PVEM-PANALPT
PAN
PRD
46.5
39.9
4.5
7
3.6
1200
El Universal De las Heras Demotecnia
47.0
43.0
3.0
4
1.0
1020
El Financiero
46.0
42.0
4
1.0
1000
Agencia
PREP
40.8
43.8
5.15
3
-
Chihuahua
Fecha de levantamiento 19-22 May 2016 19-22 May 2016 PREP
Número de casos
Agencia
PRI-PVEMPANAL-PT
MORENA
Dif. entre 1° y 2° lugar
Error en la dif.
PAN
1200
Reforma
40.0
33.0
4.0
7
1.4
1020
El Financiero
42.0 31.1
39.0 39.5
2.0 2.3
3 8
5.4 -
Durango Número Fecha de de levantamiento casos 22-24 May 2016 1000 25-27 May 2016 1200 PREP
Agencia
Dif. entre 1° y 2° Error en la lugar dif.
PRI-PVEM-PANALPD
PAN-PRD
Morena
42.0
43.0
4.0
1
2.9
49.0 42.1
41.0 46
4.0 2.78
8 4
4.1 -
Parametría De las Heras Demotecnia
Oaxaca
Fecha de levantamiento 18-22 May 2016 19-24 May 2016 24-27 May 2016 PREP
Número de casos 1000 1218 1200
Agencia
PRI-PVEM-PANAL
PRD-PAN
Morena
Dif. entre 1° y 2° lugar
Reforma El Financiero Opinión Pública
34.0
30.0
20.0
4
3.1
38.0
30.0
17.0
8
0.9
32.5 32
23.1 24.9
19.3 22.8
9 7
2.3 -
Puebla Número Fecha de de levantamiento casos 20-22 May 2016 1104
Agencia
PRIPVEMPES
PANPANAL-PTPSI-CP
PRD
Dif. entre 1° y 2° lugar
Error en la dif.
Más Data
32.9
47.2
4.3
14
2.5
Error en la dif.
21-26 May 2016 23-26 May 2016 27-29 May 2016 28-30 May 2016 PREP
Centro de Estudios Consultivos
29.4
47.2
6.3
18
6.0
Mercaei
30.0
56.7
5.0
27
14.9
1600
Más data
33.6
47.3
5.2
14
1.8
1000 -
El Universal -
34.4 33.5
44.5 45.3
6.3 3.8
10 12
1.7 -
2598 No se reporta
Quintana Roo
Fecha de levantamiento 19-29 May 2016 PREP
Número de casos
Agencia
PRI-PVEM-PANAL
PAN-PRD
Morena
1524
El Financiero
46.0 36.1
37.0 45
12.0 5.15
Dif. entre 1° y 2° Error en la lugar dif. 9 9
0.1 -
Sinaloa
Fecha de levantamiento 24-26 May 2016 PREP
Número de casos 1200
Agencia De las Heras Demotecnia
PRI-PVEM-PANAL
PAN
35.0 41.2
24.0 17.7
Partido Dif. entre Sinaloense- 1° y 2° Error en la MC lugar dif. 25.0 26.4
10 15
4.8 -
Tamaulipas Número Fecha de de levantamiento casos 21-23 May 2016 1200 PREP
Agencia De las Heras Demotecnia
PRI-PVEM-PANAL
PAN
PRD
46.0 36
40.0 50.1
1.0 1.2
Dif. entre 1° y 2° Error en la lugar dif. 6 14
8.1 -
Tlaxcala Número Fecha de de levantamiento casos
Agencia
PRI-PVEM-PANALPS
PAN
PRD
Dif. entre 1° y 2° Error en la lugar dif.
21-23 May 2016 22-23 May 2016 27-29 May 2016 PREP
De las Heras Demotecnia 1000
28.0
30.0
28.0
0
3.9
30.0
25.0
30.0
0
3.9
30 33.6
26.0 18.5
30.0 29.7
0 4
3.9 -
De las Heras Demotecnia 1200 De las Heras Demotecnia 1020
Veracruz Número Fecha de de levantamiento casos 19-24 May2016 1218 24-26 May 2016 957 26-29 May 2016 1200 26-29 May 2016 1000 28-30 May 2016 1000 PREP
PRI-PVEMPANAL-PC-AVE
PAN-PRD
Morena
Dif. entre 1° y 2° lugar
El Financiero Berumen y Asociados
36.0
34.0
25.0
2
1.9
29.9
35.5
25.8
6
1.7
BGC
31.0
31.0
31.0
0
3.9
Reforma
30.8
31.7
29.6
1
3.0
El Universal
31.0 30.5
31.2 34.4
32.2 26.2
0 4
3.7 -
Agencia
Error en la dif.
Zacatecas
Número Fecha de de levantamiento casos
18-21 May 2016 21-22 May 2016 PREP
1115
Agencia Demoscopia Profesional para la Democracia
1000
El Universal
PRI-PVEMPANAL
PAN-PRD
MORENA
Dif. entre 1° y 2° lugar
42.0
18.0
28.9
13
3.0
35.2 37.3
19.6 17.9
29.9 27.2
5 10
4.8 -
Error en la dif.