El efecto cobra y los pilotos educativos 

Cuando el Imperio británico aún regentaba la India, la ciudad de Delhi amanecía infestada por una plaga de cobras. El gobierno británico, aterrado por la plaga, prometió pagar una recompensa de 45 rupias por cada cobra muerta que fuese entregada. Pero los británicos no contaban con el ingenio de los hindúes. Acostumbrados a las cobras, pronto empezaron a reproducir las serpientes ya que la recompensa por cada cría muerta era mayor que el coste de reproducirlas. Al enterarse de su fracaso, los ingleses cancelaron el programa y los hindúes dejaron libre a la población de cobras cautivas. Nueva Delhi terminó ahogada en un alud ofídico bastante más grave que el que tenía antes de la supuesta solución. Este episodio dio lugar al concepto “efecto cobra”. 

Pasando de la leyenda a la realidad, existen multitud de casos de efectos inesperados o no deseados de las intervenciones o políticas públicas. Algunos de los casos paradigmáticos que hemos discutido en esta misma columna incluyen las subvenciones a las compras de automóviles, los controles de precios del alquiler o la subida del salario mínimo. En el ámbito educativo, un metaanálisis realizado a partir de la base de datos del Education Endowment Fund del Reino Unido, concluyó que dar ordenadores personales a cada estudiante, como el programa español Escuela 2.0 establecido en 2010, no tienen un efecto significativo en el desempeño escolar. 

Antes de tomar cualquier medida costosa conviene haber realizado una evaluación previa de su potencial impacto. Una buena manera de evaluarlo es mediante ensayos aleatorios controlados (RCT por sus siglas en inglés). Esta metodología busca crear un grupo contrafactual que permita contestar a la pregunta “¿Qué hubiera ocurrido si no se hubiera puesto en marcha esta intervención?”. Es la misma metodología usada en los ensayos clínicos: los pacientes son asignados al azar a un fármaco o a un grupo control, que normalmente consiste en un placebo o la práctica clínica estándar. La aleatoriedad en la asignación de los participantes a los tratamientos reduce el sesgo de selección y de asignación. 

A pesar de que su uso se va extendiendo también en las ciencias sociales, desde la adjudicación del Premio Nobel de Economía, en 2019, a Banerjee, Duflo y Kremer, son varios los obstáculos que encontramos para su implementación como herramienta en el diseño de políticas públicas. Un ámbito donde sería especialmente interesante empezar a realizar pilotos experimentales y ensayos aleatorios controlados es el de la educación.

Nuestros registros educativos carecen de información relevante sobre los alumnos, como el nivel socioeconómico y educativo de sus hogares

¿Aumentan las clases de refuerzo el rendimiento de los estudiantes de secundaria? ¿Y reducir la ratio de alumnos por profesor? ¿Qué modelo de agrupación de alumnos arroja mejores resultados? ¿Cuál es el efecto de la compactación de la jornada en la educación secundaria y primaria sobre las oportunidades educativas de los alumnos? ¿Mejora el nivel de los centros reforzar la autonomía de sus equipos directivos ¿E incentivar económicamente a sus maestros? ¿Qué modelos pedagógicos favorecen el aprendizaje de matemáticas? ¿La repetición de curso incentiva o desincentiva el rendimiento de los alumnos? Los pilotos experimentales permitirían responder estas preguntas de forma rigurosa. 

La información que generan grandes estudios cuantitativos como PISA, TIMMS, PIRLS, etc. permite discutir sobre los méritos de distintos sistemas educativos. Sin embargo, es difícil extraer conclusiones robustas sobre los factores que determinan el éxito educativo. Por ejemplo, los estudiantes de Finlandia y Corea tienen puntuaciones muy altas pero sus sistemas educativos son muy diferentes en múltiples dimensiones. La ventaja del método experimental es que puede establecer una relación causal creíble entre la introducción de un determinado programa pedagógico, política o reforma y el impacto concreto en el desempeño de los alumnos. 

Para poder realizar estas evaluaciones en España, el principal obstáculo en la actualidad es el de la disponibilidad de datos. Aunque se están haciendo avances, el acceso a datos es uno de los cambios culturales fundamentales que necesitamos para avanzar hacia una política basada en la evidencia. Difícilmente se puede avanzar en el estudio de la efectividad de las políticas y programas educativos cuando los registros educativos son incompletos o inconexos, y cuando el acceso a la información se encuentra significativamente limitado o restringido.  

Nuestros registros educativos carecen de información relevante sobre los alumnos; como el nivel socioeconómico y educativo de sus hogares. Esta información podría agregarse a nivel de escuela y proporcionar indicadores del perfil social de los centros más precisos que los que actualmente se utilizan. Otros datos relevantes se encuentran poco sistematizados; sucede, por ejemplo, en el caso de la información sobre las becas escolares o la relativa al profesorado de los centros.

Antes de introducir reformas educativas en base a meras hipótesis, apriorismos ideológicos o reivindicaciones de parte, mejor evaluar

De esta forma se dificulta la posibilidad de cruzar variables de interés; por ejemplo, entre calificaciones académicas (ordinarias y en pruebas de competencias externas) y el hecho de que los alumnos sean o hayan sido beneficiarios de una beca escolar, o de alguna adaptación curricular, o hayan tenido unos determinados profesores u otros, etc. Y es también difícil conectar los registros educativos disponibles con otros registros administrativos, como, por ejemplo, el de la Seguridad Social (para conocer la trayectoria y situación laboral de padres y madres, y también de los propios alumnos una vez finalizan sus estudios) o el de la Agencia Tributaria (para conocer la situación y evolución de los niveles de renta de las familias y alumnos en cuestión). 

Antes de iniciar los eternos debates políticos entorno al modelo educativo a los que estamos acostumbrados, la realización de pilotos experimentales con una muestra suficiente de centros y con un mecanismo de aleatorización de la participación permitiría contar con evidencia robusta. Antes de introducir reformas educativas en base a meras hipótesis, apriorismos ideológicos o reivindicaciones de parte, mejor evaluar.