La semana pasada la Asociación de Colegios Privados e Independientes (CICAE) presentaba ante la prensa sus resultados en PISA para centros educativos o PISA for schools, (PfS) una prueba a la que se presentaron 20 de sus 50 colegios. Los titulares emulaban la terminología que ha popularizado la OCDE: “Los colegios de CICAE, por encima de Singapur, Japón o Canadá” o “Incluso teniendo en cuenta las correcciones del Índice Socioeconómico y Cultural (ISEC), los colegios de CICAE se sitúan por delante de la media de España y de la OCDE”.
PfS, la hermana pequeña de PISA, nace en el curso 2013-2014, y desde la primera edición España, entonces con José Ignacio Wert al frente del Ministerio de Educación, decide presentarse, junto con el Reino Unido y EEUU -en la actualidad hay otros ocho países más-.
Quienes reciben de los resultados de esta prueba no son los responsables de las políticas educativas, sino las direcciones de los centros, las personas al frente de cadenas de centros privados o congregaciones religiosas, el profesorado, los padres, los alumnos y los encargados de las administraciones educativas regionales y locales. La prueba es anual, pero los centros, que han de pagar por ella -en España, a cargo de 2E Estudios, Evaluaciones e Investigación, cuesta unos 3.700 euros + IVA (21%)- pueden decidir si presentarse todos los años o hacerlo cada cierto tiempo. 225 centros se han presentado de momento en nuestro país, tanto públicos -el Ministerio ha presentado a sus centros de territorio MECD, Ceuta y Melilla, por ejemplo- como privados y concertados. En la última edición han sido 45. De ellos, 40 privados y concertados y cinco públicos.
“PfS surge por la propia demanda de las escuelas, para las que la comparación entre países se quedaba corta, 10 años después del primer PISA. Y la OCDE crea otro instrumento, pero con un marco teórico idéntico al de PISA, para medir en el nivel escuela”, relata Chi Sum Tse, del departamento de PfS en la OCDE. “Su fin en este caso es la mejora, no la comparación, pues los datos de cada escuela pertenecen a cada escuela y lo realmente útil es poder comparar una escuela año a año”, añade.
Desde la OCDE ofrecen la prueba, que da lugar a un informe -en el que, en el caso de un grupo de escuelas, cada una puede ver su posición en relación con el resto de escuelas, que figuran con una clave- como un primer paso, y se invita a los participantes a encuentros para compartir buenas prácticas y a plataformas online en abierto con el fin de que “las escuelas de los diferentes países aprendan unas de otras”.
“Es más que una evaluación, es un acompañamiento para la mejora”, señala Chi Sum Tse, que describe cómo la labor de 2E Estudios, Evaluaciones e Investigación, además de administrar la prueba, es entregar el informe y explicar qué significan los datos. ¿Es lícito que se empleen estos datos con fines de marketing? “En términos legales, en España la escuela tiene libertad de hacerlo, pero es muy importante que la escuela o la cadena de escuelas publiquen el informe en su integridad [algo que CICAE ha hecho], que sean transparentes”, aclara.
El sesgo
¿Es útil PfS? Los expertos en evaluación se mueven entre el entusiasmo y el escepticismo. Así, Daniel Santín, profesor de Economía Aplicada de la Universidad Complutense de Madrid, muestra una pega inicial: el sesgo que supone que sea una prueba voluntaria y de pago -de hecho, la OCDE está trabajando para digitalizarla y así poder llegar a más colegios, con una versión low cost-: “Creo que si un centro decide participar es porque está muy motivado para mejorar y convencido, además, de que va a obtener un buen resultado, comparable con la media de su comunidad, de su país, de la UE… El ranking no le interesa a nadie cuando tiene la posibilidad de quedar el último”, advierte Santín, partidario de que, si se recurre a ella, se haga con el fin de que la escuela, de compararse, lo haga consigo misma a lo largo del tiempo.
Los analistas ven legítimo que cadenas como CICAE participen en la prueba para comprobar si realmente el rendimiento que obtienen sus centros es el que deberían lograr, si la fama es merecida porque lo están haciendo bien desde el punto de vista educativo o si viene dada porque son colegios de alto standing, que escolarizan a la clase alta. Si son eficaces, en definitiva.
“PfS da a conocer a cada centro educativo su nivel socioeconómico y cultural mediante el ISEC: el contexto habitual en el que se desenvuelve la vida de sus alumnos, proporcionando a cada centro los datos obtenidos teniendo en cuenta este efecto sobre los resultados y la posibilidad de comparar los datos antes y después de descontar dicho efecto. El resultado obtenido por encima de lo que cabría esperar según el ISEC del centro es el valor añadido que aporta el centro en la instrucción y formación de sus alumnos”, ilustra Carmen Tovar, directora del Instituto Nacional de Evaluación Educativa (INEE).
La mirada micro
“Yo veo ambas pruebas como complementarias”, considera Jorge Calero, catedrático de Economía Aplicada de la Universidad de Barcelona. “PISA va dirigido a los responsables de las políticas educativas y a los investigadores. PfS aporta información de utilidad para el centro. Reducir PISA a un ranking de países resulta empobrecedor, pues esta nos ha permitido avanzar en el conocimiento de los sistemas, hoy sabemos algunos factores determinantes para que los chicos lo hagan bien o mal, la influencia del nivel sociocultural y económico de las familias, el origen migratorio, por ejemplo… Aunque queda lo que en estadística se denomina residuo, una parte de diferencias de resultados entre centros, entre países y entre alumnos sin explicar. Esta parte se puede abordar mucho mejor con PfS, que nos ofrece una mirada micro acerca de cómo se organizan los recursos y los equipos, y cómo puede ser que un centro con alumnos muy similares en un entorno muy similar, con los factores que conocemos como determinantes muy similares, funcione mejor o peor”.
Carmen Tovar explica cómo no son extrañas las sorpresas en PfS, los centros educativos que atienden a alumnado desfavorecido y obtienen un buen resultado y el caso contrario: “Aunque el nivel socioeconómico es un predictor importante del rendimiento, por suerte no es el único. Un ambiente escolar estable con alumnos motivados, implicados y seguros contribuye a obtener mejores resultados de aprendizaje. Además, los estudiantes tienden a tener mejor rendimiento cuando las clases tienen un adecuado clima de disciplina, cuando las relaciones entre alumnos y profesores son afables y cuando estos últimos proporcionan apoyo a los alumnos. Asimismo, los resultados señalan la importancia de la motivación de los alumnos entendida como el sentido e importancia que conceden a las materias que estudian y la influencia que tienen en sus propias vidas, así como la importancia de la confianza en la propia eficacia. Si se trabajan estos factores tanto desde el centro escolar como desde la familia se puede conseguir que haya un mayor porcentaje de alumnos resilientes, es decir, alumnos que obtienen buenos resultados académicos a pesar de proceder de entornos desfavorecidos”.
En los mapas elaborados por algunas compañías religiosas con redes de colegios en España son habituales esos centros milagro, centros como el SAFA de Alcalá la Real (Jaén), de la Compañía de Jesús. Aunque no lo haya publicitado, registra una gran ganancia, muestra una gran eficiencia según los parámetros de PfS.
Para quienes defienden PfS incluso por delante de PISA en función de esta información valiosa que devuelve, las diferencias entre centros (e intercentros) son las realmente relevantes. En términos de equidad, España no queda precisamente mal parada. Es mayor la diferencia intracentros que intercentros, pero el sistema se muestra relativamente homogéneo. Países como Alemania u Holanda cuentan con diferencias mucho mayores entre sus escuelas, y España se alinea con Finlandia, Noruega o Suecia en lo que a distancia entre centros se refiere. “En todos los países de la OCDE la brecha entre centros educativos es superior a la brecha entre países. Según PISA 2015 la variación en las puntuaciones obtenidas por los alumnos se debe, entre otros factores, en un 10% a las diferencias entre países y en un 28% a las diferencias entre centros educativos. Esto en todos los países de la OCDE, y PfS ha puesto de manifiesto que existe una gran diversidad en los resultados de los centros de España, tanto académicos como de entorno de aprendizaje escolar”, prosigue Tovar.
¿Y, entonces, PISA?
Centros por encima de la media de Finlandia y otros por debajo de la media de México conviven en España. Y es ahí donde debería ponerse el foco, según quienes apuestan por PfS frente a PISA, ya que el ranking internacional resultante cada tres años no suele ofrecer sorpresas y dado que desde 2000 el gran descubrimiento de PISA es que la variable socioeconómica y cultural de la familia y el entorno es fundamental y tiene un efecto multiplicador.
“PISA se mantiene porque la OCDE vive de las cuotas de las naciones que participan, por eso convence a los Gobiernos de que es útil para ellos, y por eso sigue empeñada en comparar países, para mantener la financiación del proyecto, mientras PfS avanza de forma paralela pero muy despacio, porque no la pagan los Gobiernos”, inciden estas mismas voces, las más entusiastas de esta prueba, y que consideran que, desde 2000, las distintas ediciones de PISA podrían resolverse con el mismo título: “España, donde se le espera en función de lo que invierte en educación”. Y de subtítulo: “Con menos del 4% del PIB, el que corresponde a los países que menos dedican a esta partida, y tras 20 años en esta misma línea, no se prevé que los resultados vayan a mejorar en el futuro”.
