Las escuelas e institutos pueden saber, gracias a los datos que se extraen de las pruebas externas (6º de primaria y 4º de ESO), cómo evolucionan sus centros (es decir, las notas de sus alumnos) en relación con ellos mismos, con los centros educativos de su zona, con los de su ciudad, con los de todo el país, y con los de su tipología de centro. Pero ¿basta con ello para identificar si se están cumpliendo los objetivos de su proyecto educativo? Para Xavier Chavarria, inspector jefe de Barcelona, la respuesta es que no. Se necesitan otros indicadores, más específicos, que cada centro debería poder hacerse a medida. Junto con la también inspectora Elvira Borrell, Chavarria acaba de publicar el libro La magia de los indicadores en educación (Horsori. Edición en catalán), donde aporta algunos consejos sobre cómo hacerlo.
Si el claustro se ha propuesto que el centro mejore en aspectos como la inclusión o la convivencia, los datos de las pruebas de evaluación externa no sirven. O, incluso, si se ha propuesto que se reduzca el absentismo de los alumnos o que se recorte la distancia que separa a los que sacan mejores resultados de los que peor, tampoco. Pero ¿estas cosas se pueden medir? «Al final todo se puede convertir en una cifra, pero un indicador no es el oráculo de Delfos, la mejor manera de valorarlos es conocer sus limitaciones», contesta Chavarria, que piensa también en servicios educativos como los CRP o los EAP.
«Lo mejor es que cada centro y cada servicio se cree los suyos-aconseja-, pero que sean pocos, que respondan a ese objetivo que se quiere medir y que permitan una disponibilidad inmediata, de tal manera que si hay que tomar decisiones no se tenga que esperar a finales de curso». En la elección sobre qué indicadores decidimos implementar entran en juego dos conceptos más: el balance («¿Vale la pena el esfuerzo por el resultado que obtendré?») y lo que los autores llaman el principio de parsimonia, que Chavarria explica diciendo que «aquello que puedas hacer fácil no lo compliques, y si con una simple tasa tienes suficiente, no quieras hacer más virguerías».
El profe de mates, un buen recurso
El libro comienza clarificando conceptos (indicador, índice, tasa, rúbrica, output, outcome…), pero, sobre todo, aporta fórmulas matemáticas y ejemplos de indicadores existentes, «que cada uno puede adaptar a su realidad o hacer otros nuevos». «Puede asustar, pero es más sencillo de lo que parece si se tiene claro a dónde se quiere ir», asegura el inspector jefe, que recomienda a los equipos directivos que, si no lo consiguen, pidan la colaboración del profesorado de matemáticas (de los propios o los institutos agregados en el caso de los centros de primaria).
Y ¿cómo se puede medir, por ejemplo, la evolución de una escuela en cuanto a la inclusión? «Se podrían definir una serie de buenas prácticas inclusivas y en la medida en que se van dando lo puedes transformar en un número, y aún más si tienes una comparativa con otros centros -comenta Chavarria-. La limitación sería que tal vez no se están aplicando estas prácticas que tú has definido pero se están haciendo otras. O también se podría elaborar un indicador de similitud: ¿tengo el mismo porcentaje de alumnos con dificultades respecto de los que hay en los centros de mi contexto? Cuanto más similar sea tu resultado al de tu contexto, mejor vas. Si te pasas muy por encima, de tan inclusivo como eres, dejas de serlo, y si estás muy por debajo, es evidente que no vas bien».
Más ejemplos: «Imaginemos que nuestro objetivo es que nuestros alumnos mejoren su competencia lectora. Yo puedo decidir que para conseguirlo promoveré el uso de la biblioteca entre el profesorado y el alumnado, y entonces puedo establecer un indicador que sea cantidad de alumnos que usan la biblioteca cada semana, o cantidad de préstamo de libros, y mirar la evolución de este indicador semana a semana. Lo puedo complicar, y subdividir el indicador según el curso de los alumnos, o según si los libros son en catalán o en castellano, etc. En todo caso, al final tendré un indicador, y quizás vea que la respuesta es positiva y que muchos más alumnos están yendo a la biblioteca. Pero ¿habrá servido esto para incrementar la competencia lectora? Tendré que cruzar mi indicador con el resultado de la evaluación externa para ver si realmente la acción que decidimos sacar adelante era la adecuada para el objetivo que me había propuesto».
Los proyectos educativos de centro elaborados en los últimos años ya contemplan algunos indicadores, pero la mayor parte siguen sin hacerlo. «No hay que revisarlos para poner indicadores, pero en la medida en que se van revisando deberían ir incorporando -opina Chavarria-. Este año puede ser una buena oportunidad ya que, por norma, se debe terminar de integrar el proyecto de convivencia en el proyecto educativo; aprovecha, pues, para poner algunos indicadores, aunque no sea a todo». «Con los planes anuales de los centros vemos demasiados indicadores y la mayoría son poco consistentes, en cambio los proyectos de dirección suelen ser bastante mejores, porque la mirada es a cuatro años vista», añade.
Buenos y malos indicadores
Para que un indicador realmente nos dé una buena medida, advierte el inspector jefe, no puede ser una magnitud única, sino que debe poder relacionarse con otras magnitudes. Por ejemplo, comenta, «el número de reuniones realizadas en relación con las previstas es un mal indicador, porque no sabemos si nos indica que habíamos previsto demasiado reuniones y por eso hemos resuelto el tema antes, o si hemos trabajado muy bien y por eso no han hecho falta más reuniones». Los indicadores también pueden tener interpretaciones muy sesgadas. Pone otro ejemplo: «Con el clásico cuestionario de satisfacción, imagina que el 90% de las familias que contestan te dicen que están muy contentos, pero resulta que sólo ha contestado el 10%, que son las implicadas; ¿dónde está el otro 90%? ¿Realmente podemos decir que las familias nos dan un 9?».
Relacionando dos o más magnitudes puedes llegar a tener un indicador mucho más preciso. La Inspección del Consorcio, por ejemplo, elabora una recta de regresión de todos los centros, en la que cruzan los resultados de las pruebas externas con la tipología del centro. De este modo, el centro ve dónde está situado en su contexto, pero no puede identificar el resto ni el resto le puede identificar a él. «Cuando hemos hecho auditorías pedagógicas -explica Chavarria-, hemos visto que hay centros que en conjunto sacan malos resultados pero son los máximos que pueden obtener, o sea, que no están haciendo nada mal, sino que más bien hay que felicitarles, y en cambio puede haber centros en la banda alta que obtienen peores resultados de los que les correspondería, y también se les debe decir». Este año, además, la inspección también ha elaborado el coeficiente de Gini de cada centro, que en este caso mide la desigualdad en los resultados de los alumnos, es decir, en qué centros la distancia entre los mejores y los peores alumnos es más o menos pronunciada.
Con todo, Chavarria echa de menos algunos datos que no serían difíciles de conseguir y que permitirían tener más información sobre el sistema y los centros. En Holanda, explica, «el contexto de cada centro lo elaboran a partir de dos datos: el porcentaje de becas de comedor que tiene ese centro y el nivel de estudios de las madres, ya que está bastante estudiado que es una de las cosas que más condiciona el éxito escolar». Según sea el nivel de estudios (de analfabeta a doctorada o similar) recibe un número del 0 al 8, según el estándar CINE (Clasificación Internacional Normalizada de la Educación), y con el valor medio de todas las madres de un centro se tiene una fotografía bastante precisa del tramo donde se sitúa aquella escuela o instituto en cuanto a su complejidad. «Este es un ejemplo de indicador que el Departamento no tiene en cuenta, pero que no costaría mucho elaborar para que los centros dispogan de esta información, y que se podría cruzar con otros datos que sí son considerados interesantes».