Del nacimiento de una visión de la educación
Creemos que poco se puede decir acerca del Informe PISA (Program for International Student Assessment) que hace público la OCDE cada tres años. En el correspondiente al año 2006 se asume que la misión de este informe es la de ofrecer información como un recurso para que los países miembros puedan adoptar las decisiones y políticas públicas necesarias para mejorar los niveles de los sistemas educativos en beneficio de los estudiantes. Sus autores y promotores lo presentan como una herramienta que pretende diagnosticar las debilidades y fortalezas de los sistemas educativos, de acuerdo con los supuestos que proponen quienes deciden todo el proceso.
Detrás de este proyecto existe un complejo background de supuestos filosóficos, morales, políticos, económicos, sociales, psicológicos y pedagógicos que constituyen un argumentario que se convierte en una especie de narrativa que arropa al proyecto de la OCDE. Con ese envoltorio se “vende” el hallazgo a los gobiernos sobre la valía del proyecto (sin poner muchas exigencias, pues está avalado por la autoridad de procedencia). ¿Cómo dudar de lo valioso que es, viniendo de quien viene?
PISA se constituye con una novedad: el rechazo a los contenidos ”tradicionales” y su sustitución por las competencias [J. Gimeno Sacristán (Autor y comp) (2008), Educar por competencias, ¿Qué hay de nuevo?, Morata, Madrid]. Un constructo éste con una larga historia, sobre todo en la formación profesional, al que ahora se le está cambiando su significado original que sustituye por otro más “actualizado”, más amplio y, digamos, también más confuso.
El primer informe PISA lleva el título de: La medida de los conocimientos y destrezas de los alumnos. Sin dejarse notar, en posteriores informes los contenidos y las destrezas se sustituyen por competencias, a las que PISA define como “un saber hacer en situaciones concretas que requieren la aplicación creativa, flexible y responsable de conocimientos, habilidades y actitudes».
No tenemos clara su “composición”, la intensidad de los componentes, el cómo se crea, si su crecimiento se da solamente en los ámbitos escolares o fuera de ellos. O cómo pueden analizarse para desarrollar las operaciones que, dada su supuesta universalidad, podrán ser aplicadas por todos los docentes, centro educativos, administradores, etc. en todos los países.
Las pruebas de PISA actúan de aglutinantes que prestan coherencia u homogeneidad a los sistemas educativos y que hacen posible la comparación entre ellos. Se produce la contradicción: buscar un objetivo común, compartido con el derecho que tienen los individuos a que su singularidad sea respetada.
Preguntas que inquietan en un proyecto “ateórico”
PISA puede tener utilidad y ser aprovechado hasta donde permiten las limitaciones que son inherentes a la naturaleza de los métodos y técnicas que se emplean. El método se convierte en contenido. contiene información acerca de la información. Parafraseando a MacLuhan, podemos decir que el medio también es mensaje en la investigación evaluativa.
Es necesario observar la coherencia entre los pasos que se den al desarrollar un proyecto como el que nos ocupa para garantizar la validez y sentido del proyecto ¿Para qué y por qué evaluamos? Por aquí hemos de empezar. ¿Qué aporta el esfuerzo que se hace de personas, medios, etc.? ¿Hay alternativas a lo que hace PISA? Algo tiene que haber que explique el éxito “comercial”, de la “venta” de un producto que, además, es caro como veremos. Al comienzo del programa PISA en el año 2000 apenas una veintena de países, fundamentalmente europeos, formaban el “Club PISA”. En la edición última de 2018 han participado más de 80.
Este éxito se explica, entre otras razones, por el eco mediático que produce la información sobre algunos datos; por el hecho de emanar de un organismo, como la OCDE, que tiene experiencia en la realización de auditorías. Estamos ante un proyecto que se hurta a la discusión pública y a la participación de los agentes sociales concernidos por el tema de que se trate. No es un ejemplo de evaluación democrática¹ que evite, por ejemplo, la imposición de modas, que aclare la responsabilidad sobe los usos de los datos.
PISA no se apoya en corrientes ni tradiciones del pensamiento y de la investigación sobre educación, ignorando lo razonables que pueden ser las propuestas de universidades, institutos de Evaluación, etc.
Por otro lado, aparenta ser neutral aunque no lo es, respecto de los conflictos que existen entre visiones y opciones distintas de enfocar y desarrollar la educación. Se está trabajando para incorporar nuevas competencias en el campo de las finanzas. Quedan fuera de PISA otros ámbitos de la formación no atendidos que podrían extenderse al campo de las ciencias sociales y de humanidades.
De qué no informa PISA
Habrá que tener en cuenta la realidad de hacia dónde se orientan los intereses de los estudiantes. La mitad de quienes se matriculan en los bachilleratos lo hacen en las especialidades o áreas devaluadas e “inútiles”, que no forman parte de la educación que es dominante.
En defensa del valor de PISA hay quienes piensan que la información que se contiene en los informes les capacitará para guiar y corregir los defectos, así como suplir carencias de los sujetos. M. Scriven (1967) le dio el nombre de evaluación formativa a la cual le opuso la evaluación sumativa que es, por ejemplo, la que se refleja en los expedientes académicos, la que hace balance de periodos largos de trabajo y de estudio, la mayoría de los exámenes, o la que sirve para acreditar la valía de los profesionales.
Lo que se denomina como una evaluación formativa (concepto que se plasmó en lo que se denominó evaluación continua con la Ley General de Educación de 1970), se caracteriza porque su función es acompañar a los que aprenden, descubrir las dificultades que se presentan en los procesos de enseñanza-aprendizaje, cuando se están desarrollando las tareas académicas.
En sentido estricto, sólo debería utilizarse el término de evaluación formativa cuando se refiera a personas que, de forma inmediata, pueden reconducir los aprendizajes. La evaluación formativa es un proceso continuado de observación, de interpretación, de comprensión y de proposición de medidas de corrección o de refuerzo.
PISA no puede tener valor formativo porque no nos proporciona la información que se necesita para iluminar algo los modelos de caja negra en los que se apoya buena parte de la investigación en educación. Evaluar para entender, para ayudar, no para seleccionar. Ese será un principio para defender la reflexividad de la pedagogía, liberada de arcaísmos ideológicos y de los dogmas positivistas, sin penetrar en lo que está ocurriendo. No puede derivarse de PISA una pedagogía alternativa que transforme las instituciones, los hábitos del profesorado y las tareas de aprendizaje. La información que nos proporcionan las pruebas de PISA nos deja en esa caja.
Scriven ponía de manifiesto la existencia de dos culturas. La que pretende mantener la opción formativa. La otra se ha constituido por las evaluaciones burocráticas, de control, para la selección y clasificación de los individuos… Juan Manuel Álvarez ha perfilado con acierto las dos culturas, cuando tituló su libro Evaluar para conocer, examinar para excluir.
La comparación de los sistemas educativos en PISA se lleva a cabo bien contrastando las puntuaciones medias que obtienen los sujetos que componen la muestra de participantes de cada país; o bien marcando el lugar que ocupa cada país en el conjunto de todos ellos.
Este proceder es radicalmente insolidario, pues siempre existirán quienes son los últimos y los primeros. Lo cual tiene consecuencias para la imagen que podamos tener de nosotros mismos y de los demás según se encuentre cada cual por encima o por debajo de la media.
Hay que hacer una observación respecto del empleo de las ordenaciones de países. No es lo mismo ocupar el puesto 23 en una relación de 42 países, caso de España (según la puntuación en Matemáticas en el informe del año 2000), que estar en el puesto 28 de un conjunto de 70 países que participaron en el informe de 2015. La posición de España no se plasma en una mejora real porque en 2000 tenía por delante al 54,8 % de los países, mientras que en 2015 ha llegado a tener el 40%. ¿Quiere eso decir que ha mejorado la calidad de la enseñanza en el sistema educativo español? No porque entre los años 2000 y 2015 han entrado países a PISA que tienen peores condiciones. España no gana más calidad, pero mejora el puesto que ocupa en la ordenación de todos los países.
Dado que los resultados de cada país no sufren cambios importantes a lo largo de los últimos 15 años, si se constata que a pesar de que los informes en este periodo vienen destacando déficits importantes en España, si además existen diferencias notables entre las comunidades autónomas, si a pesar de todo eso, no se sabe que los gobiernos hayan tomado medida alguna ¿Merece la pena gastar los dos millones de euros que nos ha costado la participación en el último PISA?
Sí que están sirviendo los informes realizados por encargo particular sobre uno o varios centros, que se han utilizado para mostrar la superioridad de los resultados de los centros privados. Tienen la suerte de poder pagarse los 3.000 a 4.000 euros que cuesta este servicio, que no los podrán pagar los centros públicos. PISA es una amenaza al sistema público. Todo un hallazgo que introduce confusión por su carácter borroso y polimórfico.
Sólo una ironía: puede que a alguien se le ocurra pronto que este servicio debe formar parte del derecho a la educación y que, por tanto, ha de ser financiado.
(1) Concepto que puso en circulación B, MacDonald: “La evaluación democrática es un servicio o de información a la comunidad entera sobre las características del programa educativo”. El patrocinador no debe imponer sus puntos de vista. En ‘La evaluación y el control de la educación’, J. Gimeno Sacristán y A. I. Pérez Gómez (En La enseñanza: Su teoría y su práctica. 1982. Akal. Madrid).
Scriven, M. 1967. The methodology of evaluation. Perspectives on Curriculum. (AERA Monograph Series on Curriculum Evaluation, n. 1). Chicago, Rand McNally.
