INTRODUCCIÓN

La cobertura educacional primaria y secundaria en muchas naciones ya es una realidad y los sistemas educacionales hoy en día están enfocados en entregar una educación de calidad para todos. Este desafío ha llevado a las instituciones educacionales no sólo a medir los logros de los alumnos a nivel nacional, sino que también internacionalmente. En el presente artículo se realizará una comparación de los sistemas de evaluación de la calidad de la educación a nivel nacional en Latinoamérica y a nivel internacional, considerando las evaluaciones propias de algunos países de Latinoamérica, la evaluación del Laboratorio Latinoamericano de la Calidad de la Educación (LLECE), las evaluaciones de la International Association for the Evaluation of Educational Achievement (IEA) y la Organización para la Cooperación y el Desarrollo Económico (OCDE) en cuyas evaluaciones Chile ha participado y está participando actualmente. Luego se hace una comparación entre el Sistema de Medición de la Calidad de la Educación en Chile (SIMCE) y las evaluaciones internacionales. Finalmente, antes de la discusión y conclusión, se describe el sistema de evaluación de la educación en Inglaterra.

LA CALIDAD DE LA EDUCACIÓN

“La calidad no es un acto, es un hábito.” Aristóteles

La calidad de la educación es un tema recurrente en numerosas naciones en la actualidad. Variadas son las definiciones de la calidad educativa, según la Organización para la Cooperación y el Desarrollo Económico (1995) es aquella que «asegura a todos los jóvenes la adquisición de los conocimientos, capacidades destrezas y actitudes necesarias para equipararles para la vida adulta» (Ramirez & Alonzo, 2009). En esta definición se está considerando la inclusión de todos los habitantes de determinada nación a tener acceso a la educación. Desde la perspectiva de la escuela de calidad, Mortimore et al. (1998, p. 245) plantea que “es la que promueve el progreso de sus estudiantes en una amplia gama de logros intelectuales, sociales, morales y emocionales, teniendo en cuenta su nivel socioeconómico, su medio familiar y su aprendizaje previo”; a lo que llama un “sistema escolar eficaz”. Mientras este enfoque promueve el alcance de logros de diversa índole, “la concepción de calidad que aplicamos es amplia e incluye no solo logros, sino condiciones y procesos, no solo aspectos académicos, sino sicosociales y ciudadanos” (OREAL/UNESCO, 2013). La postura común que encontramos en estas tres definiciones se resume en que la educación de calidad es para todos los ciudadanos de un determinado país y cuyo objetivo es promover el desarrollo cognitivo, social, emocional, de actitudes y destrezas en sus estudiantes a través de un proceso. Nuestras preguntas son ¿Qué sistemas de medición son utilizados para medir la calidad educativa?, ¿Miden estos sistemas la calidad de la educación?

El Informe de Seguimiento de la Educación Para Todos en el Mundo (ETP, 2015) menciona que la calidad de la educación no se traduce en resultados de aprendizaje medidos por sistemas de evaluaciones locales, regionales o internacionales, sino por aspectos muy variados. Docentes con formación, acceso a materiales didácticos, tiempo real dedicado a actividades pedagógicas, planes y programas pertimentes e inclusivos, renovación pedagógica, escuelas acogedoras y mejores direcciones de las escuelas son los aspectos que promueven una buena calidad educativa.

Una de las razones por las cuales la evaluación educacional externa ha incrementado en el último tiempo es el ambiente de reforma escolar generalizada que trata de adaptarse al actual contexto social globalizado y cambiante (De la Orden Hoz et al., 2012). Últimamente los países con entradas relativamente bajas (países en desarrollo) han comenzado a realizar evaluaciones nacionales de la calidad educativa en sus países (Gráfico 1):

Gráfico 1: Incremento de evaluaciones nacionales del aprendizaje, por nivel de desarrollo desde 1990 a 2013 en países desarrollados y paises en desarrollo. (Adaptado de EPT, 2015)

Aun cuando existen variadas visiones y conceptualizaciones de la calidad de la educación y considerando el interés a nivel mundial por su evaluación, procederemos a explorar y comparar los sistemas de evaluación utilizados en algunos países latinoamericanos y uno europeo; incluyendo además las mediciones internacionales de la educación escolar.

EVALUACIONES NACIONALES EN LATINOAMÉRICA

En Latinoamérica, a partir del final de la década de los ochenta y principio de la década de los noventa, según TERCE (Tercer Estudio Regional Comparativo y Explicativo, 2013 – 2015), prácticamente todos los países han desarrollado organizaciones a cargo de la evaluación de la calidad de la educación, generalmente dependiente del poder público a través del Ministerio de Educación. Entre ella, podemos mencionar el Instituto Nacional para la Evaluación de la Educación (INEE) en México, el Instituto Colombiano para la Evaluación de la Educación (ICFES), la Dirección Nacional de la Información de la Calidad Educativa (DINIECE) en Argentina, Unidad de Medición de la Calidad Educativa (UMC) en Perú, el Sistema Evaluación de la Calidad de la Educación (SECE) en Cuba, el Sistema de Medición de de la Calidad en Educación (SIMCE) en Chile, Indicadores del Sistema Nacional de Educación (INEED) en Uruguay, Instituto Nacional de Estudios e Investigaciones Educativas (INEP) en Brasil.

Los enfoques de estudio que se siguen tanto en evaluaciones nacionales como internacionales, según De la Orden Hoz et al. (2012), son similares en el sentido que el criterio final de calidad se identifica en los resultados escolares en diversas materias, en especial las denominadas instrumentales (matemática y lenguaje), aunque el espectro se ha ido ampliando en forma progresiva, en especial hacia las ciencias y tecnología. Además, los autores afirman que a partir de un indicador de desempeño de los estudiantes se infiere la calidad global del sistema educacional. En las evaluaciones nacionales se dan dos tipos de tendencias: la evaluación del logro de los objetivos o competencias (menos habitual) del currículo nacional y la evaluación a las llamadas competencias comunes o genéricas en caso que no exista un currículo nacional. Los autores   mencionan que en los estudios internacionales, sin embargo, se hace referencia a las competencias u objetivos más generales de tal manera de no sesgar la evaluación debido a las diferencias en los currículos de cada país.

Se presentan a continuación las evaluaciones propias en los sistemas educativos de los países latinoamericanos:

País	Evaluaciones Nacionales Propias
Argentina	Se ha realizado evaluación nacional a partir de pruebas aplicadas desde 1993, en las que se enfatiza el dominio de conocimientos en matemática. En 3º y 6º se evalúa lenguaje a través de una prueba que está compuesta por textos de diverso tipo. Al finalizar la secundaria, el ONE (Operativo Nacionale de Educación) realiza una evaluación en Matemática, Lengua, Ciencias Sociales y Ciencias Naturales a partir del año 2010 en forma censal. El sistema nacional de evaluación brinda información válida y confiable sobre qué y cuánto aprenden los alumnos durante su paso por el sistema educativo. La institución a cargo del sistema nacional de evaluación en educación es   DINIECE (Dirección Nacional de Información y Evaluación de la Calidad Educativa).
Bolivia	Se aplicaron evaluaciones en lenguaje y matemática desde 1996 y 2000, se indagó respecto a las competencias consideradas como básicas. El Observatorio Plurinacional de la Calidad de la educación (OPCE) está a cargo de la calidad de la educación. No existen pruebas nacionales en la actualidad.
Brasil	Las pruebas del Estado de Sao Paulo, iniciadas en el año 1996, indagan acerca de la comprensión de texto y de la producción escrita y son de carácter censal. El Estado de Minas Gerais aplica también sus propias pruebas, con una orientación desde el enfoque de competencias o de habilidades fundamentales para la vida. A partir de 1995, se aplican pruebas en 4º y 8º serie de la Enseñanza Fundamental y en 2º y 3º serie de la enseñanza media.
Chile	En Chile se realizan pruebas nacionales estandarizadas basadas en el Currículum Nacional de Matemática, Lenguaje y Ciencias y Entorno Social en 4° Básico todos los años (desde 2005, anteriormente era cada dos años), en 8° Básico y 2° Educación Secundaria Lenguaje y Matemática anualmente y se   Ciencias Sociales y Naturales. En 3er año de Enseñanza Media se aplica el SIMCE en Inglés cada dos años. Junto a estas pruebas, el SIMCE recoge información sobre los docentes y familias de los estudiantes y su entorno social, a través de cuestionarios para investigaciones posteriores. Los resultados se difunden por la prensa.
Colombia	Desde 1991 las pruebas de evaluación de la calidad de la educación (SABER) han puesto el énfasis en la comprensión de texto, según niveles categoriales de comprensión: lectura literal, inferencial y crítica como desempeños fundamentales de los estudiantes de 3º, 5º, 7º y 9º. El enfoque que subyace en las pruebas es equivalente al que se sustenta en los lineamientos curriculares. En el año 2003 el Ministerio de Educación Nacional inicia la aplicación censal en algunas regiones del país. Estas evaluaciones introducen una parte abierta en la que los estudiantes producen un escrito. También a partir del año 2003 el Ministerio, a través del ICFES, decide entregar los instrumentos a las escuelas.
Costa Rica	En 1993 se comienza con las pruebas en 3º y 9º grados con información muestral. En general, se evalúan conocimientos fundamentales que tienen los estudiantes en las asignaturas básicas.
Cuba	La evaluación incluye el desempeño cognitivo y formativo de los estudiantes a través de pruebas externas junto con los procesos de autoevaluación y estudios de profundización de equipos provinciales. Esta evaluación también evalúa el desempeño de los docentes, directivos, el funcionamiento de los centros escolares, el desempeño educativo de la familia y comunidad y los indicadores de eficiencia interna y externa del Sistema Nacional de Educación. Las pruebas incluyen preguntas de respuesta abierta breve, de desarrollo, de selección múltiple, de enlace y de ordenamiento (ICCP, 2008). La aplicación sistemática de instrumentos para comprobar los conocimientos adquiridos, las capacidades y habilidades intelectuales, manuales y laborales alcanzadas y desarrolladas por los alumnos en el paso por cada uno de los subsistemas, contribuyen a integrar los mecanismos que miden la efectividad del sistema. La información que se entrega al público es restringida por el Ministerio en base a políticas o informes de gestión.
Ecuador	A partir del 2008 se desarrolla la evaluación del desempeño del estudiante, aplicando las pruebas de rendimiento al logro académico, en los establecimientos educativos del país, fiscales, fiscomicionales, municipales y particulares hispanos y bilingües de manera censal, cada tres años. Las pruebas de Lenguaje y Comunicación y Matemática, junto con los Cuestionarios de Factores Asociados, se aplican de manera censal a estudiantes de cuarto, séptimo, décimo de Educación Básica y tercero de bachillerato, no participan en este operativo los establecimientos nocturnos ni los de educación especial. Las pruebas de Estudios Sociales y Ciencias Naturales se aplican a estudiantes de séptimo y décimo años de educación básica y son muestrales.
El Salvador	El criterio que orienta las aplicaciones de las evaluaciones es el de identificar los niveles de logro y de competencias alcanzados al finalizar cada uno de los ciclos; por eso, las aplicaciones se realizan en los grados 3º, 6º y 9º. De acuerdo con la fundamentación de la evaluación que realiza el sistema, puede decirse que el enfoque está orientado hacia las competencias.
Honduras	A parir del año 1997 se evalúa el nivel de desempeño en las asignaturas de Español y Matemática en función de las metas EFA (Education for All), Plan de Educación para todos, a alumnos de primero, tercero y sexto grado (oeis.es, 2012).
Mexico	En la evaluación externa (programas de evaluación de la “calidad”), cada estado ha tenido un modo propio de regular el desarrollo de la educación básica, de acuerdo con las orientaciones nacionales, pero no todos los estados tienen un sistema estatal de evaluación. En el año 1999 se fundó el Sistema Estatal de Evaluación en Nuevo León, y hoy constituye una de las experiencias más consolidadas en el país. En este Estado se han evaluado los grados 6º de primaria y 3º de secundaria y participó en el TERCE 2013 como Estado independiente.
Nicaragua	Entre 1999 y 2002 se comienzan a aplicar las pruebas nacionales para grados 3º y 6º, sobre desempeños y factores asociados. Son pruebas de selección múltiple que están determinadas por los estándares nacionales e indagan por el desempeño, los contenidos, habilidades y destrezas. No se menciona la periodicidad ni se conocen los instrumentos o informes de resultados.
Paraguay	Se aplicaron pruebas en 1996, en Lengua y Literatura, Castellana y Guaraní. Así también en Matemática, Medio Natural y Salud, Ciencias Naturales, Estudios Sociales, Vida Social y Trabajo. Desde 1996 se alternan cada año los dos grados para las aplicaciones (3º y 6º). Se evalúa el rendimiento académico y se identifican variables asociadas. Las evaluaciones son de carácter muestral.
Perú	Desde 2001 se aplican pruebas en Matemática y Comunicación. Se realiza anualmente la evaluación ECE (Evaluación Censal de Estudiantes) a alumnos de 2° año de primaria en Comprensión Lectora y Matemática y la evaluación EIB (Educación Intercultural Bilingüe) a estudiantes de 4° año de primaria en Comprensión Lectora del castellano como segunda lengua (UMC, 2012).
República Dominicana	Se aplican pruebas desde 1996 en Lengua (Español) Matemática, Ciencias Sociales y Ciencias Naturales, en el marco del plan decenal de educación. Las pruebas se aplican al terminar la educación básica (4º) y al terminar la educación media (8º), y en 4º de bachillerato.
Uruguay	En 1995 se realiza la primera evaluación de carácter censal. Conocimientos y competencias fundamentales a evaluar, al finalizar cada ciclo: Primaria, Media Básica y Media Superior. Evaluaciones en el último grado de Educación Primaria en las áreas de Lenguaje y Matemática en forma censal en 1996 y 2005 y muestral en 1999 y 2002. A partir del año 2004 se realiza la Evaluación Nacional de Aprendizajes en los Bachilleratos Diversificados de Educación Secundaria y Bachilleratos Tecnológicos de Educación Técnico-Profesional.
Venezuela	Se han aplicado pruebas desde 1998, en Matemática, Lenguaje y Valores Morales (“Características personales”), en los grados 3º, 6º y 9º. Se evalúan Niveles de competencia, en congruencia con el currículo básico nacional. En la evaluación externa se tienen en cuenta la identificación de factores asociados al aprendizaje. Se elaboran instrumentos estadísticos para identificar los datos específicos de cada centro y ser tomados como punto de partida para la definición del perfil del “Proyecto Plantel”.

Tabla 1: Adaptación actualizada de SERCE (2004-2008). Evaluaciones nacionales propias en países latinoamericanos participantes en Segundo Estudio Regional Comparativo y Explicativo.

Al comparar las evaluaciones propias de cada país latino americano podemos afirmar que todas las evaluaciones están a cargo de sus respectivos Ministerios de Educación, son pruebas estandarizadas, su aplicación se masificó a principio de los noventa, cuyo objetivo principal es mejorar la calidad de la educación. La totalidad de las evaluaciones incluyen a estudiantes de primaria y finalmente, evalúan asignaturas instrumentales: lenguaje y matemática.

Las diferencias que se aprecian son las siguientes: la mayoría de las muestras son censales, sólo algunos países aún tienen muestras representativas en sus evaluaciones; aún cuando todos evalúan a estudiantes de primaria, los niveles son diferentes, el rango de los cursos evaluados comprende desde primero de educación primaria hasta octavo; sólo algunos países incluyen cursos de secundaria en sus evaluaciones. Cabe destacar que sólo un país, Cuba, incluye dentro de la evaluación de la calidad, el desempeño de los docentes, directivos, el funcionamiento de las escuelas e indicadores externos al sistema educativo: el desempeño educativo de la familia y una autoevaluación a nivel provincial.

EVALUACIONES INTERNACIONALES

Los programas de evaluaciones internacionales comprenden tanto pruebas estandarizadas como estudios de los antecedentes contextuales de la población evaluada. Como toda evaluación competente, los programas de evaluación internacional entregan información de gran utilidad. Estas evaluaciones están diseñadas para medir el aprendizaje de manera transversal en múltiples países. La finalidad de estas evaluaciones comprenden tanto la comparación de una variedad de políticas educacionales como la entrega de rankings de puntajes de logros. Los dos organismos internacionales que mayor impacto han tenido en el impulso de las evaluaciones de sistemas educativos han sido la International Association for the Evaluation of Educational Achievement (IEA) y la Organización para la Cooperación y el Desarrollo Económico (OCDE) (de la Orden y Jornet, 2012). En Latinoamérica, el organismo a destacar es El Laboratorio Latinoamericano de Evaluación de la Calidad (LLECE).

Los estudios que surgen de la IEA miden el desempeño de alumnos de diferentes países además de entregar información respecto a los efectos, positivos o negativos, que las políticas de un sistema educacional en particular causan en el aprendizaje de sus alumnos. La IEA, desde su creación, ha desarrollado más de treinta estudios comparados internacionales, entre los que destacan la Encuesta internacional sobre matemáticas y ciencias (TIMMS), o el Estudio internacional sobre competencia en lectura (PIRLS). Asimismo, ha llevado a cabo otros estudios de gran trascendencia como, por ejemplo, TIMSS-R Vídeo estudio de prácticas en el aula, Educación Cívica (ICCS y CIEC), International Computer and Information Literacy Study (ICILS) que evalúa la Alfabetización Computacional y Manejo de Información en estudiantes de 8° Básico, Tecnología de la información en la educación (SITIOS), sobre el uso de ordenadores en la educación (COMPED) y la educación pre-primaria (PPP), o en educación superior: Maestros de Educación para el Desarrollo y Estudio en Matemática (TEDS-M).

Las pruebas internacionales de la IEA a que se someten representaciones de alumnos chilenos son: Civic Education Study evalúa educación cívica en 8° básico y 4° Medio; TIMMS evalúa Matemática y Ciencias en 4° y 8° Básico (Chile ha participado con alumnos de 8° solamente); ICILS evalúa la alfabetización en computación junto con el manejo de la información a alumnos de al menos 13 años y medio. A través de la OCDE, Chile participa en la prueba PISA (Programme for International Student Assessment) y evalúa lectura, matemática y ciencias naturales.

El estudio de educación cívica se realizó por primera vez en 1999 donde participaron 28 países con alumnos de 14, 17, 18 y 19 años. Los alumnos son evaluados en los conceptos conocimiento cívico, compromiso cívico, actitudes cívicas y otros conceptos. También se aplica un cuestionario a profesores. Chile es uno de los tres países latinoamericanos dentro de los 28 países participantes.

La evaluación TIMMS se centra en matemáticas y ciencias, para comprender los resultados y cómo optimizar el aprendizaje, es importante conocer el contexto en el cual los alumnos aprenden. TIMMS recoge una amplia información a través de cuestionarios adicionales de antecedentes contextuales a los alumnos evaluados, a los profesores de matemática y ciencias y a los directores del establecimiento. Además, los coordinadores nacionales de la investigación deben completar un formulario sobre el currículo en matemática y ciencias. El cuestionario sobre antecedentes contextuales incluye preguntas sobre los recursos en el hogar, las aspiraciones de los alumnos, sus actitudes hacia las asignaturas evaluadas, sobre el currículo en las dos asignaturas, la preparación de los profesores y su desarrollo profesional, sus prácticas de enseñanza, el uso de la tecnología en la sala de clases, los recursos escolares y la seguridad escolar.

ICILS evalúa la habilidad que tienen los alumnos en diferentes países para uso del computador y su habilidad para encontrar la información adecuada al investigar, crear y comunicar para participar activamente en el hogar, escuela, lugar de trabajo y comunidad. Chile es el único país latinoamericano que participa en esta evaluación. Las preguntas base son: ¿Cómo varía la alfabetización de la información y el uso del computador entre y dentro de los países?, ¿Qué factores influyen en la alfabetización de la información y el uso del computador del estudiante?, ¿Qué pueden hacer los sistemas educacionales para mejorar estas habilidades en los alumnos? La evaluación en sí se realiza en la computadora e incluye tres tareas: respuestas de alternativa o de producción basado en material de estímulo real, software de simulación de aplicaciones genéricas y los alumnos deben completar una acción en respuesta a una instrucción, y tareas auténticas donde los alumnos deben modificar y crear productos informativos usando aplicaciones computacionales ‘en vivo’. El cuestionario adicional a la evaluación para el alumno recoge información sobre el uso del computador fuera de la escuela, la actitud hacia la tecnología, autoevaluación de su propia competencia computacional, y características de antecedentes contextuales. Los cuestionarios para los profesores y para el colegio se basan en preguntas sobre el uso del computador, recursos computacionales, y políticas y prácticas relevantes en el contexto escolar. ICILS también recoge información sobre el contexto en el que se desarrolla la alfabetización de información y uso de los computadores en los distintos países, desde características personales de los estudiantes, hasta políticas nacionales tendientes a promover el desarrollo de esta. Chile participó en el ICILS en el año 2013.

La segunda organización internacional previamente mencionada, OCDE, promovida por el CERI (Centre for Educational Research and Innovation) a partir de 1988 pone en marcha su proyecto INES para llegar a disponer de un sistema de indicadores estandarizados en cuanto a la participación de la población en educación y la efectividad de las inversiones de tal manera que sea un aporte para los países de la OCDE para orientar sus políticas educativas (Education at Glance, 2011). En este marco, la OCDE entiende la educación como un instrumento económico, que ayuda al desarrollo personal y social. Ello marca el estilo de indicadores que incluye en sus estudios. En 1992, como evolución de este proyecto, comienza a publicarse de forma anual el informe Panorama de la Educación (Education at a Glance). Por otro lado, en el contexto del Informe Delors (1996), cuya finalidad era orientar la educación hacia el desarrollo de las competencias para la vida, llevó a transformar de alguna manera los estudios evaluativos de carácter internacional con una mejor calidad de indicadores y en 1997 se da inicio al Programa Internacional de Evaluación de Estudiantes (Program for International Student Assessment: PISA).

PISA está dirigida a valorar y evaluar, en algunas materias, las competencias que los estudiantes de quince años en diferentes países del mundo (pertenecientes a la OCDE) han adquirido y pretende disponer de un indicador de producto o resultado educativo que permita mejorar la información que se había desarrollado previamente en la organización. De esta manera, evalúa los sistemas educativos cada tres años en lectura, matemáticas y ciencias. En un principio, éste proyecto iba dirigido a los países pertenecientes a la OCDE, a partir del año 2001países no miembros podrían participar; tal es el caso de Chile. La evaluación apunta a contestar las siguientes preguntas: ¿Están los jóvenes preparados para enfrentar con éxito las tareas de análisis, razonamiento y comunicación que exigen las sociedades contemporáneas? Tienen los conocimientos y habilidades de Lectura, Matemática y Ciencias necesarios para desempeñarse con éxito en su vida adulta? ¿Son capaces de integrar estos conocimientos? ¿Están capacitados para seguir aprendiendo a lo largo de toda su vida, como está siendo y será la exigencia en los próximos años? Opcionalmente en las mediciones de PISA 2006 y de 2009 Chile evaluó una muestra representativa a nivel nacional de alumnos de 2° Medio, sin importar su edad. Un total de 19 países, entre ellos Chile, participaron el año 2009 en la prueba opcional de Lectura Digital ERA (Electronic Reading Assessment), cuyos resultados se entregaron en junio de 2011 (SIMCE, 2012), luego participó en PISA 2012, desde entonces como país miembro de la OCDE (único país latinoamericano), con foco en Matemática y en PISA 2015 con foco en Ciencias Naturales. Estas evaluaciones son de carácter muestral representativa de cada país. Las competencias a evaluar se presentan en la siguiente tabla:

Área de evaluación	Lectura	Matemáticas	Ciencias
Definición y características	Comprensión, reflexión y capacidad para utilizar la lectura para cumplir metas de cada cual en la vida	Capacidad de reconocer y formular problemas matemáticos en distintas situaciones.	Comprensión de conceptos científicos y capacidades para entender y aplicar razonamiento científico.
Contenidos	Materiales continuos como narraciones y argumentaciones y discontínuos: listas, gráficos, formularios.	Biodiversidad, fuerzas y movimientos, cambios fisiológicos.	Cantidad, espacio y forma, cambio y relaciones, incertidumbre.

Tabla 2: Competencias evaluadas PISA (Brunner, 2008)

Las evaluaciones internacionales de la calidad de la educación a nivel latinoamericano se centran en el Laboratorio Latinoamericano de la Calidad de la Educación (LLECE), dependiente de la UNESCO, que como se señala en su página web «es la red de sistemas de evaluación de la calidad de la educación de América Latina. Lo coordina la Oficina Regional de Educación de La UNESCO para América Latina y el Caribe y tiene su sede en Santiago de Chile». Las funciones del LLECE se centran en: producir información sobre logros de aprendizaje de los estudiantes de los países de la región y analizar los factores asociados a dichos logros, favorecer el debate y la reflexión sobre nuevos modelos y tendencias de evaluación de la calidad educativa y fortalecer el desarrollo de las unidades de evaluación de los distintos países de la región y propiciar el trabajo en red de estos sistemas (SIMCE, 2012). Una de las últimas actividades evaluativas del LLECE es el Tercer Estudio Regional Comparativo y Evaluativo (TERCE), realizado el año 2013 y sus resultados se presentaron en julio del año 2015.

Chile participó en el TERCE del año 2013 donde se evaluaron los niveles de 3° y 6° básico en Lenguaje (Lectura y Escritura) y Matemática, y en Ciencias solamente se evaluaron los alumnos de 6° grado. Participaron en total 15 países más 1 estado subnacional de Méjico. Los instrumentos de recolección de la información están compuestos por las pruebas de los alumnos de 3° y 6°, y cuestionarios para el estudiante, la familia, el docente, sobre la enseñanza, el director y una ficha de empadronamiento.

COMPARACIÓN SIMCE Y EVALUACIONES INTERNACIONALES

Con la información presentada de evaluaciones nacionales e internacionales realizaremos una comparación entre la prueba nacional chilena (SIMCE) y las características generales de las pruebas internacionales. Los rasgos son las siguientes: el tipo de prueba, la manera en que se presentan los resultados, la población objetivo, el objetivo de la evaluación, y las evaluaciones de contexto en relación a la población evaluada:

	Prueba nacional Chile	Pruebas Internacionales
Carácter	Censal	Muestra representativa
Resultados	Por escuela y rankings	Por País y rankings
Población objetivo	Básica y Secundaria	Básica y Secundaria
Estilo	Estandarizadas	Estandarizadas
Qué evalúa	Logro de Objetivos Fundamentales y Contenidos Mínimos Obligatorios	Conceptos, habilidades y competencias
Frecuencia	Anual (4° Básico), alternado (8° y secundaria), cada dos años (Inglés)	Cada tres años, mínimo, a cuatro años
Cuestionarios adicionales contextuales	Información sobre docentes, estudiante, padres y apoderados	Información sobre recursos en el hogar, actitudes hacia las asignaturas evaluadas, currículo, preparación y desarrollo profesional de profesores, sus prácticas de enseñanza, el uso de la tecnología en la sala de clases, los recursos escolares, la seguridad escolar, a los directores.

Tabla 3: Comparación entre evaluación nacional (SIMCE) e internacionales de calidad de la educación.

Las evaluaciones censales son aquella en que se evalúa la población objetivo en su totalidad, las de muestra representativa se eligen muestras de alumnos que se consideran ser representativos de la población real; Brasil, Chile e Inglaterra se destacan en realizar este tipo de evaluación a nivel nacional (Kellafhan et al., 2009).

Los resultados en la prueba nacional SIMCE se entrega por escuela en base a los logros de desempeño y se publican en base a rankings por asignatura y como promedio, mientras que las pruebas internacionales entregan información por país y su ranking. La población objetivo tanto en las pruebas nacionales como internacionales incluyen a alumnos de primaria y secundaria. Ambos tipos de evaluación son estandarizadas y miden los logros; después de todo, los alumnos pasan un tiempo considerable en las salas de clases y es necesario asegurarse que hayan realmente aprendido de su experiencia escolar. Sin embargo, según la UNESCO (2000), el uso de sólo los datos de los logros no es suficiente para medir la calidad de la educación, también se deben considerar aspectos como la infraestructura, los currículos, los recursos, las técnicas de enseñanza y actividades de preparación. Los alumnos “no pueden llegar a ser competentes al menos y hasta que los contenidos y los procesos en sus salas de clases los prepare para ello” (Haertel & Hermann, 2005, p. 21).

Como se aprecia en la tabla N° 4, las pruebas internacionales tienden a evaluar, junto a los contenidos, las habilidades y competencias. Además, pareciera que la información contextual que recogen las pruebas internacionales apuntan a obtener información sobre factores que están directamende relacionados a los procesos que están presentes al momento de hablar de la calidad de la educación de los alumnos. Algunos de estos factores son la infraestructura, la seguridad escolar, los recursos, los directores y los docentes de quienes se obtiene información sobre su preparación y desarrollo profesional, sus prácticas de enseñanza y uso de tecnologíal. Por último, las pruebas nacionales se administran todos los años, por lo que los resultados son conocidos a corto plazo; hecho relevante para evaluar innovaciones o corregir en caso de retroceso, mientra que las evaluaciones de las muestras internacionales tienen un proceso más prolongado en la entrega de evaluaciones.

La finalidad en ambos tipos de valuaciones hace referencia a la mejora de la calidad de la educación, basado en informaciones de calidad que ellas entregan. Los resultados de las evaluaciones siempre van a causar un impacto, ya sea a nivel nacional, regional o internacional, además de favorecer las investigaciones posteriores que van a contribuir a una mejora de la calidad en la educación. En el caso de las pruebas internacionales, se entrega un punto de partida para revisar y estudiar las políticas y prácticas de aquellos países que en forma relativamente constante han alcanzado los mejores resultados, tal es el caso de Alemania, Japón y México (Kellaghan et al., 2009).

Finalmente, los estudios internacionales tienden a alcanzar estándares técnicos más altos que los nacionales, y permiten que los participantes compartan los costos de desarrollo e implementación que en forma individual, en algunos casos, no lo podrían alcanzar (Kellaghan et al., 2009). Además, los resultados de las evaluaciones internacionales tienden a atraer la atención mediática y generan debate sobre los diversos temas de la calidad de la educación como por ejemplo en lo que realmente necesitan los estudiantes para alcanzar logros como también cambios curriculares, en especial en matemática y ciencias (Robitaille et al., 2000).

Es importante, sin embargo, considerar algunas dificultades en las evaluaciones internacionales. Debido a que la evaluación se lleva a cabo en muchos países, puede que sus contenidos no se adecúen al currículo nacional; además, no prestan la atención necesaria al contexto que opera en los sistemas educativos de cada país como tampoco factores culturales y contextuales. Por este motivo, hay que ser cauteloso al momento de tratar de implementar el mismo sistema educativo de países exitosos en países con culturas e historias diferentes.

OFSTED (Office for Standards IN Education)

Una manera más general de evaluar y monitorear los estándares de educación se realiza en Inglaterra a través de inspecciones a cargo del gobierno. Office for Standards in Education (OFSTED) es un departamento gubernamental que monitorea los estándares en los colegios en Inglaterra y Gales y su principal objetivo es resguardar el cuidado y bienestar de los niños y alumnos en los contextos educativos. Las instituciones a las que inspecciona son las siguientes: colegios, universidades, educación inicial del profesorado, las capacitaciones de habilidades de aprendizaje, comunidades de aprendizaje de adultos, entre otros. El objetivo principal es mejorar los estándares de vida a través del servicio que se entrega a los niños y alumnos en general y asegurando el buen uso del dinero que se emplea para ese fin. Sus prioridades son: que los niños y alumnos en general, alcancen excelencia, un comportamiento integral y valoren las diferencias individuales (ofsted.gov.uk, 2012). Se entregan informes a las escuelas sobre todos los aspectos evaluados. Estos informes están disponibles para los padres en línea. Los inspectores observan las clases, analizan el trabajo de los alumnos, conversan con los alumnos, docentes y personal, examinan los registros de notas, y realizan un escrutinio de los resultados que se administra a los padres y estudiantes (Jerald, 2012). Este sistema comenzó hace más de cien años atrás, en los principios de 1890, haciendo que Inglaterra fuera el primer país en Europa que modernizó el sistema de inspección de rutina en las escuelas (Jerald, 2012).

DISCUSIÓN Y CONCLUSIÓN

La discusión se enfocará en las dos preguntas principales del artículo: ¿Qué sistemas de medición son utilizados para medir la calidad educativa?, ¿Miden estos sistemas la calidad de la educación?

Muchos son los sistemas para evaluar la calidad de la educación a nivel nacional e internacional; todas ellas, sin embargo, como se demostró en el presente artículo, toman una asignatura curricular, en especial instrumental como base para medir competencias, habilidades o conceptos y aplican cuestionarios adicionales contextuales de la población objetivo.

La calidad educacional depende no solo de los resultados de los individuos, también de su calidad de vida y el progreso de la sociedad (Teneva, 2015). Medir conocimientos a través de evaluaciones estandarizadas no constituye un gran desafío, pero medir habilidades, competencias, contextos educacionales, calidad de vida y el progreso de la sociedad resulta más complejo.

La UNESCO (2010) sugiere que para evaluar correctamente la calidad educativa es necesario enfocarse en los derechos, debe ser relevante, pertinente y equitativa e incluir las siguientes dimensiones: aprender a conocer, a hacer, a ser y aprender a vivir juntos. Desde esta perspectiva, no basta con realizar pruebas estandarizadas y cuestionarios adicionales contextuales para medir la calidad educativa; es necesario reflexionar sobre observaciones directas en torno a lo que sucede en la sala de clase, cómo están aprendiendo los niños, qué prácticas de instrucción realizan los profesores, cómo conviven y socializan los niños, cuál es la cultura escolar en la escuela, cómo cooperan los apoderados, comparación entre currículo y real implementación de éste en las aulas, infraestructura y recursos, entre otras.

Dentro de los contextos educacionales, uno de los actores claves es el docente. Desde la perspectiva de los docentes y directores de escuelas (Torche et al., 2015), hay tres aspectos importantes para lograr una educación de calidad: (i) el compromiso y la preocupación personal por los estudiantes, (ii) la entrega de valores y de habilidades para la vida y (iii) los logros de aprendizaje y los componentes de la gestión. Pareciera que los sistemas de evaluación a nivel nacional en Latinoamérica tienden a percibir el tercer aspecto como el más importante para evaluar la calidad de la educación que reciben sus alumnos.

Chile es uno de los pocos países latinoamericanos que participa en múltiples evaluaciones internacionales a través de las organizaciones más conocidas a nivel mundial: International Association for the Evaluation of Educational Achievement (IEA) y la Organización para la Cooperación y el Desarrollo Económico (OCDE); además de Laboratorio Latinoamericano de la Evaluación de la Calidad de la Educación (LLECE): todas ellas censales. Además, los estudiantes chilenos son evaluados a través del SIMCE en forma anual en diferentes materias. Frente a este escenario, se deduce que la calidad de la educación en Chile debería estar en un alto estándar o haber progresado a través del tiempo, pero ¿Qué sucede?, a pesar de las variadas evaluaciones y reformas educacionales no se ha logrado mejorar sustantivamente. Quizás hay que considerar otros factores para lograr un avance. Según McKinsey & Company (2007) hay tres principios claves: i) la calidad del sistema educacional no puede exceder la calidad de los profesores, ii) la única manera de mejorar los resultados es mejorar la instrucción y, iii) para alcanzar altos logros universales de deben poner en práctica mecanismos que aseguren que los establecimientos educacionales entreguen instrucción de alta calidad a cada uno de los niños. Estos tres principios están enfocados en el docente por lo que el foco de la calidad de la educación se gira hacia la calidad de los docentes. La calidad de los docentes, a la vez, tiene relación con varios factores. Siguiendo a Avalos (2004), para lograr el buen desarrollo del docente, se debe conjugar tres aspectos: la formación de los profesores, donde los profesores formadores tienen un rol importante; al desarrollo profesional continuo del profesor, donde el docente debe estar alerta y comprometido con su trabajo; y a prestar atención a las necesidades del profesor en su entorno laboral, donde el Ministerio de Educación debe estar vigilante.

Finalmente, al considerar una evaluación de la calidad de la educación que incorpore factores que vayan más allá de las pruebas estandarizadas, como es el caso de Cuba, donde también se evalúa el desempeño de los docentes, directivos y funcionamiento de los centros escolares; o supervisiones de expertos en forma de inspección por escuela, como es el caso de Inglaterra, podría dar luces para lograr una optimización de la evaluación del sistema educativo chileno.

REFERENCIAS BIBLIOGRÁFICAS

Avalos, B. (2004). La Formación docente Inicial en Chile. IESALC

Benavot, A. & Tanner, E. (2007). The growth of national learning assessments in the world, 1995–2006. Background paper prepared for the EFA Global Monitoring Report. Paris: UNESCO.

Brunner, J. (2008). Calidad educacional y sus mediciones. Sesión 8 Cátedra Andrés Bello. Recuperado de www.brunner.cl

Censo de Finalización de la Educación Secundaria Argentina. Operativo Nacional de Evaluación (2010).

De la Orden Hoz, A. & Jornet, M. (2010). La utilidad de las evaluaciones de sistemas educativos: el valor de la consideración del contexto. Universitat de València. Bordón 64 (2), 2012.

Delors, J. (1996). La educación encierra un tesoro. París, UNESCO/Madrid: Santillana

DINECE. Dirección Nacional de Información Evaluación de la Calidad Educativa de Argentina.

ETP (2015). La Educación para Todos, 2000-2015: Logros y Desafíos. Paris: UNESCO.

Giné, C. (2002). «Des de l’esfera dels valors». Revista de Blanquerna, 7, 18-38.

Haertel, E. & Herman, J. (2005). A Historical Perspective on Validity Arguments for Accountability Testing. En J. Herman & E. Haertel (Ed.). Uses and Misuses of Data for Educational Accountability and Improvement: The 104th Yearbook of the National Society for the Study of Education, Part 2. Malden, MA: Blackwell.

ICILS International Computer and Information Literacy Study (2013). En International Association for the Evaluation of educational Achievements.

Informe Nacional de Evaluación de los Aprendizajes (2008). Educación Básica: Primero y Segundo Ciclo – Resumen Ejecutivo.

Informe de Seguimientode la EPT en el Mundo. (2015). La Educación para Todos, 2010-2015: Logros y Desafíos. Francia. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura.

Instituto Central de Ciencias Pedagogicas. (2012). Evaluación en Cuba.

Jerald, C.D. (2012). On Her Majesty’s School Inspection Service. Washington, D.C: Education Sector.

Kellaghan T., Greaney V. & Murray T. (2009). Using the Results of a National   Assessment of Educational Achievement. The International Bank for Reconstruction and Development / World Bank.

LLECE (2012). Latin American Laboratory for Assessment of the Quality of Education.

Mckinsey & Company. (2007). How the World’s best-performing school systems come out on top. Executive summary.

MINEDUC licita prueba estandarizada de inglés para las aplicaciones 2012 y 2014. Publicado: 12 may 2012 14:59 A nivel nacional.

Ministerio de Educación Perú. Evaluación Censal de Estudiantes. Secretaría de Planificación. Unidad de Medición de la Calidad Educativa.

Ministerio de Educación Ecuador. Sistema de Evaluación y Rendición de la Educación. Presencia Internacional.

Mortimore, P., Sammons, P., Stoll, L., Lewis, D. & Ecob, R. (1988). School Matters: The Junior Years. Wells: Open Books.

OECD (2011). Education at Glance 2011: OECD Indicators. OECD Publishing.

OFSTED REPORTS. Ofstead Raising Standards improving lives. What we do.

0REAL/UNESCO (2013). Situación Educativa de América Latina y el Caribe: Hacia la educación de calidad para todos al 2015. Santiago: Salecianos Impresores.

Ramirez, A. & Lorenzo, E. (2009). Calidad y Evaluación en los Centros Educativos No Universitarios en Andalucía. Una Adaptación Al Modelo EFQM. Revista Iberoamericana de Evaluación Educativa, 2 (2), 23-45.

Robitaille, D., Beaton, A. & Plomp, T. (2000). The Impact of TIMSS on the Teaching and Learning of Mathematics and Science. Vancouver, BC: Pacific Educational Press.

SERCE (2004 -2008). Segundo Estudio Regional Comparativo y Explicativo. Los Aprendizajes de los Estudiantes de America Latina y el Caribe. OREALC/UNESCO Santiago.

SIMCE (2012). Educar Chile.

SIMCE. (2012). ¿Qué es SIMCE?.

Teneva, M. (2015). The Essence of School Education. Trakia Journal of Sciences, 3, 237-240.

TERCE (2015). Tercer Estudio Comparativo y Explicativo: Antecedentes iniciales. Santiago: Oficina Regional de Educación para América Latina y el Caribe: UNESCO.

TERCE (2015). Tercer Estudio Comparativo y Explicativo: Factores Asociados. Santiago: Oficina Regional de Educación para América Latina y el Caribe: UNESCO.

TERCE (2015). Tercer Estudio Comparativo y Explicativo: Logros de Aprendizaje. Santiago: Oficina Regional de Educación para América Latina y el Caribe: UNESCO.

Torche, P., Martínez, J., Madrid, J. & Araya, J. (2015). ¿Qué es “Educación de Calidad” para directores y docentes?. Calidad de la Educación, 43, 103-135.

Unidad de Medición de la Calidad. Oficina de Medición de la Calidad de los Aprendizajes, Perú.