Las pruebas internacionales del Laboratorio SERCE-LLECE: ¿qué evalúa e innova el proyecto en lectura y escritura?^*

International tests: evaluation and innovation in the SERCE-LLECE: project in reading and writing

Fabio Jurado Valencia^**

Cómo citar este artículo: Jurado, F. (2010). Las pruebas internacionales del Laboratorio SERCE-LLECE: ¿qué evalúa e innova el proyecto en lectura y escritura?. Enunciación 15 (1) 15-32

^* Investigación: Proyecto “Segfundo estudio regional comparativo explicativo de la calidad de la educación – Serce”: Laboratorio Latinoamericano para la calidad de la educación en América Latina y el Caribe – Llece, Financiado por Unesco Oficina Santiago de Chile. 2004-2010.

^** Doctor en literatura, Miembro del equipo de trabajo en lectura y escritura UNESCO-CERCE, Profesor titular de Investigación en Educación de la Universidad Nacional de Colombia, Director del Grupo de Investigació en Evaluación fdjuradov@unal.edu.co

Resumen:

Este artículo realiza un balance analítico en torno a los fundamentos teóricos, las metodologías y los impactos sociales y pedagógicos del proyecto SERCE, del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación en América Latina y el Caribe (LLECE), coordinado por la UNESCO/OREALC. En tal sentido se ubican los antecedentes del proyecto. Con especial referencia al primer estudio (PERCE, 1997), se destaca el enfoque para el área de lectura y escritura, tanto en el primero como en el segundo estudio. A su vez, se muestran ejemplos de los ítems del SERCE en lectura, con los desempeños alcanzados y se sustentan los matices de la innovación y del impacto de dicha evaluación. El artículo muestra el grado de mejoramiento de los logros de Colombia en lectura, según este aplicativo.

Palabras clave: Evaluación externa innovación docentes lectura, escritura enfoque comunicativo, pedagogía.

Abstract

The objective of this article is to assess SERCE project’s theoretical fundaments, methodologies and social and pedagogic impacts. SERCE is an initiative from the Evaluation of Education Quality in Latin America Laboratory, coordinated by UNESCCO/ORELAC. The article starts with the project background, specially the first study, finished in 1997 (PERCE). It compares the two projects vision of reading and writing and shows the innovation, the impact and the results of the recent one. At the same time the article will give you an idea about the progress of Colombian achievements in reading.

Keywords: Evaluation, innovation. professors, reading, writing, communicative approach, pedagogy.

Introducción

En la década de 1990 se fundan los sistemas nacionales de evaluación en la mayoría de los países de América Latina y el Caribe. Los organismos internacionales que apoyan los programas de educación demandaban de nuestros países proyectos sostenidos que permitieran hacer seguimiento a la “calidad” de la educación escolar. En esta misma década se adelantaban reformas educativas que se materializarán en la Ley General de Educación de cada país (cfr. Jurado et. al. 2009). En el interior de la legislación aparecen capítulos o apartados relacionados con la evaluación de la calidad de la educación y la necesaria constitución de sistemas de evaluación en los que se invoca la importancia de diseñar pruebas externas cuyos resultados permitirían “medir la calidad de la educación”.

Si bien desde la década de 1980 ya se venían aplicando pruebas externas, como en Brasil, Chile y Colombia, con el objeto de determinar en dónde se encontraban los rezagos del aprendizaje escolar, dadas las altas tasas de repitencia y de deserción, será en la década de 1990 cuando se “perfeccionará” el diseño de pruebas “diagnósticas”. El criterio dominante en esta búsqueda fue el del “diagnóstico”, término que proviene de la medicina y que se ha incorporado desde entonces en el discurso de la educación, dando a entender que la escuela está enferma y que, en consecuencia, requiere de medicamentos según sean los resultados de dichos “diagnósticos”. Algunos de estos medicamentos se concentran en dos grandes ámbitos: la dotación de textos escolares (libros de texto en lenguaje y matemática) y la “capacitación” de los maestros.

Más en la “dotación de textos”que en la “capacitación” docente, las inversiones fueron altamente significativas en los países en la década de 1990. En algunos países, como en Colombia, la industria editorial encontró un camino para ofrecer y vender lo que tenía en las bodegas; así que no importaba entonces si los textos entronizaban con los enfoques curriculares y pedagógicos que la legislación sugería, sino vender lo que se tenía, y lo que se tenía distaba mucho de lo que desde la década de 1980, con la renovación curricular (cfr. MEN, 1984), se venía fundamentando en las áreas: la competencia comunicativa y el estudio del lenguaje desde el uso (el habla y la escritura auténticas), para el caso del área de Español (así se llamaba antes de la Ley General de Educación), y el análisis y la resolución de problemas para el caso de las áreas de matemática y de ciencias naturales. Tampoco en otros países, como pudimos observarlo con los estudios preliminares para el SERCE (cfr. UNESCO-LLECE-ICFES, 2005), los libros de texto incorporaron los enfoques que se consideraron como los más adecuados y necesarios para lograr aprendizajes más potentes en los estudiantes.

Por otro lado, en lo que respecta a la “capacitación” de los docentes, cuando se pudo invertir en ello, tampoco la orientación que se le dio respondió a lo que se esperaba: una actualización a partir de talleres con los que se analizarían casos genuinos tomados desde las aulas y desde los cuales se podría vincular la formación teórica en aspectos como las pedagogías específicas y sus relaciones con las disciplinas (lingüística, matemática, ciencias…), para definir propuestas innovadoras en las aulas. Al contrario, lo que ha prevalecido en la “capacitación”(término por cierto degradante, cuya connotación principal es la de considerar que los docentes no tienen capacidades y entonces hay que rehabitarlos a través de metodologías para aplicar) es la magistralidad de conferencistas de distinta condición cuyos destinatarios son las grandes masas de maestros. Sobre la investigación con los maestros poco se habla en nuestros países.

Puede concluirse entonces que los medicamentos dictaminados no fueron los mejores y que los rumbos a tomar frente a los problemas de la educación eran muy inciertos; se requería investigar y constituir grupos de interlocución, así como fortalecer organismos y grupos de trabajo, pues los resultados de las pruebas externas y de las encuestas de factores asociados eran insuficientes, como referentes para la definición de políticas de gran impacto. Cada país no podía por sí solo afrontar los problemas y tomar decisiones, por aquello del carácter tan relativo de lo que llamamos “calidad de la educación”. Como respuesta a esta necesidad se funda desde la UNESCO-OREALC el Laboratorio para la Evaluación de la Calidad de la Educación en América Latina y el Caribe (LLECE).

Entre los años 1994 a 1997 el LLECE, cuya oficina principal se encuentra en Santiago de Chile, adelanta una serie de estudios para analizar la situación de la educación en nuestros países. Así, en el año 1997, el LLECE se declara como “(…) un recurso técnico a disposición de los países latinoamericanos… (y) constituye también un ámbito de discusión técnico-política para la problemática del aprendizaje y sus variables relacionadas.”(UNESCO, 1997: 5). Paralelamente introduce un enfoque sobre la evaluación, asumida como una práctica de permanente retroalimentación para la cualificación, también permanente, del sistema de gestión, considerando como ejes principales en el desarrollo escolar el institucional y el pedagógico.

El LLECE no restringe sus análisis solo a los resultados de las pruebas que aplica sino que le da relevancia a la función transformadora de las innovaciones; por eso, señala que “un sistema educativo que pretenda anticiparse a las demandas futuras requiere, además, desarrollar una política que fomente las innovaciones. Consecuentemente, los Ministerios deben incentivar, conducir, evaluar, sistematizar y divulgar las innovaciones educativas. Para esto último, el Laboratorio surge como un elemento útil y propicio.”(UNESCO-LLECE, 1997: 5). En esta perspectiva considera que “… el aprendizaje de la lectura, la escritura y la matemática son los indicadores fundamentales de la calidad y del nivel de la educación para el ciclo formado por los tres o cuatro primeros grados de enseñanza…” (UNESCOLLECE, 1997: 5), cuestión que para entonces podía tener una cierta validez pero que hoy podemos interpelar al considerar que no se trata de observar los resultados de cada área por aparte sino de un todo, como lo es el lenguaje en proceso: tanto la matemática como las ciencias son lenguajes y dan cuenta del lenguaje aprendido en el contexto escolar (cfr. Jurado, 2008).

El primer estudio del LLECE

El LLECE realiza el primer estudio (PERCE), a partir de pruebas aplicadas en varios países, entre los años 1996 y 1997. Participaron en el primer estudio 13 países: Argentina, Brasil, Bolivia, Colombia, Costa Rica, Cuba, Chile, Honduras, México, Paraguay, Perú, República Dominicana y Venezuela. Las áreas evaluadas fueron Lectura y Matemática y el aplicativo se realizó en tercer y cuarto grado de la educación primaria, en instituciones públicas y privadas, de manera muestral.

Los componentes de la evaluación en lectura, en este primer estudio, nos revela el acoplamiento con el enfoque declarado en la legislación curricular de los países participantes (enfoque comunicativo es el nombre más recurrente); estos componentes son:

•“Identificación de tipos de texto

• Distinción entre emisor y destinatario de un texto

• Identificación del mensaje por tado por un texto

• Reconocimiento de la información específica de un texto y la identi ficación del vocabulario en relación con el universo semántico de un texto.” (LLECE, 2001: 12).

Como se observa, no se consideran para la evaluación las definiciones gramaticales, o la identificación de las partes de la oración y sus clasificaciones (bimembres, unimembres, exclamativas, interrogativas…), o las conjugaciones verbales. El criterio fundamental es evaluar la comprensión de texto; por eso, se ubicaron tres niveles de desempeño:

Nivel 1: Lectura literal primaria (nivel básico o simple)

Nivel 2: Lectura literal con paráfrasis (nivel intermedio)

Nivel3:Lecturainferencial(niveldemayorcomplejidad).

En el análisis de los resultados, Cuba se destaca con una diferencia significativa respecto de los demás países (el promedio de la región fue de 261 puntos, mientras que Cuba alcanzó 342puntos). Colombia, por su parte,con 253 puntos, se ubicó en la media en la evaluación en lectura y por debajo de la media en la evaluación de matemática. Según estos resultados se concluye que

La mayoría de los estudiantes realizan una comprensión fragmentaria de los textos que leen, reconocen las palabras incluidas en un texto, pero no consiguen determinar por qué se dice lo que se dice o para qué se dice. Ello podría indicar que en la región a los niños se les está enseñando a decodificar, es decir, a traducir las palabras escritas al lenguaje oral pero sin entender el significado del texto, ni interpretar lo que leen. Se aprende a leer un texto en voz alta o “pronunciar” un texto, aunque no a aprender leyendo. (LLECE, 2001, 13)

Con lo cual se deduce la contraposición entre el en foque comunicativo (insinuado en los currículos ofi ciales) y el enfoque que prevalece en las aulas: el enfoque gramaticalista o prescriptivo, que consiste en orientar el aprendizaje escolar de la lectura a partir de la buena pronunciación, hacer listados de oraciones y de palabras y saber definir las categorías de la lengua: el verbo, el adverbio, las preposiciones, los artículos… En este enfoque se le da prioridad a “saber leer de corrido” en voz alta, no importa si se comprende o no, pues se considera que esto podrá venir después.

Con el objeto de promover la reflexión sobre los propósitos y sobre los resultados y sus conclusiones, el LLECE publicó en el año 1997 una serie de Documentos, en el que aparecen: 1. El marco conceptual del LLECE; 2. Los sistemas de medición y evaluación de la calidad de la educación (V. Arancibia); 3. Estándares en educación: conceptos fundamentales (J. Casassus);4. Evaluación e inspección de estándares en Inglaterra (Reino Unido) (A. Dobson); 5. Tendencias en la enseñanza del lenguaje (G. Inostroza), 6. Habilidades cognitivas e competencias sociais (B. A. Gatti); 7. Relacoes entre parámetros curriculares e “standards”(N. Santos Fontanive). Por otro lado, cada ministerio tiene la autonomía para decidir sobre cómo promover los resultados y cómo saber usarlos en la definición de planes de desarrollo de su educación. Además UNESCO publicó en el año 2001 (LLECE, 2001) dos informes sobre los resultados del estudio. Sin embargo, son documentos que han circulado de manera muy restringida.

El segundo estudio del LLECE

En el año 2004, se constituyeron los primeros equipos de trabajo para el desarrollo del Segundo Estudio Regional Comparativo Explicativo de la Calidad de la Educación en América Latina y el Caribe (SERCE). El carácter inclusivo y participativo del proyecto implicó la solicitud a los ministerios de educación de los países (esta vez 16 países y un Estado sub-nacional) el envío de los currículos oficiales, los libros de texto y ejemplos de preguntas de los aplicativos nacionales, con especial énfasis en los grados tercero y sexto de educación primaria, grados en los que se haría el segundoestudio, en las áreas de lectura-escritura, matemática y ciencias (esta área solo en sexto grado). Se trataba de identificar las constantes temáticas y los enfoques de las áreas para desde allí decidir sobre los componentes y las estructuras de las pruebas. Este estudio fue encomendado al ICFES¹ (Colombia) y se publicó en el año 2005: Segundo estudio regional comparativo explicativo 2004-2007. Análisis curricular. Santiago de Chile. UNESCO.

El análisis de los currículos se realizó en las tres dimensiones inherentes al trabajo escolar: lo disciplinar, lo pedagógico y la evaluación, rastreando en cada documento recibido los enfoques y las visiones respectivas. Para el caso del área de Lenguaje y Comunicación (denominación más común en los países), se plantearon preguntas orientadoras que posibilitaran identificar el enfoque más dominante, así:

En la dimensión disciplinar, se aborda

•La lengua: ¿desde lo lingüístico-oracional? ¿o desde lo gramatical prescriptivo? ¿o desde lo lingüístico- textual?

•Laliteratura:¿desdelarecreaciónestética?¿odesdeun mediopara eldesarrollodehabilidades(saber escribir correctamente)ylaaprehensióndeprincipiosmorales? ¿odesdeuntipodetextooungénerodiscursivo?

•Otros lenguajes: ¿cómo medios para el desarrollo de habilidades? ¿o para identificar tipos de texto y géneros discursivos?

En la dimensión pedagógica, se asume el

•¿enfoque activo-constructivista (visión psicogené- tica del aprendizaje)?

•¿o el enfoque interactivo-constructivista (articulación entre la visión psicogenética del aprendizaje y el interaccionismo socio-cultural)? •¿o el enfoque instruccional-directivo (la enseñanza centrada en el docente, más que propiciar condiciones pedagógicas para el aprendizaje)?

En la dimensión evaluativa, prevalece

•¿el enfoque que recalca en la evaluación de contenidos definicionales?

•¿o el enfoque que pone el énfasis en “habilidades”, asumidas como rutinas y adiestramiento?

•¿o el enfoque que enfatiza en los estándares, los logros y las competencias?

Esta exploración sobre los enfoques y las perspectivas nos mostró el carácter actualizado de la legislación curricular, con la referencia de fuentes muy recurrentes entre los investigadores en educación. Así, en lo disciplinar es indudable la insistencia en asumir el estudio de la lengua a partir de su uso social, de las interacciones comunicativas y del análisis y la producción de texto; para el caso, se referencian a autores como Barthes (1989), Hymes (1996) y Teun van-Dijk (1980, 2000a, 2000b), entre otros. En relación con la dimensión pedagógica se reivindica tanto el enfoque activo-constructivista como el enfoque interactivo- constructivista y es muy recurrente la citación a autoras como Ferreiro (1997), Ferreiro y Teberovski (1979), Tolchinsky (1993) y Lerner, además de Vigotski (1972) y Piaget (1973). Sobre la dimensión evaluativa es notable el interés por promover el discurso de los estándares, los logros y las competencias, asociado con la evaluación integral y flexible.

El análisis curricular concluye que el enfoque dominante en los currículos declarados, para el área de LenguajeyComunicación, es eldenominado enfoque comunicativo,que está asociado conlalingüísticadel texto o elanálisisdeldiscurso.Por eso,“en concreto,la pruebadeláreadelecturadelSERCEsefunda en una macrohabilidadparalavida:ladeinterpretaryresolver de manera acertada problemas comunicativos a partir de información escrita situada en diversos textos auténticos.”(SERCE,2008:87).Es importante señalar que sobre la base de este enfoque la coordinación del SERCE solicitó a los países la elaboración de preguntas, las cuales fueron seleccionadas, depuradas y ajustadas por un equipo coordinador del área. Los componentes consideradosparalaelaboracióndelosítemsfueron:

En los procesos generales (propios de todo acto de lectura):

•Reconocer información literal o sinónima.

•Inferir información ausente.

•Relacionar datos.

•Discriminar datos.

•Reconocer una síntesis de varias informaciones.

•Generalizar datos clave en un texto sintético, como el cuadro sinóptico.

•Reconocer usos figurados del lenguaje.

•Analizar unidades de significado mínimos, como los afijos (“pre”, “sub”, etc.).

En los procesos relativos a textos específicos (lectura de cierto tipo de texto y géneros):

•Reconocer lo explicado en un discurso científico.

•Identificar los subtemas en los que se organiza una descripción.

•Reconocer las intenciones de un personaje de ficción.

En los procesos metalingüísticos (el conocimiento sobre la lengua en uso):

•Mostrar el conocimiento que se tiene sobre ciertos términos de la lengua, desde el uso.

•Poder preguntarse a sí mismo sobre cómo es el lenguaje del texto que se lee: ¿es una noticia? ¿es una carta? ¿cómo está dado el conflicto en el cuento?

Para comprender lo que se propuso el SERCE en Lectura se pueden esbozar tres grandes preguntas y sus respuestas:

•Qué es lo que se evalúa: Interpretar, analizar y resolver problemas comunicativos;

•Cómo se evalúa: a partir de información escrita situada en diversos textos auténticos;

•Por qué se evalúa lo que se evalúa: en congruencia con el enfoque comunicativo, esto es, la concepción interactiva y constructiva sobre el aprendizaje de la lectura, insinuada en los currículos de los países participantes.

De qué modo leen los niños los textos que circulan en la cultura constituye entonces el horizonte fundamental del SERCE; en consecuencia, no se trata de indagar sobre las definiciones de las categorías gramaticales, o las definiciones de un determinado género discursivo (qué es una carta, una receta, una leyenda, una noticia…) o la identificación de datos relacionados con las biografías de los autores, como tiende a aparecer en los libros de texto². El SERCE considera que se trata de indagarporlossaberesquelosniñosportanenrelación con los formatos textuales y los géneros discursivos, y la manera como interpretan los mensajes vehiculados en los textos, sobre todo de aquellos textos que son recurrentes en la vida cotidiana. Por eso, la prueba está diseñada totalmente con textos para leer, sean estos narrativos, descriptivos, explicativos, argumentativos o instruccionales. Algunas de las fuentes teóricas que sirven de base para fundamentar los propósitos del SERCE son las de Teun van-Dijk (1980) y J. M. Adam (1992), sin duda dos fuentes necesarias para la aprehensión del enfoque comunicativo.

Los niveles de desempeño considerados en la comprensión de lectura fueron:

Nivel 1: Lectura literal, con foco local (identificar una palabra o una frase en un texto);

Nivel 2:Lectura literal, con paráfrasis (saber glosar o saber decir con otras palabras lo que un enunciado dice);

Nivel 3: Lectura inferencial simple (identificar en un texto los significados implícitos elementales);

Nivel 4: Lectura inferencial compleja (saber relacionar un texto con otro, saber identificar las intencionalidades en los textos, saber producir conclusiones según la especificidad de los textos…).

Los ítems que se proponen indagan tanto por los niveles elementales como por los niveles complejos.

A continuación presentamos algunos ejemplos, tomados de los informes que el SERCE-LLECE-UNESCO ha publicado, de manera impresa y en la página virtual. El siguiente ejemplo, para tercer grado, es un ítem que indaga por el dominio de la lectura literal (identificar información local destacada) según la secuencialidad espacio-temporal de una historieta.

Considerando el final de la historia, un nuevo dibujo que la haría avanzar sería el de:

A. La abeja saliendo de un panal.

B. El señor y su amada conociéndose.

C. El senor caminando hacia las flores.

D. Un médico examinando la nariz del señor.

Los dos cuadros centrales (A y B) orientan al lector en la identificación del orden de las secuencias espacio- temporales que constituyen la historia. De un lado, el lector asociará el texto no verbal (íconos, como los corazones y el rostro de una mujer, que son índices del enamoramiento de un hombre, quien se apresta a tomar una flor). De otro lado, reconocerá el evento que implica cortar una flor y olerla, mientras la aureola del enamoramiento (los corazones) continúa, para luego contrastar el cuadro A (la abeja en la nariz) con el cuadro D (la hinchazón producida por la picadura de la abeja, o final de la historia). El análisis de SERCE concluye que “los textos gráficos son más simples que los verbales, ya que los alumnos comienzan a interactuar con ellos mucho antes de la alfabetización lingüística...” (Atorresi et. ál, 2009: 38).

Respecto a un ítem como este hemos de considerar que si los niños logran responderlo adecuadamente, como en efecto lo logró un alto porcentaje de toda la muestra (el 76,33 %), es porque los niños están en condiciones intelectuales de leer textos más complejos; es decir, historietas como esta constituyen textos de base o de entrada con los cuales se identifica el comportamiento natural del pensamiento de los niños; lo que sigue es una labor pedagógica de la escuela: ir acercando a los niños a textos más complejos y aún con estos textos jugar a producir inferencias. Para cada ítem el SERCE muestra la caracterización especí¢ca y el desempeño o su funcionalidad; este cuadro nos ilustra la manera como se organizan los componentes de lo que se evalúa:

Casi el 80 % logra el dominio: reconocer la secuencia final en una historieta; esto nos muestra que el niño de tercer grado puede reconstruir espacial y temporalmente el ordendeunahistoria; esdecir,lamayoría de los niños sabe leer una historieta en su nivel literal- local.Introduciralosniñosenunapruebadelápizypapel a partir de una historieta constituye una estrategia necesaria, pues a través de la imagen visual los niños se relajan y se entusiasman. De otro lado, esta ficha constituye un buen referente para, más allá de estas pruebas, organizar en el ámbito del trabajo en el aula los objetos de la evaluación y sus resultados: identificarelniveldeloqueseevalúa, losdominiosevaluados, los procesos en juego y reconocer la acción o tarea.

Los niños pueden usar estas fichas para la autoevaluación en el aula.

Con la misma historieta se indaga también por niveles de lectura más complejos; es el caso de las actividades que exigen procesos de predicción, que implican la interpretación a partir de información implícita, realizando asociaciones e inferencias. Así, sobre la misma historieta, se pregunta:

Considerando el final de la historia, un nuevo dibujo que la haría avanzar sería el de:

A. La abeja saliendo de un panal.

B. El señor y su amada conociéndose.

C. El senor caminando hacia las flores.

D. Un médico examinando la nariz del señor.

La ficha en la que se representa la estructura del ítem es:

En el análisis de los resultados se concluye respecto a este ítem que se trata de “traducir el código gráfico al verbal y colocar con coherencia una consecuencia que aumenta las acciones. Se ve, entonces (…) que identificar el final dado en el texto resulta más simple que adjudicar a la narración uno nuevo”; se observa también “que mantenerse dentro de un mismo código –gráfico, en el primer ítem, es más fácil para los estudiantes que combinar dos o traducirlos.”(Atorresi y cols, 95). En efecto, prever lo que acontecerá sobre la base de información dada, parece ser más difícil para los niños de tercero, que dar cuenta de lo acontecido.

En general, respecto a los resultados de las pruebas, el SERCE muestra que aproximadamente la mitad de los estudiantes de tercero, de educación primaria, muestran el dominio de los niveles I y II: “localizan en medio de un texto breve, información que debe ser distinguida de otra, identifican palabras de un solo significado, reconocen reformulaciones simples de frases y redundancias entre los códigos gráfico y verbal.”(SERCE, 105). Por otro lado, en el Nivel III (lectura inferencial simple) el 21.6 % lo logra; es decir, muestran la habilidad para discriminar “el significado de palabras que tienen varios basándose en el sentido del texto.”Finalmente, en el nivel IV “se ubica el 8,4 % de los estudiantes evaluados en tercer grado”, quienes “realizan todo lo que hacen los estudiantes delos niveles anteriores,yademásintegranygeneralizan información distribuida en un párrafo, reponen información no explícita, prosiguen el texto ubicando información con un solo significado, reiterada y aislada de otra, destacada y muy breve.” (SERCE:106). Esto nos indica la importancia de llamar la atención a los docentes entorno a la necesidad de cultivar entre los niños la lectura inferencial compleja; se trata de no pasar tan rápido por los textos sino de detenernos en ellos explotando sus universos de sentido.

Para el caso de sexto grado, sumados los niveles I y II (lectura literal local y por paráfrasis), un poco más de la mitad (el 52%) lo logra, mientras que el 26,8% realiza inferencias simples cuando “relacionan dos textos, reponen información implícita en el párrafo, releen en busca de datos específicos…” (SERCE, 110). A su vez, “una quinta parte de los estudiantes de sexto grado se ubica en el nivel IV”; es decir, saben “integrar, jerarquizar y generalizar información distribuida en todo el texto; establecen equivalencias entre más de dos códigos (verbal, numérico y gráfico); reponen información implícita correspondiente al texto completo; reconocen los significados posibles de ciertos tecnicismos, discriminan sentidos en usos figurados del lenguaje y distinguen diferentes voces en un mismo texto.” (SERCE:111).

Además del criterio relacionado con la introducción de historietas en las pruebas para enganchar a los niños en la evaluación, otro criterio es el de los temas relacionados con los animales, que resultan muy atractivos para los niños de tercero y sexto grado. La prueba de SERCE introdujo un porcentaje importante de textos cuyos temas son los animales. Veamos un ejemplo:

El MONO-LEÓN DORADO

De todas las especies de mamimeferos del mundo, 10 de cada 100 viven en brasil. Entre ellas se encuentran el mono-león dorado, que debe su nombre a la gran cantidad de pelo que tiene en la cabeza y en el cuello, cuyo color es esepcial- mente dorado, y también café y negro. Este mono mide entre 20 y 35 centimetros. Pueden vivir hasta 15 años. Se alimentan de insectos y frutas. En 1960, solo quedaban 100 ejemplares. Actualmente, gracias a la intervención de diversos programas , hay unos 1000.

Los monos-león dorados pueden vivir hasta:

A. 1O Años.

B. 15 Años.

C. 20 Años.

D. 25 Años.

Se trata de un texto descriptivo-enciclopédico en el que se introducen datos numéricos con los que se indica: cantidad, medida y longitud (de vida). Con la excepción del segundo párrafo, en los demás aparecen cifras. Lo que está en juego es saber leer las cifras en el contexto del texto lingüístico-verbal dado. El ítem se ubica en el nivel II. El 63,42 % respondió adecuadamente el ítem. Como se observa, en el tercer párrafo aparece explícitamente la proposición “Puede vivir hasta 15 años”, que es casi la transcripción que sirve de entrada al ítem. Sin embargo, el 15,12 % marcó la opción D y el 10,89 % la opción A. SERCE concluye respecto a este resultado que “hay niños que releen bien, niños que no releen bien y niños que no releen y responden apelando a una memoria a corto plazo que, en términos de números, es muy poco duradera.” (Atorresi et. al, 2009, 59). Hemos de considerar desde luego el contexto de la situación de examen que puede in´uir en los resultados, pero vale la pena probarlo en una situación distinta, como la cotidianidad del aula en donde se espera cultivar la relectura de los textos: si el niño se equivoca en el aula tiene la oportunidad de ser acompañado para buscar respuestas a los dilemas de los textos; en todo caso siempre podrá llegar a la respuesta por compleja que ésta sea. La publicación de los ejemplos, por parte del SERCE, y su correspondiente explicación, tienen un propósito pedagógico y buscan insertarse en planes de formación de los docentes. Los ítems que se publican pueden probarse de nuevo en las aulas y trabajar con ellos análisis metacognitivos: por qué es tal respuesta y por qué no otra. El repertorio cognitivo de los niños se amplía al analizar las distintas opciones que contiene una pregunta; en esta perspectiva, la evaluación empuja hacia el desarrollo del pensamiento.

Los textos de divulgación científica hacen parte de los intereses de los niños y circulan ampliamente a través de revistas y de programas de televisión. Como ya dijimos, la prueba de lectura del SERCE dedicó una porción importante de las preguntas en torno a este tipo de textos, tanto para tercero como para sexto. Un ejemplo para sexto grado es el siguiente:

¿LAS SERPIENTES ATACAN LO QUE VEN?

Las serpientes carecen de párpados quese abren y se cierran. Por eso, dan la impresion de mirar implacablemente. Sin embargo, la mayoria de ellas son cortas de vista y algunas, incluso, ciegas. El Sentido mas refinado de estos reptiles es el olfato. Las sepientes sienten los olores con la lengua. Debido a esto, para defenderse, para percibir una presa, y para encontrar pareja, siempre la tienen puesta para afuera. Muchas tambien poseen un sentido que se llama “termo- recepción”. “Termo” proviene del griego y significa “calor”. Entonces, la termo-recepción permite a las serpientes localizar a las presas o detectar peligros por las temperaturas que producen los cuerpos. Por medio de esta extraordianaria capacidad hasta pueden perseguir y matar a sus presas en la oscuridad.

En “el sentido mas “refinado”, la palabra subrayada es equivalente a:

A. “desarrollado”.

B. “elegante”.

C. “mortal”.

D. “astuto”.

Se trata de un texto descriptivo, cuyo género discursivo es la divulgación científica.

Este ítem se ubica en el nivel III y la acción o tarea a realizar implica saber “discriminar el significado de una palabra del de sus sinónimos en otro contexto y del dominante en el texto apoyándose en el contexto verbal”(SERCE, 2008, 100). La opción correcta fue marcada por el 52,10 % de los estudiantes y SERCE concluye que tal índice de estudiantes logra determinar “el sinónimo de una palabra (refinado), en la frase que la incluye (el sentido más refinado) y que encabeza la cuarta oración de un texto denso, sin separación en párrafos, lo que dificulta la localización.”Por otro lado, “la sinonimia entre sentido más refinado y sentido más desarrollado (la clave) es compleja”, pues “está implícita y debe reconstruírsela mediante la lectura del resto del texto”. Identificar la respuesta “exige hacer una inferencia integrando datos del texto y, además, descartando ideas previas o comunes.”

Los resultados generales del SERCE en lectura

Presentamosacontinuaciónlamaneracomoseubicaron los países, según sus promedios.

Para tercer grado:

Como se observa, Cuba se ubica por encima de los 600 puntos y sirve de referente para comprender los efectos de un proyecto educativo cuando un determinado gobierno lo tiene. Nos llama la atención la ubicación de Costa Rica, al lado de Chile y del Estado sub-nacional de Nuevo León, pues es el único país centroamericano que logra posicionarse muy bien en estas pruebas. Colombia aparece por encima de la media al lado de un país que, como Argentina, se ha caracterizado por una alta tradición lectora. Recordemos que en el estudio de 1997 Colombia estaba en la media en lectura; ahora con el SERCE logró subir, lo cual es loable dadas las adversidades sociales: en el estudio sobre los factores asociados aparece como el país de mayor inequidad.

Para sexto grado:

De nuevo Cuba aparece arriba aunque con menor dis-grados: Costa Rica y Chile permanecen en un lugar su- tancia respecto a los demás países. La consistencia de perior, seguidos por Uruguay, el Estado sub-nacional la prueba y la constancia de los proyectos educativos de Nuevo León, México y Colombia. Los logros de Cose revela en la coincidencia de los resultados en los dos lombia en sexto grado son mayores que en tercero, lo cual nos indica que en la educación primaria se ha ido cuali¢cando la pedagogía de la lectura. Estos logros deben mucho al trabajo que ha adelantado la Red Colombiana para la Transformación de la Formación Docente en Lenguaje y a las investigaciones que sobre la pedagogía del lenguaje se han desarrollado en el país, en el transcurso de las dos últimas décadas. (cfr. ICFESSOCOLPE, 2001)

Por otro lado, los resultados del SERCE no se restringen a informar datos numéricos descontextualizados sino a trascender los datos en análisis cualitativos, con el propósito de ayudar en la re´exión sobre lo que está ocurriendo en la escuela pero también de ofrecer algunas señales y caminos para la investigación. Por ejemplo, resulta interesante la manera como son analizados los desempeños en el libro Aportes a la enseñanza de la lectura (Atorresi y colbs, 2009) en donde, por ejemplo, se muestra cuáles son los tipos de texto y los géneros discursivos de mayor complejidad para su aprendizaje en cada país, según estos resultados:

Resultados del país, sexto grado

De lo cual se infiere (son hipótesis) que, para el caso de Colombia, los textos narrativos son los más recurrentes en el aula: en la lectura de cuentos hay desempeños altos y en la lectura de fábulas, desempeños significativamente altos. En los demás tipos de textos y sus géneros prevalecen los desempeños medios, estando los más bajos en la lectura de textos descriptivos, como la crónica.

El impacto y las innovaciones del segundo estudio del LLECE

En las reuniones iniciales de los equipos académicos de trabajo para el SERCE, llevadas a cabo en 2004, en Santiago de Chile, se señaló la importancia de tender un puente entre el diseño de las pruebas (con la participación de grupos de trabajo en cada país), los resultados (con la socialización y divulgación a través de publicaciones y de foros) y las prácticas pedagógicas en las aulas (con talleres y planes de formación de los docentes y los directivos escolares). Es decir, una preocupación fundamental era la de cómo lograr el sentido de inclusión en el SERCE y cómo promover la reflexión sobre los resultados y su carácter referencial en la toma de decisiones de los directivos escolares y sus docentes, en la perspectiva de promover innovaciones en la escuela, como se lo ha propuesto el LLECE desde su fundación.

Por entonces, la directora del LLECE, Ana Luisa Machado (2001), expresaba todo su respaldo a las iniciativas para acercar a las escuelas participantes en la muestra, en el análisis de los resultados. De hecho, esta intencionalidad comenzó a expresarse en los talleres que, por ejemplo, para definir la prueba de escritura, se llevaron a cabo en varios países con la participación de maestros y maestras de educación básica, pero también con el envío de textos y de preguntas para armar laprueba sobrelectura.Las memoriasde estostalleres y los materiales enviados desde cada país revelan el carácter deliberativo y participativo del proyecto. Esta intencionalidad se materializa también en los talleres que sobre los resultados se destinaron a los directores de las escuelas de seis países, en el año 2010: República Dominicana, Ecuador, Panamá, Guatemala, Paraguay y Nicaragua. Asimismo, para lograr la so- cialización y divulgación amplia se han publicado, de manera impresa y digital, los siguientes materiales:

2005: SERCE. Análisis curricular

2007: Documentos. Reglas para elaborar ítems de formato de selección y de producción

2008: Primer Reporte de Resultados: Los aprendizajes de los estudiantes de América Latina y el Caribe

2008: Eficacia escolar y factores asociados en América latina y el caribe

2008: Reflexiones en torno a la evaluación de la calidad educativa en América Latina y el Caribe

2008: Reporte técnico. SERCE

2008: Los aprendizajes de los estudiantes de América Latina y el Caribe. Resumen ejecutivo del primer reporte de resultados del Segundo Estudio Regional Comparativo y Explicativo.

2009: Aportes para la enseñanza de la lectura

2009: Aportes para la enseñanza de la matemática

2009:Aportesparalaenseñanzadelascienciasnaturales

2010: Factores Asociados al logro cognitivo de los estudiantes de América Latina y el Caribe

2010: Escritura. Un estudio de las habilidades de los estudiantes de América latina y el Caribe.

Pero sin duda una de las innovaciones más importantes del SERCE lo constituye la prueba de escritura. Es muy común en las pruebas externas evaluar la escritura de manera restrictiva, cuando se propone completarfrases ointroducir unadeterminadapalabra en sustitución de otra. Este tipo de evaluaciones no permiten evaluar la textualidad que presupone la escritura como construcción de mensajes y configu- ración de destinatarios. Luego de muchas discusiones en los equipos del SERCE, sobre las dificultades implicadas en la evaluación de una prueba masiva en escritura, hubo el respaldo del LLECE y su aplicación se hizo por separado de la prueba de lectura. Los análisis de los resultados también se realizaron por aparte al considerar que la escritura constituye la experiencia fundamental en los dominios cognitivos comprometidos por la escuela y su estudio contribuye a complementar lo que una prueba de lectura no alcanza a dar cuenta.

El grupo de lenguaje de SERCE, coordinado por Ana Atorresi (cfr. 2010), acordó evaluar la escritura considerando el paso del borrador al texto definitivo, según una consigna dada. La consigna solicitaba la elaboración de un texto descriptivo; este es otro punto central: el evaluador, ya sea el profesor de lenguaje, o de ciencias naturales, o de matemática o de otras áreas, ha de ser explícito en el tipo de texto que solicitaseaproducidoporelestudiante:¿textonarrativo?, ¿texto descriptivo?, ¿texto argumentativo?, ¿texto explicativo? ¿texto instructivo?. Un estudio más en profundidad está por hacerse en relación con los modos como se imparten las consignas en las aulas escolares. Desde el SERCE se lanzan algunas señales al respecto, en el libro: Escritura. Un estudio de las habilidades de los estudiantes de América latina y el Caribe (2010).

La relevancia de la prueba de escritura está dada en que por primera vez se evalúa (desde un programa de evaluación externa) la producción de un texto completo y, a la vez, mostrar que para lograrlo se requiere de al menos tres pasos en el proceso: 1. Elaboración del borrador; 2. la reflexión sobre lo consignado en el borrador y cómo proceder según la consigna, y 3. fi- nalmente, el desarrollo del texto definitivo. La planilla de evaluación (o rejilla) constituye también dispositivo desde el cual se pueden orientar talleres de formación para los docentes considerando lo disciplinar- curricular (son las categorías que se seleccionan), las pedagogías (son los modos como se procede para orientar la aprehensión de un aprendizaje) y la evaluación (son los niveles de logro por alcanzar). Veamos la planilla de evaluación de la escritura en SERCE:

La planilla muestra cuatro secciones: la del borrador, la del texto definitivo, la del escrito adecuado o no a la consigna y la del escrito solo adecuado a la consigna. La prueba busca caracterizar los niveles de logro en escritura de los niños, reconociendo la producción; en la perspectiva de la evaluación de competencias comunicativas se trata de identificar en qué estado se encuentra la competencia, no cuáles son las deficiencias. Una hipótesis que puede proponerse en estas reflexiones es la de considerar que al reconocer el estado de la competencia (por dónde va el proceso) el sujeto obra metacognitivamente y avanza en el proceso. La planilla también se propone ser una señal pedagógica para los docentes al destacar algunas categorías que son fundamentales en el trabajo con la escritura en el aula: el dominio grafemático, la relación tema-subtema, el acoplamiento a una consigna, las clases de texto, la distribución adecuada de la información, el léxico, la concordancia, entre otras.

A manera de conclusión

Paradójicamente la escuela tradicional aborda de forma unilateral la escritura: primero se enseña el aspecto técnico, asociado básicamente con el conocimiento del alfabeto, la copia de palabras, la transcripción de oraciones en forma de planas... Luego se aborda la lectura y, finalmente, la producción de textos completos (cfr. Ferreiro y Teberosky, 1979; Tolchinsky, 1993). El estudio de SERCE sobre la escritura ha permitido develar la distancia entre los enfoques declarados en la legislación curricular (el enfoque comunicativo) y los enfoques eclécticos de los libros de texto, así como la realidad de lo que ocurre en las aulas (reiteración descontextualizada de la normatividad gramatical). La escritura de los niños permite identificar estos enfoques, esto es, denuncian, la manera como se concibe la lectura y la escritura en el contexto escolar. Al respecto, será necesario realizar un estudio más puntual y etnográfico, contrastando lo que se observa en las aulas, lo que se consigna en los cuadernos y lo que imponen los libros de texto.

Reconocimientos

Proyecto SERCE, del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación en América Latina y el Caribe (LLECE), coordinado por la UNESCO/ OREALC.

Notas a pie de página

¹ El Grupo de Investigación en Evaluación, de la Universidad Nacional de Colombia, asesoró al ICFES en todo el proceso del SERCE.

² El análisis realizado a los libros de texto enviados por los países nos mostró el carácter ecléctico de estos materiales instruccionales: aparece la intención comunicativa al presentar un determinado género discursivo e inmediatamente aparece el uso del texto para confirmar una determinada categoría gramatical (por ejemplo, identificar los verbos en un poema o en un cuento).

Referencias

Adam, J-M. (1992) Les textes. Types et prototypes – Recit, description, Argumentation e dialogue. Paris. Nathan.

Adam, J-M. y Petitjean, A. (1989) Le texte descriptif. Paris, Nathan.

Atorresi, A. (1996) Los estudios semióticos. El caso de la crónica periodística. Buenos Aires: Prociencia-Conicet.

Atorresi, A. (2006) Talleres de expertos. Área de Lenguaje. s/p.

Atorresi, A. (2008) Construcción y evaluación de consignas. Materiales didácticos: lenguajes y mediaciones para la enseñanza. Buenos Aires: FLACSO.

Atorresi, A. y cols. (2009) Aportes para la enseñanza de la lectura. Santiago de Chile: SERCE-UNESCO.

Atorresi, A. & cols. (en prensa). Los aprendizajes en escritura de los estudiantes de América Latina y el Caribe. Santiago de Chile: UNESCO/OREALC.

Barthes, R. (1989) El susurro del lenguaje. Barcelona: Paidós.

Bronzina. Liliana, et. ál. (2009) Aportes a la enseñanza de la matemática. Santiago de Chile: UNESCO.

Calsamiglia, A. & Tusón, A. (1999) Las cosas del decir. Manual de análisis del discurso.Barcelona: Ariel.

Cassany, D. (1999) Construir la escritura. Barcelona: Paidós.

Ferreiro, E. &Teberosky, A. (1979) Los sistemas de escritura en el desarrollo del niño. México: Siglo XXI.

Ferreiro, E. (1997)Alfabetización. Teoría y práctica. México: Siglo XXI. Goodman, K. S. (1967) Reading: A Psycholinguistic Guessing Game. Journal of the Reading Specialist, 6, 126-135.

Enunciación Vol 15, Núm. 1 enero junio de 2010 Bogotá, Colombia/ ISSN 0122-6339151/ pp. 8-17

 Las pruebas internacionales del Laboratorio SERCE-LLECE: ¿qué evalúa e innova el proyecto en lectura y escritura?

Hymes, D. (1996) “Acerca de la competencia comunicativa”. En: Revista Forma y Función. Nº 9. Departamento de Lingüística de la Universidad Nacional de Colombia.

Jurado, F. (2009). “El enfoque sobre competencias: una perspectiva crítica para la educación”. En: Revista Complutense de Educación. Vol. 20. Núm. 2 (2009), Universidad Complutense de Madrid.

Jurado, F. (2009) “La evaluación de la escritura para la evaluación de la lectura”. En: Revista Iberoamericana de Evaluación. Nº. 1. Madrid (web revista iberoamericana de evaluación).

Lemonié, J. et. ál. (2009) Aportes a la enseñanza de las ciencias naturales. Santiago. UNESCO.

León, J.A. y Escudero, I. (2000) “La influencia del género del texto en el procesamiento de inferencias elaborativas”. En J.A. León (ed.). La comprensión del discurso escrito a través de las inferencias: claves para su investigación. Barcelona: Paidós.

Lomas, C. & Tusón, A. (2009) Enseñanza del lenguaje, emancipación comunicativa y educación crítica. El aprendizaje de competencias comunicativa en el aula. México: Edere

Machado, Ana Luisa. (2001) “Prólogo” a Primer estudio internacional comparativo sobre lenguaje, matemática y factores asociados, para alumnos del tercer y cuarto grado de la educación básica. Santiago de Chile: UNESCO-LLECE.

LLECE/ICFES.(2005) SERCE. Análisis curricular.Santiago de Chile:OREALC/UNESCO-LLECE.

LLECE OREALC/UNESCO/SERCE. (2007) “Documentos. Reglas para elaborar ítems de formato de selección y de producción”. Santiago de Chile: UNESCO.

LLECE OREALC/UNESCO/SERCE. (2008) Primer Reporte de Resultados: Los aprendizajes de los estudiantes de América Latina y el Caribe. Santiago de Chile: UNESCO.

LLECE OREALC/UNESCO/SERCE. (2008) Eficacia escolar y factores asociados en América latina y el caribe. Santiago de Chile: UNESCO.

LLECE OREALC/UNESCO/SERCE. (2008) Reflexiones en torno a la evaluación de la calidad educativa en América Latina y el Caribe.

LLECE OREALC/UNESCO/SERCE. (2008) Reporte técnico. SERCE.

LLECEOREALC/UNESCO/SERCE.(2008)Losaprendizajes de los estudiantes de América Latina y el Caribe. Resumen ejecutivo del primer reporte de resultados del Segundo Estudio Regional Comparativo y Explicativo. Aportes para la enseñanza de la matemática.

LLECE OREALC/UNESCO/SERCE. (2010) Factores Asociados al logro cognitivo de los estudiantes de América Latina y el Caribe. Santiago de Chile: UNESCO.

Piaget, J. (1973) La representación del mundo en el niño. Madrid: Morata.

Tolchinsky, L. (1993) Aprendizaje del lenguaje escrito. Barcelona:Anthropos.

UNESCO. (2001) Primer Estudio Internacional Comparativo sobre Lenguaje,

Matemática y factores asociados, para alumnos del tercer y cuarto grado de la educación básica, Bogotá: MEN.

Van-Dijk, Teun. (1980) Estructuras y funciones del discurso. México: S. XXI.

Van-Dijk, Teun. (2000a) Comp. El discurso como estructura y proceso. Barcelona: Gedisa.

Van-Dijk, Teun. (2000b) El discurso como interacción social. Barcelona: Gedisa.

Vigotsky,L.(1972)Pensamientoylenguaje.Madrid:(s.e.).