DOI:
https://doi.org/10.14483/22486798.21729Publicado:
03-07-2024Número:
Vol. 29 Núm. 1 (2024): Lenguaje, medios audiovisuales y tecnología (Ene-Jun)Sección:
Pedagogías de la lenguaCategorías
Diseño y validación de una rúbrica para elaborar consignas de escritura
Design and Validation of a Rubric for Elaborating Writing Instructions
Conceção e validação de uma grelha de avaliação para a elaboração de propostas de redaçã
Palabras clave:
teaching writing, pedagogical practice, evaluation criteria, self-assessment, higher education (en).Palabras clave:
enseñanza de la escritura, práctica pedagógica, criterio de evaluación, autoevaluación, educación superior (es).Palabras clave:
ensino da escrita, prática pedagógica, critérios de avaliação, autoavaliação, ensino superior (pt).Descargas
Referencias
Álvarez, T. (2010). Competencias básicas de escritura. Octaedro.
Atorresi, A. (2005). Construcción y evaluación de consignas para evaluar la escritura como
competencia para la vida. Enunciación, 10(1), 4-14.
https://doi.org/10.14483/22486798.447
Bazerman, C., Little, J., Bethel, L., Chavkin, T., Fouquette, D. y Garufis, J. (2016). Escribir
a través del Currículum. Una guía de referencia. Universidad Nacional de Córdoba.
https://dialnet.unirioja.es/servlet/libro?codigo=744278
Blanco, Á. (2008). Las rúbricas: un instrumento útil para la evaluación de competencias. En
L. Prieto Navarro (coord.), La enseñanza universitaria centrada en el aprendizaje:
estrategias útiles para el profesorado (pp. 171-188). Octaedro.
https://dialnet.unirioja.es/servlet/libro?codigo=289201
Cano, E. (2015). Las rúbricas como instrumento de evaluación de competencias en educación
superior: ¿uso o abuso? Profesorado: Revista de Currículum y Formación de
Profesorado, 19(2), 265-280.
https://dialnet.unirioja.es/servlet/articulo?codigo=5294563
Carlino, P. (2009). Desarrollo profesional de docentes para leer y escribir a través del
currículum. En P. Carlino y S. Martínez (coord.), La lectura y la escritura: un asunto
de todos/as (pp. 51-90). Educo. https://www.aacademica.org/paula.carlino/140
Carlino, P. (2013). Alfabetización académica diez años después. Revista Mexicana de
Investigación Educativa, 18(57), 355-381.
http://www.redalyc.org/articulo.oa?id=14025774003
Carretero, H. y Pérez, C. (2005). Normas para el desarrollo y revisión de estudios
instrumentales. International Journal of Clinical and Health Psychology, 5(3), 521-
http://www.redalyc.org/articulo.oa?id=33705307
Dezorzi, G., Gascón, M. C., Nardoni, F. y Ponisio, M. (2021). La formulación de consignas.
Instituto Politécnico, Departamento de Idiomas. http://hdl.handle.net/2133/22675
Garcia-Valcarcel, A., Hernández, A., Martín del Pozo, M. y Olmos, S. (2020). Validación de
una rúbrica para la evaluación de trabajos fin de máster. Profesorado: Revista de
Currículum y Formación del Profesorado, 24(2), 72-96.
https://doi.org/10.30827/profesorado.v24i2.15151
George, D. y Mallery, P. (2003). SPSS for Windows step by step: A simple guide and
reference. 11.0 update (4.ª ed.). Allyn y Bacon.
Guzmán Cedillo, Y. I., Lima Villeda, D. N. y Meza Cano, J. M. (2017). Diseño y
confiabilidad de una rúbrica para evaluar infografías didácticas. Enseñanza &
Teaching: Revista Interuniversitaria de Didáctica, 35(2), 17-36.
https://doi.org/10.14201/et20173521736
López, F. (2021). Validación de una rúbrica para las competencias docentes en el marco de
los aprendizajes clave. Religación: Revista de Ciencias Sociales y Humanidades,
(29), 1-13. http://doi.org/10.46652/rgn.v6i29.827
Lovera, P. y Castro, C. (2021). ¿Cómo diseñar tareas de escritura? Escribir y evaluar para
aprender desde las disciplinas. En F. Navarro (ed.), Escritura e inclusión en la
universidad. Herramientas para docentes (pp. 91-149). Universidad de Chile.
https://doi.org/10.34720/sdgk-wf14
Marcet, V. J. (2021). La rúbrica como texto comunicativo en la evaluación: diseño de una
rúbrica analítica para la evaluación de rúbricas. En M. C. López Esteban, Innovación
en la formación de los futuros educadores de educación secundaria para el
desarrollo sostenible y ciudadanía mundial (pp. 171-184). Ediciones Universidad de
Salamanca. https://doi.org/10.14201/0AQ0303
Martínez, M. C. (2013). Los géneros desde una perspectiva socio enunciativa. La noción de
contexto integrado. Revista Latinoamericana de Estudios del Discurso, 13(2), 21-40.
https://periodicos.unb.br/index.php/raled/issue/view/2098
Ministerio de Educación. (2020). Claves para el diseño de consignas escolares.
Navarro, F. (2019). Aportes para una didáctica de la escritura académica basada en géneros
discursivos. Delta, 35(2), 1-32. https://doi.org/10.1590/1678-460X2019350201
Navarro, F. (2021). Más allá de la alfabetización académica: las funciones de la escritura en
educación superior. Revista Electrónica Leer, Escribir y Descubrir, 1, 38-56.
https://digitalcommons.fiu.edu/led/vol1/iss9/4
Navarro, F. y Revel, A. (2021). Escribir para aprender: disciplinas y escritura en la escuela
secundaria. WAC Clearinghouse. https://doi.org/10.37514/INT-B.2021.1176
Navarro, F. y Stagnaro, D. (2012). Procesos en consignas de escritura universitaria: el caso
de la carrera de Ingeniería Industrial. En E. Ghio y F. Mónaco (eds.), Del género a la
cláusula: los aportes de la LSF al estudio del lenguaje en sociedad. Actas del VII
Congreso Internacional de la Asociación de Lingüística Sistémico-Funcional de
América Latina (Alfar) (pp. 64-72). Ediciones Universidad Nacional del Litoral.
https://www.researchgate.net/publication/305637206
Oroño, M., Salvá, N. y Sarni, M. (2020). Las consignas como textos de enseñanza que
anuncian la experiencia en el aula. Apreciaciones sobre el caso de la Educación
Física. Perspectivas Educativas, 10(1), 133-146.
https://revistas.ut.edu.co/index.php/perspectivasedu/article/view/2358
Penfield, R. D. y Giacobbi, P. R. (2009). Applying a score confidence interval to Aiken's
item content-relevance index. Measurement in Physical Education and Exercise
Science, 8(4), 213-225. 10.1207/s15327841mpee0804_3
Riestra, D. (2004). Las consignas de trabajo en el espacio socio discursivo de la enseñanza
de la lengua [Tesis doctoral Universidad de Ginebra]. UNIGE. 10.13097/archiveouverte/unige:266
Riestra, D. (2010). Lectura y escritura en la universidad: las consignas de tareas en la
planificación de la reenseñanza de la lengua. Enunciación, 15(1), 173-181.
https://doi.org/10.14483/22486798.3114
Ruiz Terroba, R., Vázquez, E. y Sevillano García, M. L. (2017). La rúbrica de evaluación de
la competencia en expresión escrita. Percepción del alumnado sobre su funcionalidad.
Ocnos, 16(2), 107-117. http://dx.doi.org/10.18239/ocnos_2017.16.2.1349
Serrano, S. (2014). La lectura, la escritura y el pensamiento. Función epistémica e
implicaciones pedagógicas. Lenguaje, 42(1), 97-122. 10.25100/lenguaje.v42i1.4980
Sotomayor, C., Avila, N. y Jéldrez, E. (2015). Rúbricas y otras herramientas para
desarrollar la escritura en el aula. Santillana.
https://repositorio.uchile.cl/handle/2250/136701
Stagnaro, D. (2018). Mediaciones docentes en la enseñanza de las disciplinas a través de la
lectura y la escritura. En L. Natale y D. Stagnaro (coord.), La lectura y la escritura
en las disciplinas: lineamientos para su enseñanza (pp. 15-58). UNGS.
https://ediciones.ungs.edu.ar/wp-content/uploads/2019/11/9789876303910-
completo.pdf
Supo, J. (2013). Cómo validar un instrumento. Aprender a crear y validar instrumentos como
un experto. Biblioteca Nacional del Perú. https://r.issu.edu.do/uF
Vázquez, A. (2007). Consignas de escritura: entre la palabra del docente y los significados
de los estudiantes. Colección de Cuadernillos de actualización para pensar la
Enseñanza Universitaria, 2(7), 4-16.
https://www.unrc.edu.ar/unrc/academica/docs/publicaciones/vazquez-set07.pdf
Villalonga, M. M. y Padilla, C. (2020). Leer en la secundaria y en la universidad. Perspectivas
de estudiantes de Psicología. Ciencia y Educación, 4(2), 87-102.
Cómo citar
APA
ACM
ACS
ABNT
Chicago
Harvard
IEEE
MLA
Turabian
Vancouver
Descargar cita
Recibido: 28 de diciembre de 2023; Aceptado: 14 de junio de 2024
Resumen
La escritura adquiere relevancia en la era en que los textos escritos permean todos los ámbitos y prácticas sociales. Esta es producto de un complejo proceso cognitivo y metacognitivo que demanda ingentes esfuerzos por quien la ejecuta. En este sentido, es necesario replantear la práctica pedagógica, de modo que el docente oriente la producción escrita por medio de consignas como herramientas mediadoras de la construcción mental de los textos que les proponga escribir a sus estudiantes. Este artículo muestra el diseño y validación de una rúbrica para evaluar las consignas de escritura que elaboran los docentes. Se realizó un estudio instrumental, que se inició por la justificación de la investigación y concluyó con las pruebas de fiabilidad y validez de dicho instrumento. Para recolectar las informaciones, el equipo investigador hizo un pilotaje con 12 consignas; luego, 16 expertos evaluaron la relevancia, formulación y coherencia de la rúbrica. Se utilizó un enfoque mixto, pues se tomaron en cuenta las observaciones de los expertos y las pruebas estadísticas de las evaluaciones. Como resultado del pilotaje, se registró un nivel de fiabilidad del alfa de Cronbach de 0,979. Con relación a la relevancia de los ítems del instrumento, el coeficiente V de Aiken arrojó un intervalo de 0,917 a 1. Se concluye que la rúbrica diseñada constituye un instrumento válido para evaluar consignas de escritura y garantizar que se incluyan las instrucciones necesarias, con la finalidad de orientar a los estudiantes durante su escritura.
Palabras clave:
enseñanza de la escritura, práctica pedagógica, criterio de evaluación, autoevaluación, educación superior.Abstract
Writing has become relevant in an era in which written texts permeate all areas and social practices. This is the result of a complex cognitive and metacognitive process that demands significant efforts from those who engage in it. In this context, it is necessary to reconsider pedagogical practices, so that educators may guide the process of writing production, using instructions as mediating tools for the mental construction of the texts students are asked to write. This article illustrates the design and validation of a rubric to assess the writing prompts developed by teachers. An instrumental study was conducted, starting with the justification of the research and concluding with reliability and validity tests on the instrument. To collect information, the research team performed a pilot study using 12 prompts, and then 16 experts evaluated the relevance, formulation, and coherence of the rubric. A mixed approach was employed, considering both expert observations and statistical tests on the evaluations. The pilot study resulted in a Cronbach’s alpha reliability level of 0.979. Regarding the relevance of the instrument’s items, Aiken’s V coefficient resulted in a range of 0.917-1. It is concluded that the designed rubric constitutes a valid instrument for evaluating writing prompts and ensuring that necessary instructions are included to guide students during the writing process.
Keywords:
teaching writing, pedagogical practice, evaluation criteria, self-assessment, higher education.Resumo
A escrita tornase relevante na era em que os textos escritos permeiam todas as áreas e práticas sociais. Esta é o produto de um processo complexo cognitivo e metacognitivo que exige enormes esforços de quem o executa. Nessa ordem, é necessário repensar a prática pedagógica, para que o professor oriente o processo de produção escrita usando as consignas como ferramentas para mediar a construção mental dos textos que ele propõe que os alunos escrevam. Este artigo mostra o processo de elaboração e validação de uma rubrica para avaliar as consignas de escrita criadas por professores. Foi realizado um estudo instrumental, iniciando pela justificativa da pesquisa e finalizando com os testes de confiabilidade e validação do referido instrumento. Para coletar as informações, a equipe de pesquisa realizou um estudo piloto utilizando 12 consignas, então 16 especialistas avaliaram a relevância, formulação e coerência da rubrica. Foi utilizada uma abordagem mista, pois foram levados em conta observações de especialistas e testes estatísticos de avaliações. Como resultado da pilotagem, foi obtido um nível de confiabilidade Alfa de Cronbach de 0.979. Em relação à relevância dos itens do instrumento, o coeficiente de V de Aiken, resultou em um intervalo de 0.917 a 1. Concluise que a rubrica elaborada constitui um instrumento válido para avaliar consignas de escrita e garantir que as instruções necessárias sejam incluídas como objetivo de orientar os alunos durante o processo de escrita.
Palavras-chave:
ensino da escrita, prática pedagógica, critério de avaliação, autoavaliação, educação superior.Introducción
La escritura es una práctica social vital que tributa a la formación de ciudadanos capaces de comunicarse de manera eficaz, de tomar en cuenta quién será su interlocutor, de construir el conocimiento y de incidir en la transformación de la sociedad. Poseer dicha competencia depende de las oportunidades que tengan los estudiantes universitarios de formarse académicamente sobre cómo escribir géneros discursivos variados en cada una de las disciplinas, ya que no se logra de forma natural ni espontánea, “se aprende en entornos educativos institucionalizados, extensos en el tiempo, y está indisolublemente asociada a estos” (Navarro 2021, p. 42). Esto implica entender que la escritura es una práctica situada (Carlino, 2013; Lovera y Castro, 2021; Navarro, 2019), pues los textos que se escriben en la universidad tienen características lingüísticas y discursivo-textuales que deben ser enseñadas por los docentes disciplinares en sus contextos de uso.
Desde esta perspectiva se confiere a la escritura un alto valor epistémico (Serrano, 2014), dado que favorece el desarrollo del pensamiento, la construcción y apropiación del conocimiento y permite la enculturación de los estudiantes independientemente del área de su preferencia. Navarro (2021) coincide con este planteamiento al afirmar que la producción escrita supone un gran desafío cognitivo, cultural y comunicativo, pues en el contexto universitario cumple con cinco funciones simultáneas: epistémica, aprender contenidos disciplinares; retórica, internalizar y ejercitar la comunicación; habilitante, acreditar los aprendizajes; crítica, problematizar conceptos; y expresiva, construir hipótesis, perspectivas e identidades.
De ahí la importancia de que en el contexto universitario se desarrollen prácticas significativas; que los estudiantes tengan claro qué escribir y a quién dirigir su texto; que reciban instrucciones claras sobre el proceso cognitivo a seguir (Álvarez, 2010). En otras palabras, que los profesores entreguen y discutan en clase consignas que guíen y orienten la escritura de los géneros discursivos propios de cada disciplina, de cuya formulación depende que se propicie o no la construcción y transformación del conocimiento. Sin embargo, las consignas que desde el punto de vista de los docentes son explícitas y claras, para los alumnos resultan ser imprecisas, ambiguas y contradictorias (Lillis 1999, citada por Villalonga y Padilla, 2020). Con la finalidad de dar respuesta a la situación descrita, se propone una rúbrica analítica que oriente al profesorado durante la elaboración de sus consignas de escritura y que sirva como instrumento de autoevaluación de las ya creadas. En este sentido, el estudio adquiere relevancia por su contribución a la calidad de las consignas de escritura, pues su utilización favorece el fortalecimiento de las competencias descritas en los programas de las asignaturas que conforman los planes de estudio; de manera específica, cuando se solicita a los estudiantes escribir un texto determinado.
En este sentido, se consideraron los siguientes objetivos: diseñar una rúbrica que oriente la elaboración de consignas de escritura, tomando en cuenta las características estructurales que distinguen este género discursivo; y determinar el nivel de fiabilidad, relevancia y consistencia de la rúbrica diseñada por medio de diferentes pruebas de validez.
Marco teórico
Consignas como géneros discursivos didácticos
De acuerdo con Navarro y Stagnaro (2012, p. 64), “las consignas de tareas de escritura constituyen un instrumento fundamental en el proceso de formación académica. Son empleadas por los docentes para enseñarles a los estudiantes a pensar y a razonar con determinadas lógicas disciplinares”. En este sentido, merece especial atención la elaboración de las consignas como género discursivo, como herramienta didáctica que sirve de andamiaje para favorecer la escritura procesual, aquella que se realiza a través de la planificación, textualización, revisión, edición y publicación, y según Riestra (2010, p. 182), “como instrumento mediador que dirige desde el plano de la acción de lenguaje y controla las operaciones mentales que se incorporan para realizar la actividad”. Bajtín (2005, citado por Navarro, 2019), define los géneros discursivos como formas más o menos estables de textos orales y escritos (y, multimodales esta última forma agregada por Navarro) que circulan en las distintas esferas sociales. Obedecen a propósitos que facilitan llevar a la práctica actividades comunicativas diversas. Poseen estructuras en mayor o menor medida estables, surgen y se construyen a partir de necesidades sentidas por los sujetos en prácticas sociales propias del ámbito discursivo en que se desenvuelven.
Se parte de la concepción en la que se circunscribe el movimiento Escribir a través del Currículo, el cual plantea que, en cada asignatura, los profesores tienen un rol fundamental al propiciar el desarrollo de la comprensión y la producción de los textos que se usan en su área del saber, dada la función epistémica que cumple la escritura en el aprendizaje (Bazerman et al., 2016; Carlino, 2009; Navarro y Revel, 2021). En efecto, “las consignas vehiculizan la postura ideológica de quien enseña y evidencian, en términos prácticos y concretos, la posibilidad de reflexión y transformación de la enseñanza y del aprendizaje” (Oroño et al., 2020, p. 137).
En el ámbito académico, y específicamente en las disciplinas, los géneros discursivos asumen características lingüísticas, discursivo-textuales y gramaticales muy particulares, y bastante formales. Esto implica que deben ser enseñados a través de consignas claras y detalladas, que sirvan de mediadoras en la enseñanza y en el aprendizaje con la finalidad de acompañar, guiar y dirigir el pensamiento y el razonamiento desde la lógica disciplinar. Es decir, crear esquemas mentales, ya que los estudiantes que ingresan al nivel superior, por lo general, desconocen las peculiaridades de estas formas textuales.
Es fundamental que las consignas que se entreguen a los estudiantes sean lo suficientemente ilustradoras, que expliquen con precisión el tipo de texto que se espera que escriban y las partes estructurales que lo caracterizan, así como también los pasos ordenados de las actividades que necesitarán realizar. En palabras de Lovera y Castro (2021, p. 119), “es necesario que la tarea de escritura vaya acompañada de instrucciones que describan de manera clara y explícita las características del texto que se está solicitando a los estudiantes”. Por lo general, los docentes suponen que si la consigna de escritura está redactada con precisión y se define con claridad las operaciones cognitivas que involucran la tarea solicitada, será suficiente para estimular a los alumnos a realizar el trabajo de manera aceptable; no obstante, esto no es lo que se observa en sus producciones escritas (Vázquez, 2007).
Asimismo, Riestra (2004) afirma que por lo general en las consignas no se incluyen actividades que propicien el desarrollo de operaciones mentales coherentes con los enfoques pragmático-enunciativos y textuales de la enseñanza de la lengua. La autora continúa enfatizando en que muchas veces las instrucciones que los docentes elaboran operan como constructos preestablecidos, en vez de constituirse en enunciados organizadores del género discursivo-textual.
Existe consenso entre varios autores e instituciones educativas sobre la estructura que permite distinguir la consigna como género discursivo (Atorresi, 2005; Dezorzi et al., 2021; Ministerio de Educación, 2020; Martínez, 2013; Riestra, 2004; Sotomayor et al., 2015; Stagnaro, 2018; Vázquez, 2007), a saber: producto, contenido, instrucciones o acciones, pautas, coherencia, cohesión, normativa y situación de enunciación. Estos elementos estructurales sirvieron de base conceptual para elaborar los criterios y descriptores, con los cuales, también, se evaluó la claridad, pertinencia y precisión de las instrucciones que deben contener las consignas de escritura.
Un aspecto imprescindible de una consigna es el producto. En este se explicita el género a producir; se especifican sus partes; se establece el contrato de trabajo que orienta el proceso de escritura y el formato que ha de dársele. Es necesario, además, precisar contenido que se abordará durante la composición escrita y que servirá de zapata para las acciones que se ejecutarán. Esto implica indicar las fuentes a las que se deberá recurrir para acceder al conocimiento sobre el tema y sugerir la deconstrucción de algunos textos modelo para analizar sus características lingüísticas, gramaticales, discursivo-textuales y estructurales.
Las instrucciones o acciones son también esenciales en la estructura de una consigna. Estas determinan lo que se debe ejecutar y orientan detalladamente cómo hacerlo: modos, tipos y criterios para evaluar el producto solicitado, formas de organización de los aprendices (individual, en pares o en equipos tres o más integrantes). Se proponen tareas que promueven el desarrollo de competencias, mediante un léxico que facilite la comprensión de las actividades.
En la ejecución y solución de la consigna se ponen en juego las pautas para la realización de una tarea. Se especifican las directrices para acceder al conocimiento, planificar la escritura, elaborar borradores (textualización), revisar y editar el texto. Se incluyen estrategias para ayudar a los aprendices a pensar según las convenciones de la disciplina y del género a producir. Se orienta sobre diferentes recursos para lograr coherencia y cohesión de las ideas plasmadas en sus escritos. Todas estas estrategias cognitivas y metacognitivas tienen el propósito de favorecer el uso consecuente de la normativa, tanto en los productos parciales como en la versión final.
Contar con una consigna bien estructurada implica, asimismo, describir la situación de enunciación que da sentido a la actividad. Aquí se explica lo que se pretende lograr con la tarea, se define el espacio discursivo en el que se construyen las imágenes del enunciador y el enunciatario; además, se especifican el ámbito, la forma textual a producir, la intención comunicativa y el registro a emplear. Se hace referencia al tipo de relación que se establecerá entre los interlocutores, así como la interacción de voces en el discurso.
Rúbrica como guía para elaborar y evaluar consignas de escritura
Para garantizar que los estudiantes efectúen con calidad las tareas de escritura propuestas, es preciso que las consignas elaboradas por los docentes cuenten con especificaciones del texto a producir, con instrucciones claras sobre cómo, cuándo, cuáles recursos y de qué modo realizarán la tarea. De lo anterior surge la idea de crear y validar una rúbrica analítica que oriente el trabajo del profesorado.
Lovera y Castro (2021) afirman que “la rúbrica analítica permite describir con mayor detalle lo esperado en cada una de las dimensiones y (...) suele contemplar cuatro niveles de desempeño” (p. 140). Este tipo de instrumento valorativo constituye una herramienta valiosa en la educación superior, ya que muestra la importancia de indicar los niveles de desempeño que se observan en cada criterio propuesto en la rúbrica elaborada: logrado, medianamente logrado, escasamente logrado y no logrado. Así, es posible ponderar la manera entretejida en que funcionan todas las dimensiones y aspectos del discurso disciplinar. Igualmente, da consistencia a la evaluación y ofrece descripciones del desempeño que se espera en distintas dimensiones a partir de un ascenso progresivo de niveles, coherentes con las competencias de aprendizaje que determina el profesor (Sotomayor et al., 2015). Además de proponer pautas para conseguir mayor objetividad y equidad, las rúbricas constituyen el andamiaje que proporciona una guía para el logro de las competencias esperadas (Garcia-Valcarcel et al., 2020). Una rúbrica garantiza que los docentes escriban consignas completas, lo que impactará en las producciones escritas asignadas a sus estudiantes, pues ofrece orientaciones sobre las acciones que ellos deben realizar. Contar con una rúbrica como herramienta didáctica facilita evaluar consignas de escrituras, y puede servir de guía para elaborarlas.
Otra razón para justificar el uso de la rúbrica analítica es su versatilidad, pues describe con mayor precisión y objetividad lo esperado en cada una de las dimensiones y se constituye en un medio para fomentar la autorregulación. Esto habilita, a quien elabore una tarea, revisar, dar seguimiento, autoevaluar y, posteriormente, mejorar su propio trabajo apoyado en los criterios compartidos (Blanco, 2008; Lovera y Castro, 2021). Por tanto, en la producción escrita, las rúbricas operan como instrumentos didácticos valiosos y como recursos que favorecen la evaluación integral formativa.
Existen varias investigaciones relacionadas con la validación de rúbricas para evaluar y guiar tareas diversas: creación de infografías, ensayos, trabajos finales de máster, pero no se encontraron estudios que orientaran la evaluación y elaboración de consignas de escritura; no obstante, algunas de las fuentes consultadas sirvieron de apoyo. En este sentido, el estudio de Ruiz Terroba et al. (2017) da cuenta de los beneficios del uso de este instrumento para fomentar la objetividad (como principal ventaja), la autoevaluación y la coevaluación. Asimismo, señalan que la evaluación realizada con la rúbrica será o no formativa dependiendo del uso que se le dé a la herramienta más que a su diseño.
Mediante las rúbricas se autorregula el aprendizaje; no obstante, saber utilizarlas implica crear espacios de formación y realizar estudios de validez y fiabilidad de contenido (Cano, 2015; López, 2021). Guzmán Cedillo et al. (2017) enfatizan en la importancia de contar con rúbricas validadas, pues en la medida en que estas cumplan con el criterio de validez y confiabilidad, se garantiza que las expectativas sean comprendidas, que los criterios de evaluación sean explícitos y, por consiguiente, que exista mayor congruencia entre quienes emiten juicios de calidad. Esto ayudó a mejorar la rúbrica que se elaboró inicialmente, si bien el instrumento lo habían revisado varios expertos, con la validación se reconoció la relevancia de cada criterio.
Otra investigación que sirvió de soporte fue la de Garcia-Valcarcel et al. (2020) , quienes diseñaron y validaron una rúbrica para evaluar las competencias demostradas por los estudiantes en sus trabajos de fin de máster en la Facultad de Educación de la Universidad de Salamanca. Destacan que el instrumento diseñado es fiable, lo cual se evidencia en la concordancia existente entre las puntuaciones de los evaluadores. Asimismo, expresan que, dada la correlación positiva evidenciada con un criterio externo, la rúbrica tiene una alta concordancia entre sus criterios, pues demuestra que, una vez validada, es importante modificarla y evaluar el nivel de fiabilidad que esta tiene; en este caso se realizó mediante un proceso estadístico.
Estas investigaciones permiten reflexionar sobre la funcionalidad de la rúbrica diseñada para evaluar las consignas de escritura que elaboran los docentes universitarios, así como orientar su producción. Utilizar esta herramienta garantiza mayor coherencia y uniformidad al elaborar una consigna, y asegura que las propuestas de los profesores sean mejor comprendidas por sus estudiantes.
En consecuencia, se espera contribuir con este campo, primero, con la descripción sobre la consigna como género discursivo, a partir de la experiencia y de lo que aportan las fuentes bibliográficas consultadas; segundo, con el planteamiento, al profesorado, de una rúbrica que posibilite autoevaluar las consignas que utilizan en clase, posteriormente mejorarlas o que sirvan de guía para elaborar dicho género.
Metodología
En esta investigación, se propuso diseñar y validar una rúbrica para orientar la elaboración de consignas de escritura en el ámbito académico. Para ello, se realizó un estudio instrumental, el cual consiste en la creación y adaptación de un test, en este caso de una rúbrica, siguiendo una serie de normas de revisión. Carretero y Pérez (2005) proponen que las fases sean: justificación del estudio, delimitación conceptual, construcción y evaluación cualitativa, análisis estadístico, estudio de la estructura, fiabilidad y validez. Se trabajó un enfoque mixto con el objetivo de validar dicho instrumento, de tal manera que facilite a los docentes adquirir un nivel mayor de objetividad al evaluar o redactar sus consignas.
Se optó por crear una rúbrica analítica1, porque su función y estructura guardan coherencia con los objetivos planteados en la investigación que dio origen a su elaboración. Fue diseñada tomando en cuenta los elementos que la caracterizan (criterios o dimensiones, niveles de desempeño y descriptores), así como su funcionalidad: evaluar los elementos y componentes que conforman una tarea de escritura, otorgar ponderaciones diferentes a cada indicador, determinar los puntos fuertes y débiles de la tarea, y servir como instrumento de retroalimentación en cada criterio o dimensión (Blanco, 2008).
Diseño y validación de la rúbrica
Justificación del estudio
En la actualidad, la universidad no cuenta con una rúbrica para evaluar las consignas de escritura. Esta situación motivó al equipo investigador a elaborar y validar una rúbrica de tipo analítica, compuesta por criterios que faciliten la valoración de las tareas de escritura redactadas por los docentes de las diferentes áreas disciplinares.
Delimitación conceptual
A partir de las fuentes bibliográficas consultadas sobre la función, estructura y características lingüísticas y discursivo textuales de las consignas, se redactaron las dimensiones o criterios con cada descriptor, los cuales expresan diferentes niveles de desempeño, según la escala valorativa especificada en la rúbrica. Esta contenía siete criterios y trece subcriterios (tabla 1), cada uno con cuatro descriptores y niveles de dominio (logrado, medianamente logrado, escasamente logrado, no logrado).
Tabla 1: Organizador de la primera versión de la rúbrica
A partir de las ideas de estos autores se elaboraron siete criterios, aunque al principio existía uno exclusivo para evaluar la normativa y otro relacionado con el respeto por la propiedad intelectual, los cuales se fusionaron con otros. Asimismo, el primer borrador evaluaba por separado la modalidad de trabajo y el léxico; sin embargo, dado que eran demasiados criterios, se incluyeron como parte de los descriptores de operación o acción a ejecutar, lo cual arrojó como resultado la primera versión de la rúbrica.
Construcción y evaluación
-
Validación de expertos. Esta primera versión se envió a cinco expertos con experiencia en el tema, con el fin de que fuera validada; quienes revisaron la rúbrica usando una ficha creada para estos fines, estructurada por tres criterios valorados mediante una escala Likert, así como un apartado para colocar comentarios y sugerencias.
Los expertos evaluaron la relevancia del tema a investigar para la toma de decisiones en el abordaje de la lectura y escritura desde las disciplinas; la formulación clara de criterios y descriptores por medio de un léxico apropiado para sus lectores y la coherencia de estos con los objetivos y dimensiones de análisis de la investigación (Supo, 2013).
-
Pilotaje utilizando consignas. Para verificar su confiabilidad, se realizó un pilotaje con la rúbrica mejorada (segunda versión), utilizando doce consignas de escritura elaboradas por profesores universitarios de diversas disciplinas. Tres miembros del equipo de investigación evaluaron por separado la totalidad de consignas, cuya revisión constituyó una oportunidad para hacer ajustes significativos a la rúbrica en lo referente a coherencia, sintaxis, claridad y precisión.
-
Valoración por expertos de la tercera versión de la rúbrica. La nueva versión de la rúbrica fue enviada a un segundo grupo de expertos, once en total (dos con experiencia en metodología y nueve con dominio disciplinar), así como al primer grupo, para un total de dieciséis expertos, quienes validaron cada criterio del instrumento. Una vez más, se realizaron ajustes tomando en cuenta las sugerencias ofrecidas por los jueces, con lo cual se obtuvo la versión final.
Resultados y análisis
En este acápite se analizan los resultados del proceso de validación de la rúbrica por medio de la presentación de tablas que muestran las estadísticas de fiabilidad y la validez de contenido de dicho instrumento, cada una con sus respectivas interpretaciones. En la tabla 2 se muestra el nivel de fiabilidad de la rúbrica con el alfa de Cronbach, a partir del pilotaje por parte de los especialistas, lo cual arrojó como resultado un coeficiente de 0,919. Según lo establecen George y Mallery (2003) , si α es mayor que 0,9, se considera un nivel excelente de fiabilidad.
Tabla 2: Estadísticas de fiabilidad
Tomando en cuenta que las consignas fueron evaluadas utilizando la segunda versión de la rúbrica, cuya calificación máxima era de 42 puntos, en la tabla 3 se evidencia que la mayoría de las consignas no cumplían con varios de los criterios descritos en la rúbrica; es decir, carecían de la estructura propia de este género discursivo. Al menos dos de los evaluadores coincidieron al otorgar la misma calificación a cuatro de las consignas (2, 6, 11 y 12), y a ocho de ellas asignaron calificaciones muy cercanas, con una diferencia de uno o dos puntos (1, 3, 4, 5, 7, 8, 9, 10). No obstante, en las consignas 3, 8, 9 y 12, hubo una diferencia de 9 o 10 puntos con relación a la menor y mayor calificación otorgada por dos de los evaluadores. Los datos presentados en la tabla 3 ofrecen la oportunidad de reflexionar sobre la necesidad de mejorar algunos de los criterios descritos en la rúbrica utilizada y, por consiguiente, continuar con la validación.
Tabla 3: Calificaciones de las consignas evaluadas
Los expertos evaluaron la rúbrica utilizando la escala Likert, siendo el 4 el nivel más alto (tabla 4). Aquí se obtuvo un coeficiente de fiabilidad de 0,813, lo cual sugiere la unificación de los criterios contenido y respeto por la propiedad intelectual, y la reestructuración del criterio pautas específicas (instrucciones). En consecuencia, se evaluó la relevancia de los ítems del instrumento usando el coeficiente de V de Aiken, lo que arrojó un intervalo de 0,917 a 1. Según Penfield y Giacobbi (2009) , la relevancia del contenido debe estar por encima de 0,7; de lo contrario recomiendan eliminarlos, y su nivel óptimo oscila entre 0,9 a 1. Como se observa en la tabla 4, todos los criterios se ubicaron en el nivel óptimo.
Tabla 4: Validez de contenido de la nueva rúbrica
La dimensión relevancia del tema se valoró usando la escala desde irrelevante hasta muy relevante; y las dimensiones formulación clara de criterios y descriptores, así como coherencia de los ítems con los objetivos y dimensiones de análisis se evaluó desde el nivel de claridad muy bajo hasta el nivel alto. En promedio, en todos los criterios se obtuvo un nivel de 3,8 a 4, esto significa que los elementos que contiene la rúbrica son precisos y claros.
Para determinar la validez de cada criterio y su contenido, se trabajó el coeficiente V de Aiken y la valoración de los expertos. Al respecto, la tabla 4 muestra que el valor de V oscila entre 0,92 y 1,0, lo cual demuestra que los expertos evaluaron positivamente cada criterio presente en la rúbrica y que no había diferencias entre los juicios de validez del contenido valorado en dicho instrumento.
Los criterios y descriptores fueron mejorados constantemente durante el diseño y la validación, lo cual arrojó como resultado la versión final que consta de seis criterios. Cada uno contiene cuatro descriptores de acuerdo con los niveles de valoración (véase anexo).
Conclusiones
A partir de los resultados y los objetivos de la investigación, a continuación, se exponen las conclusiones y posteriormente algunas recomendaciones.
La rúbrica diseñada contiene descriptores que orientan la elaboración de consignas de escritura y su evaluación. Con estos es posible identificar la presencia o no de los elementos estructurales que proponen autores diversos (Atorresi, 2005; Dezorzi et al. 2021; Ministerio de Educación, 2020; Martínez, 2013; Riestra, 2004; Sotomayor et al., 2015; Stagnaro, 2018; Vázquez, 2007), para distinguirla como género discursivo.
El uso de la rúbrica posibilita la emisión de un juicio general que da cuenta de la elaboración de consignas de escritura auténticas con todas sus partes estructurales y las características lingüísticas y discursivo textuales propias de este género discursivo. Esta es una herramienta de evaluación cualitativa que contempla la presencia de las dimensiones valoradas y el grado en que cada una se ha logrado. En consonancia con Blanco (2008) y Marcet (2021), la rúbrica posibilita una corrección más rápida y objetiva, favorece la redacción clara y precisa de los criterios a tomar en cuenta en la evaluación, facilita la retroalimentación y sirve de modelo a quien la utiliza para la elaboración de una tarea y para valorar la calidad de un trabajo.
Este instrumento es confiable para ser usado con los docentes en formación y por los docentes formadores para evaluar sus consignas y orientarlos cuando las estén redactando. Sus dimensiones, descriptores y niveles de logro propician la retroalimentación efectiva y, por consiguiente, la metacognición propia de la producción escrita. Asimismo, favorece la elaboración de consignas que aborden la escritura desde un enfoque epistémico (Navarro, 2021; Serrano, 2014) y que propicien el desarrollo de competencias de forma situada (Carlino, 2013; Lovera y Castro, 2021); en el mismo sentido, se promueve el uso de estrategias cognitivas y metacognitivas de lectura y escritura (Álvarez, 2010).
La rúbrica diseñada es valorada como un instrumento fiable, válido y aceptable que impacta de manera positiva en la producción de consignas de escritura. Se realizó una valoración con el coeficiente V de Aiken, el cual posibilitó reconocer la relevancia de contenido de cada ítem según la inferencia de los expertos. Por consiguiente, la rúbrica se califica como óptima para evaluar habilidades y competencias (Penfield y Giacobbi, 2009).
Asimismo, consta de consistencia interna adecuada al ser evaluada mediante el coeficiente de alfa de Cronbach. Cuenta con una de las condiciones para su fiabilidad, lo que asegura la obtención de consignas de escritura estructuralmente completas, claras, precisas y coherentes. Se constituye en un instrumento válido para evaluar los elementos estructurales, normativos y discursivo textuales de una consigna de escritura.
Dado que la rúbrica está diseñada para ser trabajada por especialistas del área, en el marco de la investigación que dio origen a su elaboración, si un docente de otra disciplina desea recurrir a ella, es preciso adecuar el léxico, ya que en esta se incluyen tecnicismos propios de la enseñanza de la lengua escrita. De no hacerle adaptaciones, es recomendable que los docentes que la trabajen sean entrenados, que se creen espacios de formación en los que se les oriente sobre los géneros discursivos propios de sus disciplinas, el empleo de estrategias cognitivas y metacognitivas de la escritura, la situación de enunciación, así como orientarlos sobre cómo hacer uso formativo de esta herramienta.
Reconocimientos
Este artículo es un resultado directo del proyecto “Alfabetización académica: fortalezas, desafíos y oportunidades en la formación docente”, el cual fue posible gracias al apoyo financiero del Instituto Superior de Formación Docente Salomé Ureña (ISFODOSU), a través de la Vicerrectoría de Investigación, bajo el código VRI-PI-6-2022-032.
Referencias
Anexo
Rúbrica para: orientar la elaboración y evaluación de consignas de escritura
Licencia
Derechos de autor 2024 Enunciación
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
La revista Enunciación es una publicación de acceso abierto, sin cargos económicos para autores ni lectores. A partir del 1 de enero de 2021 los contenidos de la revista se publican bajo los términos de la Licencia Creative Commons Atribución – No comercial – Compartir igual (CC-BY-NC-SA 4.0 CO), bajo la cual otros podrán distribuir, remezclar, retocar, y crear a partir de la obra de modo no comercial, siempre y cuando den crédito y licencien sus nuevas creaciones bajo las mismas condiciones.
El titular de los derechos de autor es la revista Enunciación, conservando todos los derechos sin restricciones, respetando los términos de la licencia en cuanto a la consulta, descarga y distribución del material.
Cuando la obra o alguno de sus elementos se hallen en el dominio público según la ley vigente aplicable, esta situación no quedará afectada por la licencia.
Asimismo, incentivamos a los autores a depositar sus contribuciones en otros repositorios institucionales y temáticos, con la certeza de que la cultura y el conocimiento es un bien de todos y para todos.
