Producción científica en Colombia relacionada con ciencia abierta, métricas de nueva generación y métricas responsables en el contexto de Publindex y SCIENTI

Introducción

Existen dos grandes perspectivas para analizar la evaluación y la medición de la ciencia. Por un lado, está la tradición cualitativa, que busca analizar la producción científica publicada a partir de resultados de investigación y que es parte constituyente de la ciencia desde su nacimiento. Esta implica lo que comúnmente se ha entendido como la evaluación por pares, que, según registros, inicia hacia el siglo XVIII (Spier, 2002) con las revistas científicas de la época y los procesos de evaluación que otros colegas, normalmente vinculados a comunidades y asociaciones científicas, realizaban a los textos a publicar en aras de identificar si contribuían al conocimiento del momento (Pérez Anaya et al., 2019). Fue así como, entre el siglo XVIII y principios del siglo XX, la evaluación de la ciencia se entendió como este proceso cualitativo que los pares realizaban a otros colegas, para que la producción científica, no solo en forma de revistas sino también de otros tipos de documentos (libros, capítulos de libros, tesis defendidas, etc.), realizara un real aporte a la respectiva disciplina.

Por otro lado, a principios del siglo XX aparecen los primeros ejercicios bibliométricos (lo cuantitativo), propuestos por diferentes expertos, especialmente de las áreas matemáticas, ante el acelerado crecimiento de la producción científica. El objetivo de dichos esfuerzos era caracterizar y entender de mejor manera qué tanto crecía la producción científica, qué autores eran más productivos, qué temas eran más actuales y cuáles no, entre otros (Urbano, 2000, citado por Ardanuy, 2012), es decir, no tanto clasificar o ranquear, sino saber seleccionar y aplicar un proceso bibliotecario de selección de material.

La tendencia cuantitativa se hizo más fuerte a mediados del siglo XX, pues la segunda guerra mundial y el informe de Vannevar Bush en 1945 ¹ consolidaron a la ciencia como motor del desarrollo. La inversión estatal en el sector incrementó notablemente (Nelson, 1993), y la producción científica experimentó un crecimiento aún más acelerado. Al tiempo que esto transcurría, la presión por generar indicadores y métricas cuantitativas para analizar el funcionamiento de la ciencia, las inversiones realizadas, sus resultados y su producción también aumentaba (Godin & Gingras, 1999). La evaluación de la ciencia desde la perspectiva cualitativa (evaluación por pares) no era suficiente, sino que era necesario identificar las características de la producción del momento y sus trayectorias (leyes bibliométricas) para saber qué publicaciones elegir y recomendar desde las bibliotecas (ISI con Eugene Garfield y su factor de impacto o FI) a la comunidad científica (Broadus, 1987; Hérubel, 1999; Rousseau et al., 2018).

En síntesis, el objetivo inicial de la evaluación por pares era ser una herramienta para que las bibliotecas pudieran seleccionar las mejores revistas, pero luego se le dio un uso diferente, que es el más conocido hoy. El FI fue identificado como un indicador de utilidad para la gestión de la investigación, para clasificar y distribuir recursos económicos en aras de financiar las investigaciones en distintas áreas del conocimiento y distintos países, para distribuir recursos económicos y para generar incentivos a investigadores o reconocer las publicaciones, etc.

El problema es que se ha utilizado como único indicador, y esto causa que el mundo de los indicadores -de lo cuantitativo, que ahora entendemos como métricas- tenga en muchas ocasiones una importancia desproporcionada en los sistemas de ciencia y las universidades, pues la medición termina valiendo más que la investigación y su calidad y su impacto no solo científico sino social. Importan solo las clasificaciones, rankings o mediciones de revistas, grupos de investigación, investigadores, proyectos, regiones y países, entre otros (Research Trends Editorial Board, 2007), como si fuera un asunto de competencia y prestigio.

Ese proceso dual (cualitativo/cuantitativo) para evaluar la ciencia (evaluación por pares y métricas) y para la comunicación científica (publicación formal e informal) ha atravesado distintos momentos de desarrollo (periodos 1 al 3):

La comunicación de la ciencia arrastra prácticas heredadas de los siglos XVII, XVIII, XIX e inicios del siglo XX. Durante este período, la ciencia logra moldear necesidades de comunicación, propias de una actividad que se hace cada vez más social: 1.- al construir progresivamente el registro del discurso científico especializado que circula entre las comunidades del conocimiento, origina protocolos de intercambio asociados a las expectativas de organización interna, en proceso de ajuste; 2.- al buscar un reconocimiento social vinculado con el pensamiento moderno occidental, empieza a formar parte de los discursos ofrecidos por productos comunicativos de alcance divulgativo. Esta condición es posible gracias a un contexto tecnológico de incidencia progresiva en la comunicación: la consolidación tecnológica de la imprenta y la serie de innovaciones vinculadas a su desarrollo impulsan las primeras actividades de comunicación de la ciencia, dejando un sello vinculado con la cultura impresa. (Briceño, 2014, p. 25)

No obstante, con el advenimiento del mundo digital y el Internet, este proceso tomó mayor fuerza, llevando a un periodo de cambios (período 4) que ha coexistido con las prácticas de períodos anteriores (Russell, 2001; Fresco-Santalla, 2013), aunque no sin tensiones:

En las últimas dos décadas del siglo XX surge un escenario alternativo en la comunicación de la ciencia, impulsado por factores inherentes al proceso de la producción científica y factores de contexto que presionan la organización comunicativa de las sociedades -con la emergencia de la comunicación digital- y la demanda de una nueva relación entre la ciencia y la sociedad. En estas condiciones inicia el siglo XXI, dispuesto a dar pasos acelerados en la configuración de un modo emergente de la comunicación de la ciencia. (Briceño, 2014, p.26)

Incluso al principio de la segunda década del siglo XXI, se puede hablar del inicio de un periodo 5 (del acceso abierto a la ciencia abierta por defecto y como realidad habitual de la ciencia actual), según afirman diferentes autores (Abadal & Anglada, 2020; Méndez, 2021; Wood, 2021). Este periodo tendría como punto clave la Recomendación de UNESCO sobre Ciencia Abierta (2021), un hito que representa un momento de inflexión del proceso dual previamente mencionado. Este quinto periodo coincide con el surgimiento de dos grandes movimientos que buscan complementar las métricas tradicionales (bibliometría y cienciometría) sobre la evaluación de la ciencia: las métricas de nueva generación (cibermetría-webmetría, y especialmente, la altmetría) y las métricas responsables.

Colombia no ha sido ajena a estos dos procesos, ya que sus revistas, sus editoriales académicas, las defensas de tesis en sus universidades y las convocatorias de proyectos de investigación se han caracterizado por rigurosos procesos de evaluación por pares. Sin embargo, lo cuantitativo también ha tenido gran incidencia en la evaluación, especialmente desde la implementación de los conocidos y periódicos procesos de evaluación con Publindex por parte de Colciencias (ahora MinCiencias) en las últimas dos décadas, i.e., la medición-clasificación de las revistas nacionales y la homologación de las revistas internacionales, y la medición y el reconocimiento de grupos de investigación e investigadores desde la plataforma denominada SCIENTI.

De igual manera, Colombia vive un proceso de cambio -de un período 4 a un período 5-, donde la ciencia abierta se ha vuelto su denominación caracterizante; en agosto de 2022, el país se convirtió en el primero de Latinoamérica en tener una Política Nacional de Ciencia Abierta (Gobierno de Colombia, 2022), con un derrotero de 10 años, donde tanto las publicaciones, los datos y las mediciones responden a este paradigma de la ciencia en la actualidad, pues, como dice Watson (2015, p. 1), “la ciencia abierta no es otra forma de hacer ciencia, es simplemente ciencia, buena ciencia, la ciencia en el siglo XXI”.

Este cambio implica que la evaluación de la ciencia debe transformarse, dejando de lado las tradicionales evaluaciones meramente cuantitativas y bibliométricas y empezando a considerar elementos complementarios -e incluso alternativos- en sus mediciones. Esto incluye, entre otros:

1. Tener presentes otras fuentes de información (no solo desde Web of Science y Scopus) para establecer las mediciones²

2. Considerar otro tipo de métricas, como aquellas basadas en el entorno digital (i.e., altmétricas, o altmetrics)³, que no solo consideran la citación tradicional de las revistas sino también las perspectivas del mundo del Internet y los impactos sociales y científicos.

3. Tener en cuenta que las métricas deben complementarse con lo cualitativo y reconocer los posibles impactos de las mediciones sobre el comportamiento de los actores del sistema, los sesgos que pueden generar y la manera en que contribuyen a alcanzar los objetivos planteados por la sociedad⁴.

El presente texto realiza una revisión del tema de las publicaciones colombianas⁵ sobre la evaluación de la ciencia y sus cambios en relación con la comunicación científica, las métricas de nueva generación y las métricas responsables. Como se indica para este tipo de procesos documentales, este trabajo busca realizar una revisión crítica de la literatura sobre un tema en particular, y su objetivo es contribuir a la identificación de textos y autores clave, además de las características de las miradas colombianas alrededor de estos tres conceptos y de las prácticas recientes, brindando así insumos para operativizar los cambios en la evaluación que pretende lograr la meta 23 del Plan Nacional de Ciencia Abierta (Gobierno de Colombia, 2022):

diseñar e integrar, al año 2023, a los procesos de valoración, reconocimiento y evaluación de las actividades de CTeI existentes, métricas responsables e incluyentes e indicadores alternativos de Ciencia Abierta que valoren la diversidad de productos, los procesos adelantados, así como los diferentes impactos económicos, sociales y territoriales generados por estas prácticas.

Referentes conceptuales

Antes de realizar esta revisión desde el contexto colombiano, es necesario abordar y aclarar qué se entiende por los tres conceptos indicados: ciencia abierta, métricas de nueva generación (o indicadores alternativos) y métricas responsables.

La ciencia abierta es un movimiento y un proceso que lleva años en desarrollo, pero que solo recientemente llegó a hitos claves tanto a nivel mundial (UNESCO, 2021) como en Colombia (Gobierno de Colombia, 2022). Tomando como referencia el curso de Ciencia Abierta que comenzó a dictarse en la Universidad de Antioquia a partir del 2020⁶, se puede afirmar que este concepto comenzó a definirse/describirse de manera explícita hace más de 10 años, con propuestas como las de Peters (2010) y Nielsen (2011):

Ciencia abierta es un término que se utiliza en la literatura para designar una forma de ciencia basada en modelos de código abierto o que utiliza principios de acceso abierto, archivo abierto y publicación abierta para promover la comunicación científica. (Peters, 2010, p. 567, traducción propia)

La ciencia abierta es un concepto amplio que incluye áreas estrechamente relacionadas con las notas científicas abiertas y los datos abiertos. Los defensores de la ciencia abierta creen que no debería haber información privilegiada, y que todos los protocolos y resultados (incluso los de experimentos fallidos) deberían ser visibles y abiertos para reutilizarlos lo antes posible en cuadernos de laboratorio abiertos y repositorios de datos. (Nielsen, 2011, p. 187 traducción propia)

Posteriormente, la Unión Europea propuso una de las definiciones más reconocidas y utilizadas a nivel mundial, que fue elaborada por el proyecto FOSTER (2015). De igual manera, la OCDE (2015), en ese mismo año, presentó su propia definición, también ampliamente reconocida:

La ciencia abierta es la práctica de la ciencia que permite que otros puedan colaborar y contribuir, donde los datos de investigación, las notas de laboratorio y otros procesos de investigación están disponibles gratuitamente, bajo términos que permitan la reutilización, redistribución y reproducción de la investigación y sus datos y métodos subyacentes. (FOSTER, 2015, traducción propia)

La ciencia abierta se refiere comúnmente a los esfuerzos para hacer que los resultados de la investigación financiados con fondos públicos sean más accesibles en formato digital para la comunidad científica, el sector empresarial o la sociedad en general. La ciencia abierta es el encuentro entre la antigua tradición de apertura en la ciencia y las herramientas de las tecnologías de la información y las comunicaciones (TIC), que han reformado el desarrollo científico y requieren una mirada crítica por parte de los responsables de políticas que buscan promover la investigación a largo plazo, así como la innovación. (OCDE, 2015, p. 9, traducción propia)

Como se puede ver en estas propuestas, la comprensión de la ciencia abierta ha venido evolucionando y ha tenido diferentes énfasis y puntos de vista. Esto no es de extrañar, pues, en diferentes ocasiones, varios autores han reiterado que es un concepto que busca integrar diferentes conceptos y componentes, y que, por tanto, es un concepto sombrilla (umbrella). Por ejemplo, entre 2010 y 2021, se pueden identificar más de 10 propuestas de definición referenciadas y citadas en la literatura del tema, incluso llegando a propuestas integradoras como las de Vicente-Sáez y Martínez-Fuentes (2018) o Uribe-Tirado y Ochoa (2018).

No obstante, a partir de 2021 se hace evidente que la definición/descripción propuesta en la Recomendación de la UNESCO será la más usada por países, las organizaciones multilaterales y las universidades. Por tanto, se puede afirmar que la siguiente será la definición estándar de la ciencia abierta en los próximos años:

un constructo inclusivo que combina diversos movimientos y prácticas con el fin de que los conocimientos científicos multilingües estén abiertamente disponibles y sean accesibles para todos, así como reutilizables por todos, se incrementen las colaboraciones científicas y el intercambio de información en beneficio de la ciencia y la sociedad, y se abran los procesos de creación, evaluación y comunicación de los conocimientos científicos a los agentes sociales más allá de la comunidad científica tradicional. La ciencia abierta comprende todas las disciplinas científicas y todos los aspectos de las prácticas académicas, incluidas las ciencias básicas y aplicadas, las ciencias naturales y sociales y las humanidades, y se basa en los siguientes pilares clave: conocimiento científico abierto, infraestructuras de la ciencia abierta, comunicación científica, participación abierta de los agentes sociales y diálogo abierto con otros sistemas de conocimiento. (UNESCO, 2021, p. 7)

Por su parte, las métricas de nueva generación (o indicadores alternativos, como se menciona en la Política Nacional de Ciencia Abierta) se pueden entender como aquellos indicadores que buscan presentar nuevos puntos de vista en relación con impacto científico y social de una investigación y las publicaciones de difusión científica o los contenidos de divulgación/apropiación social del conocimiento que se derivan de la misma (CRAI - Universidad del Rosario, 2020).

En otras palabras, implican la transición de considerar de manera casi exclusiva las métricas tradicionales basadas en la cienciometría y bibliometría, donde el factor de impacto y el índice H han sido los casi únicos valorados (McKiernan et al., 2019; Light & Harrison, 2022), a considerar otras métricas y otros indicadores, más basados en el mundo del Internet, tales como cibermetría, la webmetría y la altmetría (Figura 1).

Figura 1. : Diferentes metrías - informetría

Fuente: INAECU (2014)

Estos últimos tienen el potencial de incrementar la diversidad tanto de fuentes de información como de elementos de medición y variedad de puntos de vista, brindando un panorama más real de los impactos científicos y sociales de la investigación. Por ello, el Manifiesto por las altmétricas⁷ (Altmetrics.org, 2010) y la puesta en producción de varias plataformas para promover este tipo de medición han hecho que estos indicadores se vuelvan cada vez más importantes y que se reconozca su rol clave en los futuros procesos de evaluación de la ciencia (Björneborn & Ingwersen, 2004; INAECU 2014):

Distintas métricas implican la posibilidad de múltiples y nuevos indicadores, métricas de nueva generación, y que pueden ser muy bien resumidos en la Periodic Table of Scientometric Indicators (Figura 2), lo que implica la promoción de diversidad de los indicadores para evaluar la ciencia.

Figura 2: Tabla periódica de los distintos indicadores métricos existentes

Fuente: EC3Metrics - El Profesional de la Información (2018)

Dicha diversidad permitirá superar las limitaciones implícitas en la inclusión de solo dos indicadores (como suele suceder con el índice H y el FI) y disminuir la dependencia de los sistemas de información de las grandes casas empresariales, que oligopólicamente producen dichos indicadores con sus bases de datos, a sabiendas de que hay serios cuestionamientos sobre la idoneidad del FI desde hace varios años (Larivière & Sugimoto, 2019). A pesar de su utilidad para la gestión, estos dos indicadores no representan todo lo que se publica a nivel mundial y en todas las disciplinas y lenguas, y no son los únicos que suministran datos para identificar el impacto.

Lo anterior ha generado diversos pronunciamientos y manifiestos que llaman a cambiar el estado de las cosas: desde declaraciones como las de DORA (2012, 2020), Leiden (2014), Hong Kong (2020) y otras a nivel mundial⁸; a propuestas de América Latina gracias a los trabajos de FOLEC-CLACSO (2022) ⁹; y a los documentos y las propuestas metodológicas de aplicación de otras métricas/indicadores, como The Metrics Tide¹⁰, Next-generation metrics: Responsible metrics and evaluation for open science¹¹, INORMS-SCOPE ¹² y DORA-SPACE ¹³, etc.

Finalmente, las métricas responsables son un concepto que está íntimamente relacionado con el paradigma de la ciencia abierta y la disponibilidad de nuevas métricas. El factor diferencial de las métricas responsables es que invitan a no repetir errores del pasado y a replantear los procesos de evaluación, considerando las distintas metrías (informetría) y la multiplicidad de indicadores (tradicionales y de nueva generación). En ese sentido, las mediciones deben responder al contexto social y económico, así como a los objetivos sociales y organizacionales, y ser utilizadas de manera integrada/holística. Asimismo, esto implica reconocer los posibles impactos de las métricas sobre el comportamiento y los incentivos generados en relación con la investigación, pues los procesos de evaluación pueden conllevar sesgos en contra de ciertas poblaciones (por sexo, disciplina, geografía e idioma, entre otros) y alejar a la comunidad académica de las grandes metas sociales del entorno que le rodea:

Las métricas se utilizan para medir muchas cosas en la academia, desde investigadores individuales hasta instituciones enteras. Estas medidas numéricas se desarrollaron originalmente para ayudar a los bibliotecarios a tomar decisiones informadas para seleccionar sus colecciones, pero su uso ha evolucionado para incluir decisiones importantes para los investigadores, como quién será contratado y a qué revista deben apuntar a publicar. Esta es la inquietud que generan: que las métricas utilizadas para tomar decisiones tan importantes no fueron diseñadas para estos usos y, por lo tanto, no son adecuadas para su propósito. Muchos investigadores también están preocupados porque el énfasis puesto en las métricas significa que se está dando más importancia a dónde se publica el trabajo que a la calidad misma de la investigación -una tendencia peligrosa.

El movimiento de Métricas Responsables tiene como objetivo asegurarse de que el uso de métricas sea más equilibrado para producir una imagen más completa del impacto. Sostiene que, aunque las métricas tienen valor, solo cuentan una parte (numérica) de una historia más amplia. Aquellos que evalúan tanto a los investigadores como a su trabajo deberían considerar múltiples factores en lugar de estadísticas a menudo sin sentido. El movimiento también aboga por un enfoque más abierto de la medición en línea, con otras prácticas de investigación abierta.

(University of Cambridge, 2020, p. 2, traducción propia).

Por tanto, entender que la evaluación de la ciencia, las métricas y los indicadores deben ser responsables (o mejor: integradas-holísticas-contextuales) implica entender que, como afirman Vélez-Cuartas et al. (2019),

un concepto de métricas responsables no podría quedarse en los grados de apertura de la ciencia, pues la diversificación de los medios de circulación sólo lleva a la ampliación de las métricas de visibilidad, entendiendo el desempeño de la ciencia como una carrera por obtenerla, y desestimando aspectos constitutivos de la generación de conocimiento: la creación de diversidad de formas de comunidad académica, las diferentes posibilidades de alcance en términos territoriales o de generación de relaciones de colaboración intersectoriales, los procesos de formación de nuevos investigadores, y los avances tanto disciplinares como interdisciplinares. Se propone, por tanto, la observación de la diversidad en las formas organizativas de la investigación y los diferentes impactos, no sólo de la apertura sino del desempeño en la creación de conocimiento en el establecimiento de lazos… (p. 2)

Es decir, asumir las métricas responsables, siguiendo con lo propuesto por estos autores, conlleva:

• Un ejercicio cooperativo de evaluación de lo que permite mejorar la observación del desempeño de los mismos científicos. En este sentido la ciencia abierta tiene un papel muy importante: los algoritmos de medición (abiertos en GitHub), los datos (la circulación abierta no comercial de los metadatos) y el diálogo entre los miembros de la comunidad (Blog AmeliCA) que se observa en los modelos de medición deben ser abiertos.

• El rescate de data histórica que permita observar la evolución del conocimiento, no sólo desde el punto de vista de las citas más antiguas, sino desde la observación de los procesos de institucionalización de la ciencia en el Sur Global. La historia siempre ha sido contada desde Europa. Habría que ver qué polaridades cambian con otros datos y otros relatos.

• Métricas orientadas a la búsqueda de criterios para medir diferentes formas de desempeño y no para encontrar sólo a los más visibles. La utilización de la visibilidad a través del impacto o las descargas o las menciones son insuficientes para observar el cuadro completo de dinámicas.

• Contrastar el desempeño de las prácticas de las revistas universitarias y las revistas comerciales en términos de alcances en la construcción de comunidades. Es importante hacer seguimiento a estas prácticas como posibilidad de generar estrategias para un balance pertinente al desarrollo de la academia sin tener que incurrir en altos costos para poder generar circulación del conocimiento. Esto constituye una dinámica especialmente importante para los países del sur global. (Vélez-Cuartas et al., 2019, p. 3)

Actualmente, esta integración-holística-contextualidad se denomina métricas responsables, y desde Colombia ha sido un llamado que distintos investigadores, universidades y organizaciones han hecho por años -si bien esta denominación no se había hecho explícita- para modificar las formas tradicionales de evaluación de la ciencia (CRAI - Universidad del Rosario, 2020), especialmente en los procesos para revistas (Publindex) y para clasificar grupos de investigación e investigadores (SCIENTI). Cabe añadir que, con la meta 23 del nuevo Plan Nacional de Ciencia Abierta (Gobierno de Colombia, 2022), se abre una puerta importante para la transformación.

Esto quiere decir que, no sin un contexto y unos referentes previos, MinCiencias puede partir y retomar adelantos desde esta perspectiva, desde el aporte de muchos trabajos ya publicados (como pretende identificar esta revisión) y desde lo que han hecho algunos colectivos nacionales en interrelación internacional y con propuestas colombianas, como es el caso de ImpactU ¹⁴ del CoLaV de la Universidad de Antioquia o el colectivo de investigadores y gestores de investigación (COREMA)¹⁵, que están generando propuestas de métricas responsables adaptadas al contexto nacional.

Método y resultados iniciales (cuantitativos)

Para identificar qué se ha publicado desde Colombia¹⁶ sobre estas tres temáticas interrelacionadas, era necesario seleccionar fuentes que pudieran permitir el acceso a esa producción (en acceso abierto y que integraran la mayor cantidad de fuentes originales), en aras de obtener algunos datos métricos generales para caracterizar y profundizar sobre las perspectivas identificadas.

Por tal motivo, y a sabiendas de que siempre hay limitaciones, se seleccionó Lens¹⁷ como fuente para acceder a artículos, ponencias, libros y capítulos, considerando los alcances y facilidades de esta fuente, que actualmente incluye la producción de WoS y Scopus¹⁸ -las fuentes tradicionalmente utilizadas- pero adiciona otras publicaciones más cercanas a la producción de América Latina y en acceso abierto.

Adicionalmente, se realizó una búsqueda en el portal de LA Referencia¹⁹, en interrelación con el portal de la Red Colombiana de Información Científica (REDCOL), con el fin de recuperar la producción de tesis de grado (doctorado, maestría y pregrado) relacionada con estas temáticas, haciendo énfasis en el trabajo de autores colombianos en publicaciones internacionales, regionales (Latinoamérica) y colombianas, para no caer en el sesgo habitual de basarse solo en WoS y/o Scopus.

Para la búsqueda, se seleccionaron las opciones de título, resumen y palabras clave, y se utilizaron los siguientes términos (en español e inglés), de acuerdo con las características de búsqueda avanzada Lens y LA Referencia-REDCOL, aplicando un filtro de procedencia (Colombia): "evaluación de la ciencia", “ciencia abierta”, "métricas", "métricas responsables", "altmetrics", "altmetría", "indicadores alternativos", "métricas alternativas", "publindex", "medición de grupos". A su vez, se utilizó como determinación temporal el periodo 2000-2022 (15 de agosto), teniendo en cuenta los tiempos en que estos tres conceptos han ido apareciendo, así como las prácticas de clasificación y medición del país del anterior Colciencias (ahora MinCiencias).

Tras el proceso de búsqueda, se obtuvo un total de 194 textos, 119 desde Lens²⁰ y 75 desde La Referencia-REDCOL²¹. Para ambas fuentes, como resultados cuantitativos iniciales, se destacan, en el caso de Lens, la fecha de publicación, la tipología documental y la institución de procedencia (Figuras 3 y 4):

Figura 3: Datos de textos recuperados desde Lens - años y tipología.

Figura 4: Instituciones colombianas de autores de textos ubicados desde Lens.

En el caso de los 75 textos de LA Referencia-REDCOL, se destacan el tipo de recurso y la institución de procedencia (Figuras 5 y 6).

Figura 5: Datos de los textos recuperados desde La Referencia-REDCOL - Tipología

Figura 6: Instituciones colombianas de autores de textos ubicados desde La Referencia-REDCOL

Estos 194 textos y sus metadatos fueron descargados en una base de datos propia, para luego proceder a su normalización y depuración (eliminar múltiples duplicados y referencias erradas, corregir algunos metadatos parciales, etc.), lo cual resultó en una lista de 145 textos.

Para estos 145 textos, se analizaron los contenidos con base en las siguientes categorías: a) resultado de investigación/ensayo/editorial/otro; b) trabajo de orientación principal: teórico/teórico aplicado/aplicado; c) texto con desarrollo directo del tema de ciencia abierta/métricas de nueva generación/métricas responsables; d) texto con propuestas directas de cambios en la evaluación de la ciencia, específicamente en el modelo colombiano (Publindex y SCIENTI). Lo anterior, con el fin de identificar los trabajos que dieran cuenta de la ciencia abierta, las métricas de nueva generación y las métricas responsables para el contexto colombiano en varios sentidos:

1. que fueran más allá de los análisis específicos de determinada disciplina, revista o grupo de investigación, etc., es decir, que no representaran los datos de un caso/estudio específico, o que, si lo hacían, sus conclusiones y recomendaciones, brindaran aportes para mejorar o transformar la evaluación o un aspecto concreto de esta en el caso colombiano;

2. que presentaran de manera directa aspectos relativos a la política pública en relación con la evaluación de la ciencia, las métricas, los indicadores y sus perspectivas o modelos, es decir, cualquier texto que aportara al tema en cuestión, teniendo cuidado de no excluirlo por su tipología;

3. que abarcaran la parte teórico-conceptual como aspecto fundamental del texto -no solo como referentes bibliográficos- respecto a las tres temáticas, sus implicaciones en los campos disciplinares que las asumen como objeto de estudio directo (ciencias de la información o sociología de la ciencia) y/o su interrelación con aspectos aplicados útiles para el contexto colombiano.

Tras este proceso, y luego de una primera revisión, se llegó a una selección de 77 textos, en los cuales se profundizó para identificar aspectos que pudieran dar cuenta de lo que se ha estudiado en el país en estos temas, de algunas perspectivas a corto, mediano y largo plazo o de cambios necesarios para actualizar la evaluación de la ciencia en el país (Publindex-SCIENTI) desde la perspectiva de la ciencia abierta, las métricas de nueva generación y las métricas responsables.

Método y resultados específicos (cualitativos)

Como se ha indicado, el objetivo de este trabajo es analizar la producción académica colombiana sobre los tres conceptos mencionados y, con ello, construir un insumo que sirva de línea base para avanzar en la meta 23 del Plan Nacional de Ciencia Abierta (Gobierno de Colombia, 2022). En este sentido, el análisis debe servir para diseñar un sistema de evaluación e incentivos que incorpore las métricas responsables e incluyentes, así como indicadores alternativos de Ciencia Abierta.

Por ello, es necesario partir de los aspectos ya aportados por distintos autores del país en los últimos años, es decir, tener un panorama de posturas a favor y en contra, y, con él, comenzar el diálogo y los acuerdos requeridos para que, a 2023, sea posible un cambio en la evaluación de la ciencia, i.e., Publindex y SCIENTI o las nuevas plataformas y sistemas que sistematicen la producción científica en Colombia y que “valoren la diversidad de productos, los procesos adelantados, así como los diferentes impactos económicos, sociales y territoriales generados por estas prácticas” (Gobierno de Colombia, 2022, p. 51).

Por esta razón, tras un análisis de contenido, de los 77 documentos se seleccionaron 38 (Anexo 1), considerando sus distintos aportes desde la perspectiva nacional (críticas sustentadas, propuestas, perspectivas de evaluación actuales, prospectiva, entre otros) y no solo para casos o datos específicos, en aras fomentar la discusión y construcción entre MinCiencias y la comunidad científica y social del país.

Conclusiones y perspectivas

Después de esta revisión del tema y de profundizar en los 38 artículos destacados -no los únicos; seguramente faltarán otros-, se hace evidente que, en los últimos años, los autores colombianos han hecho un llamado a analizar cómo se puede mejorar el proceso de evaluación de la ciencia, que, para el caso del país, implica principalmente lo que ha hecho MinCiencias con Publindex y SCIENTI, los cuales no han dejado satisfecha a toda la comunidad científica, desde los editores de revistas y libros, hasta los investigadores pertenecientes a distintas universidades y grupos, pasando por los investigadores especializados la ciencia abierta, las métricas, la comunicación científica, la sociología de la ciencia, las redes de conocimiento y la edición, etc.

En esta selección de textos, hay diferentes artículos editoriales que critican y hacen llamados insistentes a cambiar la manera en la que se está evaluando y a reconsiderar las métricas y las fuentes usadas (hacerlas más contextuales y siempre utilizar distintas fuentes), lo cual coincide con los postulados de las métricas de nueva generación y las métricas responsables.

Por otro lado, hay trabajos aplicados que prueban indicadores alternativos y fuentes de información no tan tradicionales, lo cual es positivo; además de la crítica, hay que proponer opciones. Hay trabajos donde se hacen análisis específicos, pero que no se quedan solo el diagnóstico, sino que proponen acciones para cambios en la evaluación a nivel nacional o en las universidades desde su autonomía universitaria.

Finalmente, aunque no son muchos textos, hay trabajos que presentan aspectos teóricos y conceptuales -o modelos amplios- que abarcan todo lo que implican las métricas responsables y se adecúan al paradigma actual de la ciencia abierta.

Por tanto, hay un insumo -con estos y otros textos- para ese diálogo nacional; como se ha indicado, tener una Política Nacional de Ciencia Abierta que reconozca las métricas responsables y utilice otras fuentes e indicadores es un primer paso, pero, para su reglamentación (puesta en marcha/lineamientos) se hace necesaria una construcción colectiva, en aras de cumplir tiempos de la meta 23. Cabe reiterar que dicha meta corresponde a

diseñar e integrar, al año 2023, a los procesos de valoración, reconocimiento y evaluación de las actividades de CTeI existentes, métricas responsables e incluyentes e indicadores alternativos de Ciencia Abierta que valoren la diversidad de productos, los procesos adelantados, así como los diferentes impactos económicos, sociales y territoriales generados por estas prácticas (Gobierno de Colombia, 2022).

Es decir, se hace necesario, más que nunca, trabajar en conjunto con MinCiencias y la comunidad científica y social. Para ello, estos textos son un inicio que, sumado a reuniones, talleres y demás estrategias de construcción colectiva (como invita la ciencia abierta desde lo colaborativo), permite avanzar en los procesos de diseño e integración.

Es necesario que MinCiencias avance lo antes posible en el llamado al diálogo nacional, a construir lineamientos en un contexto regional cada vez más preocupado por la ciencia abierta, considerando el compromiso de todos los países latinoamericanos con las recomendaciones de la UNESCO (2021), y las recientes reuniones entre los Ministerios u organismos nacionales de ciencia para responder a UNESCO (MinCiencias, 2023). No obstante, se espera que en esta institución no se vuelvan a cometer errores del pasado, donde muchas veces se invitó a la comunidad científica y se hicieron propuestas mayoritarias que, al final, no fueron tenidas en cuenta; tuvieron más peso ciertos grupos o asociaciones disciplinares/profesionales, por lo que cada uno o dos años se cambiaban las condiciones (esta es una de las mayores críticas a Publindex y SCIENTI). Como consecuencia de ello, los distintos agentes de la comunidad científica nacional no han visto los modelos y las plataformas de evaluación como un mecanismo importante para el avance del país, para el avance de comunidad científica colombiana, sino como una imposición burocrática, según se manifiesta en varios de los textos analizados. Eso, en un contexto de ciencia abierta, es desaprovechar la nueva oportunidad de trabajo colaborativo brinda la Política para Colombia y su ciencia.

La Política Nacional de Ciencia Abierta de Colombia funcionará si logra ese sentido de pertenencia, lo cual sucederá si Publindex y SCIENTI (o los nuevos modelos y/o plataformas que se creen para el futuro) responden a todos los principios, valores y componentes de la ciencia abierta, incorporan realmente las métricas de nueva generación y responden a nuestro contexto, necesidades y potencialidades, es decir, si utilizan métricas responsables