Calidad de las publicaciones científicas más allá de los indicadores estándar de producción

Por
Quality of scientific publications

De todos es sabido que no es posible conocer de forma absoluta ni categórica la calidad de las publicaciones científicas. No obstante, existen indicadores cuantitativos que permiten valorar de una forma aproximativa su impacto en la comunidad científica. Estos indicadores son de utilidad para conocer qué publicaciones poseen un mayor o menor prestigio en las diferentes disciplinas científicas y —lo que es más importante y a la par cuestionable— para tomar decisiones sobre terceros, basadas en el prestigio de una publicación (por ejemplo, la promoción del profesorado universitario). En este contexto, juegan un papel relevante los llamados indicadores estándar de producción científica que tienen como denominador común todo lo relacionado con la citación de trabajos publicados en las revistas, así como su presencia frente a su ausencia en reputadas bases de datos. Por citar sólo los indicadores más conocidos, podríamos destacar el factor de impacto, el índice de inmediatez, el índice H, el índice G, el Eigenfactor (Journal Citation Reports de la Web of Science), el Scimago Journal & Country Rank, etc.

Lo que cabe preguntarse, llegado este momento, es si el mayor o menor prestigio de una revista que divulga trabajos científicos debe recaer en indicadores basados única y exclusivamente en citaciones y en su presencia o no en reputadas bases de datos. Sin duda alguna, y contrario a muchas opiniones, estimo que podrían contemplarse, de manera complementaria a estos indicadores, otras tipologías de indicadores que den una idea aproximada de la mayor o menor calidad de trabajos que se publican en una revista desde una perspectiva metodológica. Dejando a un lado los trabajos de carácter teórico, la mayoría de revistas científicas incorporan, además, trabajos de naturaleza empírica, por lo que parece obvio, y cuando menos razonable, preguntarse qué calidad metodológica atesoran dichos trabajos.

Cada disciplina posee su propia idiosincrasia y jerga metodológica, aunque todas, sin excepción, parten de un tronco común que no es otra cosa que el método científico. La propuesta más o menos ortodoxa o adaptada al contexto disciplinar de dicho método en cada una de las disciplinas no sólo es imperativa, sino que, además, enriquece el espectro metodológico y lo protege del anquilosamiento. En este sentido, lo que se defiende aquí es que, más allá de puestas en práctica de propuestas metodológicas técnico-racionales o positivistas o, por el contrario, flexibles, abiertas y dialécticas, el foco de atención tiene que situarse en cómo se implementan estas y si se ajustan o no a la legitimidad metodológico-científica.

No existen, en consecuencia, metodologías buenas o malas, científicas o poco científicas, etc., aunque en nuestro foro interno reconozcamos que esta distinción entre ciencias duras y rigor metodológico vs ciencias sociales y humanas de bajo rigor metodológico sí que es una firme e injusta creencia. Una metodología de abordaje será tanto más adecuada en cuanto mejor se ajuste con los objetivos de investigación o hipótesis formuladas; es decir, cuando esté articulada en torno a los pasos y las etapas del método científico en mayor o menor medida, por supuesto, dentro de un grado tolerable de discrecionalidad.

Parece entonces razonable proponer la presencia de indicadores metodológicos que sean capaces de determinar el grado de calidad de los trabajos publicados en una revista más allá de aquellos basados en procedimientos de citación. He propuesto contemplar un conjunto de indicadores de naturaleza metodológica que fuese capaz de aproximarse a la calidad de los trabajos publicados, en principio, en revistas del campo de las ciencias sociales (pero extrapolable con sus adaptaciones correspondientes a los otros campos disciplinares).

Estos son indicadores sencillos y superficiales que no entrarían a fondo en cuestiones metodológicas más complejas. Aun así, este primer conjunto de indicadores podría resultar muy útiles para denotar la fortaleza metodológico-analítica que exhiben los artículos publicados en una revista, ya que centrarían su atención en determinar la existencia o no de criterios de calidad (fiabilidad y validez), las características muestrales, etc. En este nuevo escenario, los hallazgos y conclusiones de los estudios son consecuencia directa del buen devenir del proceso metodológico implementado y, como indican Guba y Lincoln (2012) en “Controversias paradigmáticas, contradicciones y confluencias emergentes”, serán más o menos creíbles (credibilidad), extrapolables (transferibilidad), dependientes (posibilidad de replicar el estudio y obtener similares resultados) y confirmables (garantía de que los resultados no están sesgados por los filtros del investigador), en cuanto mayor consistencia y rigurosidad haya adquirido el proceso metodológico-analítico implementado en dichos estudios. Si esto es fundamental en el campo de las ciencias sociales y humanidades, imaginemos la importancia que cobran los hallazgos en los campos de la biomedicina (genética, inmunología, oncología, etc.), robótica, computación, etc., en la que están comprometidos la salud de los ciudadanos, su bienestar futuro, etc.

No concluyo sin destacar los peligros que podría entrañar esta propuesta y la cautela y moderación con que habría de contemplarse a la hora de manejar los resultados obtenidos. Al tratarse de unos indicadores novedosos que pudieran dejar en mal lugar a revistas consagradas a través de los indicadores estándar, sería conveniente exigir la comprensión de editores y directores en el convencimiento de que una buena utilización de los resultados puede ser una excelente estrategia de mejora. Rigurosidad, objetividad y mesura en la interpretación de resultados y conclusiones, así como la comprensión y el deseo de mejora serían lo más conveniente para emprender esta propuesta.

Clemente Rodríguez-Sabiote

Profesor titular del departamento de Métodos de Investigación y Diagnóstico en Educación de la Universidad de Granada, España. Ha centrado sus líneas de investigación en evaluación institucional y avances en el análisis de datos computarizados de diferente naturaleza. Correo electrónico: clerosa@ugr.es

Comentarios