SCImago Institutions Rankings

SCImago Journal & Country Rank (SJR) no sólo está extendiendo su influencia en la práctica de la evaluación métrica de la investigación, sino que aumenta sus contenidos, siempre sobre la base de la información bibliográfica y de citas procedente de la base de datos Scopus. Nacido hace menos de dos años, SJR acaba de lanzar su sección de ranking de instituciones científicas, SIR, que se suma a los rankings ya disponibles de revistas y de países.

Scimago Institutions Rankings (SIR) constituye un informe sobre las 2.080 instituciones de investigación con mayor producción científica de todo el mundo. En su primera edición, de este año, SIR incluye organismos pertenecientes a 84 países agrupados en varios sectores: centros de educación superior, entidades públicas de investigación, centros biosanitarios, empresas y otros.

De todas ellas, SIR analiza su rendimiento científico entre 2003 y 2007 a través de cinco factores: i) producción total de documentos; ii) citas recibidas por documento en el periodo; iii) colaboración internacional (proporción de artículos publicados en cooperación con investigadores y centros extranjeros); iv) indicador SJR normalizado (media global de la relación entre el SJR de las revistas en que publica la institución y el SJR promedio de las revistas del mismo área temática); y v) índice de citación normalizado (proporción entre el nivel de citas recibidas por la institución y el nivel medio de citas en las áreas temáticas de los artículos publicados).

El informe SIR hace referencia al enorme trabajo realizado para sortear  la dificultad de identificar y normalizar los nombres de las instituciones que los autores mencionan en los datos de afiliación, problema que, desde luego, aunque no se dice, en Scopus se encuentra muy lejos de estar resuelto a pesar del código de identificación que el año pasado introdujeron para controlar los centros de investigación.

Por otro lado, ignoro cómo se las habrán arreglado también en SIR con el problema de que en Scopus hay ¿muchas? referencias sin datos completos de autoría, es decir, que omiten buena parte de los investigadores e instituciones participantes, lo que distorsionaría los resultados, obviamente.

Institutions Rankings 2009 World Report puede consultarse en forma de listado pdf y en versión hoja de cálculo. Además, se presenta como un primer avance de lo que pretende ser una herramienta para hacer evaluación institucional de la investigación, con prestaciones de análisis de datos que permitan monitorizar y auditar el rendimiento científico. El acceso a los instrumentos interactivos, sin embargo, aunque se ofrece en la página de SIR, parece estar pendiente de implementación.

En cualquier caso, no deja de ser impresionante, como decía cuando apareció SJR, que un proyecto semejante de análisis métrico de la ciencia, con tanta fuerza, esté creciendo en España. Su influencia va en aumento, pero, de todas formas, ¿es suficientemente valorado?

Mucho más sobre el índice h

• Alonso, S.; Cabrerizo, F.J.; Herrera-Viedma, E.; Herrera, F.  h-Index: a review focused in its variants, computation and standarization for different scientific fields. Journal of Informetrics, 2009, 3(4):273-289

Hace sólo cuatro años que J. Hirsch publicó su artículo sobre el índice h y ya hay toda una literatura sobre el particular, casi se ha convertido en un área de la metaciencia por derecho propio (aparte de su enorme repercusión práctica). Varios investigadores españoles, del sector de la computación, han publicado recientemente un amplio artículo de revisión (un review) sobre el índice h en el Journal of Informetrics. El estudio correspondiente se ha financiado con ayudas a la investigación del Ministerio de Educación y Ciencia.

El artículo constituye una recapitulación bibliográfica selectiva y, en cierto modo, una reflexión sobre diferentes aspectos de este indicador bibliométrico: la propuesta original de Hirsch; el examen de sus ventajas, inconvenientes y aplicaciones; los numerosísimos indicadores aparecidos en la estela del h y los estudios que los analizan o comparan; las repercusiones de las autocitas; los trabajos sobre estandarización del índice h para poder valorar a la vez científicos de distintas áreas; y el cálculo del índice h a través de tres fuentes bibliográficas (Web of Science, Scopus y Google Scholar) con las ventajas o desventajas de cada una.

Entre las conclusiones de los autores a la luz de los muchos estudios que tienen en cuenta está que las fortalezas del índice h residen en ponderar conjuntamente la producción y el impacto de una serie de publicaciones, y en ser muy fácil de calcular. Sus principales debilidades serían: que no permite comparar publicaciones o científicos de diferentes áreas temáticas (lo que es común a la mayoría de los indicadores); que depende mucho de variables como la longitud de la carrera científica (no se puede comparar un científico joven con uno senior); que refleja poco los cambios en el total de citas de los artículos más citados de un autor; que es sensible a las autocitas; y que es independiente del contexto en que se producen las citas.

Los autores también opinan que, a pesar de las numerosas variantes del índice h aparecidas, destinadas a corregir sus defectos, bastantes estudios hallan una elevada correlación entre los resultados de aplicar esos diferentes indicadores y el índice h. No obstante, ellos mismos han elaborado otra propuesta de indicador, el índice hg, que se basa en los índices h y g (de Egghe), cuya idea han publicado en otro artículo, aparecido en Scientometrics: hg-index: a new index to characterize the scientific output of researchers based on the h- and g-indices.

La revisión que comentamos, por otro lado, también concluye que muchos trabajos ponen de manifiesto la dependencia de los resultados métricos respecto de la fuente bibliográfica escogida para el cómputo, apreciándose además que Google Scholar es con la que peor se calculan.

Los autores disponen, además, de una página web, h-Index Bibliography, con una recopilación más exhaustiva de referencias sobre el índice h y los indicadores relacionados.   

Percepciones sobre las citas

• Aksnes, D.W.; Rip, A. 2009. Researchers’ perceptions of citations. Research policy, 38(6):895-905

Sobre la base de las opiniones recabadas a través de una encuesta, sin mucho análisis, Aksnes y Rip nos informan en este artículo de cómo perciben los investigadores noruegos el asunto de las citas. Los contextos nacionales son diferentes, sobre todo la utilización de las citas para la política de investigación. Pero tomándolas con esa precaución, estamos ante interpretaciones que recuerdan mucho los criterios que se manejan por parte de los científicos de España o de otros lugares. El artículo subraya lo siguiente.

• Lo primero, los investigadores son muy conscientes del tema, les preocupa. Las citas les importan como elemento de recompensa y reconocimiento, pero también como indicador en procesos de evaluación y de asignación de recursos.
• Manifiestan, sin embargo, una actitud ambivalente: desean y persiguen las citas, pero las critican porque suelen pensar que no reflejan el auténtico valor de las contribuciones científicas.
• Circula entre los investigadores un repertorio popular de creencias y valoraciones acerca de las citas, basado a menudo en vivencias personales negativas, que es más bien escéptico y hasta cínico. A veces se trata casi de mitos, en realidad.
• Barajan una serie de explicaciones que convergen en la idea de que las imperfecciones o avatares de la comunicación científica hacen que la importancia de una publicación no se vea bien representada en su impacto y que haya sesgos notables.
• Para muchos parece claro que la calidad y el impacto no correlacionan perfectamente, a causa de factores externos y azarosos, lo que se percibe como un defecto.
• Con frecuencia se manifiesta también una actitud diferente en la valoración de las citas ajenas y de las propias, o del sistema de citas en general y de su aplicación al caso personal.
• Hay resistencia a que el mérito científico sea juzgado con un indicador cuantitativo, lo que revela interés en conservar la autonomía de la ciencia y desconfianza en la justicia del sistema para evaluar el rendimiento y la calidad científicas.
• Se da una tensión constante entre las necesidades de gestión de la ciencia, que requiere medidas fáciles y métodos simples de evaluación, y la exigencia de los investigadores de que se realice una valoración justa e integral de la calidad científica.

En efecto, las percepciones a veces contradictorias sobre las citas manifiestan los conflictos que se producen en el seno de la tecnociencia entre el modo de producción industrial de conocimiento, donde el científico es un empleado y la bibliometría una ayuda a la gestión eficiente, y de otro lado la libertad de la academia, como valor tradicional de la ciencia, que permite al investigador trabajar sin controles. Pero, a fin de cuentas, la reputación es la reputación.

JCR con Eigenfactor y más

Las últimas novedades introducidas hace pocos días en los Journal Citation Reports (JCR) del ISI Web of Knowledge suponen una mejora interesante en la información métrica que ofrecen sobre las revistas científicas. Sobre todo porque facilitan datos complementarios al clásico y omnipresente factor de impacto. Los cambios principales son cuatro, pero sólo afectan a las ediciones de JCR (Science y Social Science) de 2007, no a las anteriores:

1. Se proporcionan de cada revista dos nuevos indicadores procedentes de Eigenfactor.org: Eigenfactor y Article Influence. (Puede verse otra entrada en este blog al respecto). Son indicadores elaborados con datos de Web of Science pero fuera de su entorno, obtenidos, por acuerdo con sus desarrolladores. Valoran la importancia de las revistas en función de la propia influencia iterativamente ponderada de las revistas que la citan, siguiendo el modelo del algoritmo PageRank de Google, e igual que hace el indicador SJR de SJR Journal & Country Rank sobre datos bibliográficos de Scopus.
2. JCR ha añadido también un nuevo factor de impacto a 5 años, es decir, calculado sobre la base de las citas realizadas a los artículos de cinco (y no dos) años de cada revista. Ello es obviamente útil para sectores de la ciencia donde la vida útil de los artículos es más dilatada en el tiempo, como en las matemáticas, las ciencias sociales, etc.
3. Con los datos de cada revista, ahora se muestra Journal Rank in Categories, una tabla síntesis de su posición por factor de impacto en las categorías temáticas a las que pertenece, que resulta práctica para enterarse rápidamente de su situación relativa respecto a los demás títulos, sin tener que ir a localizarla en cada lista. También se ofrece un gráfico con la distribución de los valores del factor de impacto en la categoría temática (media, mediana, percentiles, etc.)
4. También con los datos de cada revista, otra tabla informa de la contribución de sus autocitas a su factor de impacto, mejorándose la vigilancia y control sobre este aspecto de la evaluación de las revistas que tantas suspicacias levanta.

Las nuevas prestaciones de JCR no sólo enriquecen los servicios de la fuente de información, sino que es de esperar que ayuden a aligerar la obsesión excesiva con el factor de impacto como único patrón de medida de la calidad científica. Ver en el propio JCR más criterios de calidad, tan interesantes como Eigenfactor, hacer comparaciones fáciles, puede contribuir a descongestionar.

Tácticamente, todo ello pone en valor a JCR permitiéndole eludir la sempiterna acusación por la responsabilidad de la impactitis reinante en todas partes: se ha diversificado.

Lo que se echa de menos, en fin, es una mejora en la interfaz de consulta, que ha evolucionado poco para lo que suelen cambiar estas cosas ahora.

“The Misused Impact Factor”

Últimamente las mediciones bibliométricas, y el factor de impacto en particular, están recibiendo muchas críticas desde todas partes. Los varapalos discurren en paralelo, o son en realidad consecuencia de la intensidad y frecuencia con que los resultados de la investigación, y sus protagonistas, son ahora sometidos a análisis y evaluaciones cuantitativas. Tanto examen métrico por doquier, a veces riguroso, a veces apresurado, tanto afán de medición, está llevando quizá a bastante abuso, que es lo que está siendo denunciado, aunque no siempre las denuncias sean atinadas y razonables.

Ahora hasta la revista Science alza su voz, editorial mediante, de manera sensata y nada revolucionaria, contra el mal uso, la distorsión o los excesos y exageraciones en la utilización del Impact Factor de Thomson Reuters. Todo un síntoma:

The Misused Impact Factor. Science, 2008, 322(5899):165

La métrica de la ciencia, en cuanto base del estudio científico de la ciencia, por ejemplo, no tiene que pedir disculpas a nadie, es inocente. Pero tal vez su utilización exacerbada para el control tecnoindustrial de la empresa científica suscita recelos, contradicciones y resistencias en los ámbitos más fieles a la ciencia académica (Ziman), regida por otros valores (There are not numerical shortcuts for evaluating research quality, dice el editorial de Science).

¿A la métrica de la ciencia le pasa como a la Psicometría o a la Psicología en general, que pueden servir a más de un amo?

CiteSeerX, y ChemXSeer

Después de diez años de funcionamiento, hace varios meses que CiteSeer, la conocida fuente de información y documentos del sector de las ciencias de la computación, se ha renovado y ha renacido como CiteSeerX, con un nuevo sistema e interfaz. Alojada en el College of Information Sciences and Technology de la Pennsylvania State University, está ahora sólo bajo la dirección de C. Lee Giles.

Continuidad:

CiteSeerX vuelve a definirse como un buscador y una biblioteca digital de literatura científica. Mantiene la misma orientación de promover la comunicación libre y gratuita del conocimiento. Continúa capturando los artículos que los autores inscriben con su localización en la Red. Proporciona referencias, documentos digitales en PDF y PostScript y todo un sistema de índices de citas. Incluye informes técnicos, prepublicaciones, artículos de revista y, sobre todo, papers de congresos y conferencias, un tipo de literatura que es tan relevante en informática y computación.

CiteSeerX sigue explotando su sistema automático de indización de citas (Autonomous Citation Indexing) y mostrando el contexto que rodea a las citas en el texto del documento citante. Ofrece como antes listas de documentos relacionados (co-citados, co-citantes) y datos de citas a documentos no incluidos en el sistema. Y permite también buscar por texto completo.

Y cambio:

Entre las novedades, destaca el crecimiento que supone CiteSeerX: se ha pasado de 760.000 a 1.160.000 documentos. El sistema de búsqueda avanzada, con ser bastante esquemático, significa también una considerable mejora respecto a la “caja única” del antiguo CiteSeer. En general, la presentación se ha enriquecido, dentro de un estilo marcadamente espartano. A tono con ello, han aparecido prestaciones personalizadas, previo registro: MyCiteSeerX.

Lo más interesante de todo es que los datos y contenidos están actualizados. Por ejemplo, los más básicos y utilizados rankings de impacto de las fuentes (“venues”) son muy recomendables, porque calculan el impacto de series de congresos y conferencias que no figuran en Web of Science, Journal Citation Reports, Scopus, SJR, etc. Y en España, seguro, se usan mucho. Aparecen rankings anuales desde 1993 hasta 2007: 576 títulos en este último año. También hay rankings de autores, documentos y citas (referencias citadas no incluidas en CiteSeerX) más citados.

No veo, sin embargo, ni rastro en CiteSeerX de la búsqueda por agradecimientos (“acknowledgements”), que existía en CiteSeer y representaba un desarrollo experimental muy sugerente para la indagación sobre la estructura social de la ciencia.

Y también ChemXSeer:

En la estela de CiteSeerX, pero en el campo de la química, sobre todo de la química ambiental, está comenzando su camino ChemXSeer, también bajo el impulso peculiar del profesor C. Lee Giles. Se trata de un motor de búsqueda, fuente de documentos y de datos que por ahora opera de modo experimental, indizando sobre todo contenidos de la Royal Society of Chemistry.

ChemXSeer aspira a rastrear en internet y a alojar documentos científicos, así como a explotar inteligentemente la información química, al menos en tres direcciones: (i) la búsqueda de entidades químicas, moléculas, etc., (ii) la extracción automática y aprovechamiento de datos de tablas contenidas en los documentos y (iii) el tratamiento, conservación y recuperación de data sets (bancos de datos) experimentales obtenidos de varias procedencias y en distintos formatos.

“Los indicadores bibliométricos”

• Maltrás Barba, Bruno. Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Gijón: Trea, 2003.

Los indicadores bibliométricos se publicó en 2003 recogiendo el texto de una tesis doctoral de 1996. Todo ello, el paso del tiempo, su carácter de tesis, se nota bastante, y el propio autor lo advierte en una nota preliminar. Lo esencial de la investigación y la comunicación científica no ha cambiado mucho desde mediados de los años 90, pero sus canales y formatos, las fuentes para su estudio cuantitativo y los propios indicadores métricos han experimentado grandes desarrollos y alteraciones…

De la obra de Maltrás me parece muy interesante su planteamiento, su intención, su propósito de “encontrar un fundamento teórico general sobre el que apoyar la interpretación, definición y uso de los indicadores bibliométricos” (como dice en el resumen de su tesis doctoral). Se necesita, en efecto, anclar la métrica en un estudio y análisis riguroso de la actividad científica (quizá más sociológico), para legitimar públicamente la validez de los análisis cuantitativos y no caer en un medicionismo alocado, frívolo y ad hoc (que es lo que parece a veces que sucede).

Me ha interesado también gran parte de la conceptualización de la obra. El reconocimiento entre investigadores aparece como “el impulsor y modelador básico de la publicación científica oficial”. El resultado científico, “lo que se obtiene mediante un ejercicio riguroso de la actividad científica y que se puede percibir como nuevo y relevante para la ciencia…”, cristaliza en la publicación formal o documento científico, “unidad mínima de novedad y relevancia científica”. Así, la producción científica es la suma o agregación de esas unidades, con independencia de cuál sea su contribución al conocimiento, esto es, de su valor o calidad.

Maltrás estudia tres tipos de indicadores bibliométricos:

• De producción: dirigidos al recuento de la cantidad de resultados, que se plasman en documentos científicos.
• De calidad: intentan medir y comparar la valoración de las comunidades científicas sobre la contribución al conocimiento de determinados documentos, etc., a través de mediciones basadas en última instancia en citas, sobre todo con el factor de impacto.
• De colaboración: analizan las relaciones entre los agentes científicos productores de resultados.

Eigenfactor y Carl Bergstrom

Carl T. Bergstrom se dedica a la biología de la información en la Universidad de Washington (Seattle, EUA). Estudia los flujos de información en el mundo natural: cómo los organismos vivos han evolucionado adquiriendo, procesando, almacenando y transmitiendo información en múltiples niveles (células, individuos, poblaciones,… desde las bacterias a los homosapiens, pasando por la propagación de los patógenos). Investiga con su equipo cómo la información se comunica a través de sistemas biológicos y redes sociales. 

Su trabajo parte de la perspectiva de la biología evolutiva, pero se apoya en la teoría de juegos y la teoría de la señal, haciendo uso de modelos matemáticos para comprender los procesos biológicos y sociales basados en la información. Bergstrom está muy interesado en los aspectos estratégicos del uso de la información por parte de los organismos, pero sus indagaciones conectan la biología evolutiva con la teoría de la información heredera de Claude Shannon.

Así, en uno de sus artículos, The fitness value of information, concluye que el valor adaptativo de la información en el marco de la selección natural puede cuantificarse e interpretarse no sólo desde la teoría de la decisión, como se hace habitualmente en biología evolutiva y del comportamiento, sino a través de las medidas de “información mutua” y “entropía” características de la teoría de la información. 

No me parece casual que Bergstrom y sus colaboradores, además de dedicarse a la biología de la información, trabajen muy activamente en métrica de la información científica y sean los responsables de Eigenfactor.org. No sólo porque, obviamente, en ambos casos se apliquen métodos y modelos matemáticos, sino porque creo que hay vínculos esenciales entre ambos tipos de estudios. Es lo que más me llama la atención.

Eigenfactor.org es una fuente de datos métricos sobre las revistas científicas internacionales basada en información de citas de Journal Citation Reports y en la aplicación de algoritmos de relevancia tipo PageRank de Google. Proporciona datos anuales que abarcan desde 1995 a 2006 acerca de las 7.000 revistas incluidas en JCR y de otras muchas fuentes citadas por ellas. Presenta rankings temáticos con dos indicadores: eigenfactor y article influence. Además ofrece análisis de calidad/precio de las revistas y un módulo de representación gráfica de las relaciones entre las ciencias (mapping…)

Eigenfactor es un indicador de la influencia o repercusión global de las revistas que se basa, al estilo PageRank, en el cálculo iterativo del nivel de citación recibida por una revista según procedan a su vez las citas de revistas más o menos citadas, más o menos influyentes por tanto. Article influence mide la influencia media de los artículos de las revistas y se basa  en el mismo cálculo iterativo que Eigenfactor, pero teniendo en cuenta el número de articulos de la revista.

Es interesante anotar, por cierto, que SJR, utilizado en SCImago Journal & Country Rank, es otro indicador del tipo PageRank, también sobre revistas, pero basado en los datos de Scopus en lugar de en los de Journal Citation Reports y Web of Science. 

• Bergstrom, Carl. Eigenfactor: Measuring the value and prestige of academic journals. C&RL News, May 2007, 68(5)

“Publish or Perish” de Harzing

Ann-Will Harzing es una profesora de International Management, nacida en Holanda pero que trabaja ahora en la Universidad de Melbourne, Australia. Aunque es experta en gestión de recursos humanos en ambientes internacionales y multiculturales, está muy interesada por los temas de comunicación y edición científica, evaluación de la investigación, etc., como se comprueba en su web. Y es una defensora convencida de la utilidad de Google Scholar para los análisis métricos de la ciencia.

Desde 2006, con notable éxito, Harzing ofrece un programa elaborado con su ayuda por la empresa Tarma Software Research, que se llama Publish or Perish, con el que se reúnen citas y calculan datos métricos extraídos del buscador Google Scholar. Es una pequeña aplicación muy sencilla, que se puede descargar desde el sitio web de Harzing gratuitamente si es para uso personal. (Su nombre, por cierto, me parece algo más que una evocadora gracieta).

Publish or Perish ejecuta búsquedas en Google Scholar que pueden ser de tres tipos: Author impact analysis (referencias de un autor con sus citas), Journal impact analysis (citas a una revista) y General citation search (búsqueda de referencias concretas y sus citas). Presenta en pantalla listas de referencias breves, que enlazan a páginas de resultados de Google Scholar y se pueden marcar y desmarcar como pertinentes o no para nuestro rastreo, así como ordenar por diferentes criterios.

A partir de las referencias y citas, Publish or Perish calcula y presenta datos como: número total de artículos y de citas; citas por artículo, por autor, por año; artículos por autor y autores por artículo; índice g, índice h en diversas versiones y otros indicadores concebidos recientemente. Dispone de un módulo de gestión y archivo de las búsquedas realizadas (Multi-query center) y también permite copiar y exportar los resultados estadísticos y las referencias bibliográficas (en BibTex y otros formatos). Cuenta, además, con una ayuda muy profesional, bien articulada, completa y práctica.

Publish or Perish hereda las ventajas y los defectos de Google Scholar, del que depende absolutamente. A nadie a quien no convenga usar el buscador para análisis de citas le interesa esta aplicación. Y por supuesto quien la emplee encontrará las mismas dificultades con los nombres de persona, las mismas incertidumbres sobre el alcance de los análisis o los mismos errores que acudiendo de forma directa a Google Scholar…

Pero con el programa de Harzing se aprovechará más eficazmente de la capacidad del buscador científico para “husmear” en toda la Red. Constituye una ayuda estupenda para procesar y utilizar la información que se deriva del buscador y que, de otra manera, hay que tratar “a mano”. Aporta, pues, a Google Scholar, exactamente, la métrica, la explotación de los datos cuantitativos.

He encontrado más información sobre Publish or Perish en el blog Bibliometría, en el blog Software científico y técnico y en The Australian.

IN-RECS e IN-RECJ

Hace ya varios años que funciona el Índice de impacto de revistas españolas de ciencias sociales IN-RECS, del que después se ha segregado también el Índice de impacto de revistas españolas de ciencias jurídicas IN-RECJ. Ambos son elaborados y mantenidos por el Grupo de investigación de Evaluación de la Ciencia y la Comunicación Científica EC3, de la Universidad de Granada, con el objetivo de determinar la relevancia e influencia científica de las revistas, artículos, autores e instituciones españolas en ramas del saber científico-social.

IN-RECS e IN-RECJ proporcionan, pues, información bibliométrica susceptible de usarse para evaluar la producción científica en unas áreas temáticas donde la investigación se realiza en el seno de comunidades científicas nacionales más que internacionales (salvo, quizá, en Psicología o Economía); unas áreas, por tanto, donde los instrumentos bibliográficos y métricos de la ciencia globalizada (Web of Science, Scopus, etc.) no son de plena aplicación.

La idea de IN-RECS e IN-RECJ  no ha podido ser más acertada y oportuna en un momento en el que la evaluación métrica de la ciencia es una actividad que se intensifica con las políticas públicas de investigación y el desarrollo de la sociedad tecnocientífica. IN-RECS e IN-RECJ compensan de algún modo a los especialistas españoles en ciencias sociales y son herramientas de medida útiles para los gestores y evaluadores académicos y científicos.

El alcance de IN-RECS e IN-RECJ  en cuanto a prestaciones y contenidos es ambicioso: ofrecen abundante información, ya de once años el primero y de seis el segundo. Como cualquier base de datos de este tipo, parten de una selección de revistas citantes, elegidas como principales en cada sector. Estas revistas fuente son unas 200 entre los dos índices, y constituyen la base para medir el impacto de unos 900 títulos en total.

Para la complejidad de los datos que suministran IN-RECS e IN-RECJ se agradecería que la interfaz de consulta fuera más clara y autoexplicativa. Proporcionan prolijos detalles sobre la justificación y metodología del proyecto, pero algunos aspectos y conceptos que uno se tropieza al utilizarlas carecen de suficiente orientación o asistencia. La extensa “Ayuda” es un tanto rudimentaria. Diríase que IN-RECS e IN-RECJ parecen un poco más enfocadas al bibliómetra que al usuario investigador.

La oportunidad de la iniciativa de IN-RECS se pone de manifiesto en la proliferación de plataformas similares (RESH, DICE, MIAR, etc.), con los mismos o parecidos propósitos, casi todas financiadas con cargo a proyectos de investigación particulares. Acerca de tal proliferación, un fenómeno típicamente español por otra parte, escribe Elea Giménez-Toledo en un artículo de ThinkEPI .

Como curiosidad, según IN-RECS las medias de citas por artículo para el periodo 1994-2006, por áreas temáticas, son:

• Antropología: 0,50
• Biblioteconomía y documentación:  0,21
• Ciencia política y de la administración:  0,20
• Comunicación:  0,13
• Economía:  0,37
• Educación:  0,27
• Geografía:  0,31
• Psicología:  0,65
• Sociología:  0,22
• Urbanismo:  0,50

Scopus y su propio impacto

Scopus, la base de datos multidisciplinar del grupo Elsevier, no para. Después de desarrollar el sistema de identificación y búsqueda por autores y dos meses más tarde de incorporar el de instituciones (Affiliation Search) acaba de poner en marcha una herramienta de información sobre la productividad y repercusión científicas de las revistas: el módulo Analytics o Journal Analyzer.

Es una prestación bastante sencilla, que permite conocer la evolución del número de artículos publicados, citas recibidas y el cociente entre citas y artículos (Trend line) de una revista en cada año, desde 1996. La información se visualiza, además, mediante un gráfico y se puede comparar de forma simultánea la trayectoria de hasta diez títulos. Los datos se actualizan cada dos meses.

No cabe duda que Scopus es impactante, porque realiza con rapidez y agilidad cambios y mejoras que captan la atención, golpeando a su rival ISI Web of Knowledge con dosificada regularidad. El funcionamiento y manejo de Scopus es además amigable, práctico y cómodo. Habrá que dejar a análisis más expertos, sin embargo, la valoración de la calidad y fiabilidad de algunos desarrollos. Así, por ejemplo, me gustaría ver opiniones más solventes sobre el indicador Trend line, como cociente entre el total de citas recibidas en un año dado por todos los artículos de la revista, de cualquier fecha, y los artículos publicados ese año. A mí no me entusiasma.

Por otra parte, con los datos de Scopus, ningún análisis métrico mejor, por supuesto, que el que ofrece SCImago Journal & Country Rank, y no creo que sea fácil superarlo. Además de proporcionar una inmensa cantidad de datos de manera muy fácil, permite comparar hasta cuatro revistas en trece parámetros diferentes.

El caso es que Elsevier parece decidido a no quedarse sólo como el principal agente en la comunicación de información científica primaria, sino también a imponer su liderazgo en el control de la información referencial, en las herramientas de búsqueda de la documentación científica, y en el campo de la métrica de la actividad investigadora. Unas y otras líneas de trabajo crean sinergias que fortalecen su posición frente a los rivales y frente al empuje del acceso abierto.

Ciencia, evaluación y libertad

Entre las principales fuerzas impulsoras del cambio y la complejidad social, está la tecnociencia, de la que escribo a veces en este blog, bajo la inspiración de Javier Echeverría. Yo creo que la tecnociencia es el segmento cualificado del dinamismo informativo general: la parte más depurada de cuanta información circula y se procesa a través de cerebros y máquinas. Y en el viejo lenguaje de la economía marxista representa la fuerza productiva del emergente modo de producción.

La tecnociencia es un caleidoscopio de agentes sociales, pero entre ellos están, no cabe duda, los científicos, los herederos de la ciencia tradicional. Los científicos son la peculiar mano de obra de un gran sistema productivo. Naturalmente, hay muchas clases de científicos, hay científicos empresarios… Pero muchos de ellos son mano de obra muy básica de las nuevas cadenas de valor.

En los tiempos actuales, toda la economía de los servicios se somete a patrones de gestión y optimización industrial de procesos y resultados. Y la tecnociencia, principal fuerza productiva, también. De modo que la producción científica ha de regirse según criterios de eficiencia y organización racional del trabajo, en sus prioridades, presupuestos, recursos y administración… Y también en la evaluación del rendimiento de los investigadores.

Las actividades cuantitativas de evaluación de la ciencia, de creciente importancia, son una, también peculiar, forma de taylorización de la producción científica. Exceden, desde luego, lo necesario para la dispensación tradicional de mérito y honores académicos. Pero constituyen una exigencia lógica en un sistema donde la sociedad, o las sociedades, invierten ingentes recursos, porque esperan resultados y retornos de las enormes factorías de conocimiento en que laboran legiones de empleados sui generis. La métrica de la información científica es también una valiosa herramienta para el análisis científico de la propia ciencia, etc.

La investigación ha dejado de ser una profesión libre y artesanal para convertirse en una empresa que produce en serie, masivamente. La evaluación cuantitativa de los resultados y de los propios científicos es parte de esa transformación. Pero la ciencia tradicionalmente ha reclamado libertad intelectual, ejercicio sin restricciones de la creatividad, como su mejor fermento.

¿Es susceptible la ciencia de someterse a tanto escrutinio? ¿Tanta rendición de cuentas y afán de impacto será contraproducente para el propio conocimiento? ¿Se trata de otro de los conflictos internos de la tecnociencia? ¿Perderá la ciencia su liderazgo moral en cuanto a valores que se le suponían definitorios: independencia, desinterés…? ¿O lo de la libertad era otro mito sobre la ciencia?

P.S. 02-07-09: En relación con este tema he escrito en ThinkEPI también esto: Bibliometría y Academia.