SCImago Institutions Rankings

SCImago Journal & Country Rank (SJR) no sólo está extendiendo su influencia en la práctica de la evaluación métrica de la investigación, sino que aumenta sus contenidos, siempre sobre la base de la información bibliográfica y de citas procedente de la base de datos Scopus. Nacido hace menos de dos años, SJR acaba de lanzar su sección de ranking de instituciones científicas, SIR, que se suma a los rankings ya disponibles de revistas y de países.

Scimago Institutions Rankings (SIR) constituye un informe sobre las 2.080 instituciones de investigación con mayor producción científica de todo el mundo. En su primera edición, de este año, SIR incluye organismos pertenecientes a 84 países agrupados en varios sectores: centros de educación superior, entidades públicas de investigación, centros biosanitarios, empresas y otros.

De todas ellas, SIR analiza su rendimiento científico entre 2003 y 2007 a través de cinco factores: i) producción total de documentos; ii) citas recibidas por documento en el periodo; iii) colaboración internacional (proporción de artículos publicados en cooperación con investigadores y centros extranjeros); iv) indicador SJR normalizado (media global de la relación entre el SJR de las revistas en que publica la institución y el SJR promedio de las revistas del mismo área temática); y v) índice de citación normalizado (proporción entre el nivel de citas recibidas por la institución y el nivel medio de citas en las áreas temáticas de los artículos publicados).

El informe SIR hace referencia al enorme trabajo realizado para sortear  la dificultad de identificar y normalizar los nombres de las instituciones que los autores mencionan en los datos de afiliación, problema que, desde luego, aunque no se dice, en Scopus se encuentra muy lejos de estar resuelto a pesar del código de identificación que el año pasado introdujeron para controlar los centros de investigación.

Por otro lado, ignoro cómo se las habrán arreglado también en SIR con el problema de que en Scopus hay ¿muchas? referencias sin datos completos de autoría, es decir, que omiten buena parte de los investigadores e instituciones participantes, lo que distorsionaría los resultados, obviamente.

Institutions Rankings 2009 World Report puede consultarse en forma de listado pdf y en versión hoja de cálculo. Además, se presenta como un primer avance de lo que pretende ser una herramienta para hacer evaluación institucional de la investigación, con prestaciones de análisis de datos que permitan monitorizar y auditar el rendimiento científico. El acceso a los instrumentos interactivos, sin embargo, aunque se ofrece en la página de SIR, parece estar pendiente de implementación.

En cualquier caso, no deja de ser impresionante, como decía cuando apareció SJR, que un proyecto semejante de análisis métrico de la ciencia, con tanta fuerza, esté creciendo en España. Su influencia va en aumento, pero, de todas formas, ¿es suficientemente valorado?

Mucho más sobre el índice h

• Alonso, S.; Cabrerizo, F.J.; Herrera-Viedma, E.; Herrera, F.  h-Index: a review focused in its variants, computation and standarization for different scientific fields. Journal of Informetrics, 2009, 3(4):273-289

Hace sólo cuatro años que J. Hirsch publicó su artículo sobre el índice h y ya hay toda una literatura sobre el particular, casi se ha convertido en un área de la metaciencia por derecho propio (aparte de su enorme repercusión práctica). Varios investigadores españoles, del sector de la computación, han publicado recientemente un amplio artículo de revisión (un review) sobre el índice h en el Journal of Informetrics. El estudio correspondiente se ha financiado con ayudas a la investigación del Ministerio de Educación y Ciencia.

El artículo constituye una recapitulación bibliográfica selectiva y, en cierto modo, una reflexión sobre diferentes aspectos de este indicador bibliométrico: la propuesta original de Hirsch; el examen de sus ventajas, inconvenientes y aplicaciones; los numerosísimos indicadores aparecidos en la estela del h y los estudios que los analizan o comparan; las repercusiones de las autocitas; los trabajos sobre estandarización del índice h para poder valorar a la vez científicos de distintas áreas; y el cálculo del índice h a través de tres fuentes bibliográficas (Web of Science, Scopus y Google Scholar) con las ventajas o desventajas de cada una.

Entre las conclusiones de los autores a la luz de los muchos estudios que tienen en cuenta está que las fortalezas del índice h residen en ponderar conjuntamente la producción y el impacto de una serie de publicaciones, y en ser muy fácil de calcular. Sus principales debilidades serían: que no permite comparar publicaciones o científicos de diferentes áreas temáticas (lo que es común a la mayoría de los indicadores); que depende mucho de variables como la longitud de la carrera científica (no se puede comparar un científico joven con uno senior); que refleja poco los cambios en el total de citas de los artículos más citados de un autor; que es sensible a las autocitas; y que es independiente del contexto en que se producen las citas.

Los autores también opinan que, a pesar de las numerosas variantes del índice h aparecidas, destinadas a corregir sus defectos, bastantes estudios hallan una elevada correlación entre los resultados de aplicar esos diferentes indicadores y el índice h. No obstante, ellos mismos han elaborado otra propuesta de indicador, el índice hg, que se basa en los índices h y g (de Egghe), cuya idea han publicado en otro artículo, aparecido en Scientometrics: hg-index: a new index to characterize the scientific output of researchers based on the h– and g-indices.

La revisión que comentamos, por otro lado, también concluye que muchos trabajos ponen de manifiesto la dependencia de los resultados métricos respecto de la fuente bibliográfica escogida para el cómputo, apreciándose además que Google Scholar es con la que peor se calculan.

Los autores disponen, además, de una página web, h-Index Bibliography, con una recopilación más exhaustiva de referencias sobre el índice h y los indicadores relacionados.   

Percepciones sobre las citas

• Aksnes, D.W.; Rip, A. 2009. Researchers’ perceptions of citations. Research policy, 38(6):895-905

Sobre la base de las opiniones recabadas a través de una encuesta, sin mucho análisis, Aksnes y Rip nos informan en este artículo de cómo perciben los investigadores noruegos el asunto de las citas. Los contextos nacionales son diferentes, sobre todo la utilización de las citas para la política de investigación. Pero tomándolas con esa precaución, estamos ante interpretaciones que recuerdan mucho los criterios que se manejan por parte de los científicos de España o de otros lugares. El artículo subraya lo siguiente.

• Lo primero, los investigadores son muy conscientes del tema, les preocupa. Las citas les importan como elemento de recompensa y reconocimiento, pero también como indicador en procesos de evaluación y de asignación de recursos.
• Manifiestan, sin embargo, una actitud ambivalente: desean y persiguen las citas, pero las critican porque suelen pensar que no reflejan el auténtico valor de las contribuciones científicas.
• Circula entre los investigadores un repertorio popular de creencias y valoraciones acerca de las citas, basado a menudo en vivencias personales negativas, que es más bien escéptico y hasta cínico. A veces se trata casi de mitos, en realidad.
• Barajan una serie de explicaciones que convergen en la idea de que las imperfecciones o avatares de la comunicación científica hacen que la importancia de una publicación no se vea bien representada en su impacto y que haya sesgos notables.
• Para muchos parece claro que la calidad y el impacto no correlacionan perfectamente, a causa de factores externos y azarosos, lo que se percibe como un defecto.
• Con frecuencia se manifiesta también una actitud diferente en la valoración de las citas ajenas y de las propias, o del sistema de citas en general y de su aplicación al caso personal.
• Hay resistencia a que el mérito científico sea juzgado con un indicador cuantitativo, lo que revela interés en conservar la autonomía de la ciencia y desconfianza en la justicia del sistema para evaluar el rendimiento y la calidad científicas.
• Se da una tensión constante entre las necesidades de gestión de la ciencia, que requiere medidas fáciles y métodos simples de evaluación, y la exigencia de los investigadores de que se realice una valoración justa e integral de la calidad científica.

En efecto, las percepciones a veces contradictorias sobre las citas manifiestan los conflictos que se producen en el seno de la tecnociencia entre el modo de producción industrial de conocimiento, donde el científico es un empleado y la bibliometría una ayuda a la gestión eficiente, y de otro lado la libertad de la academia, como valor tradicional de la ciencia, que permite al investigador trabajar sin controles. Pero, a fin de cuentas, la reputación es la reputación.

JCR con Eigenfactor y más

Las últimas novedades introducidas hace pocos días en los Journal Citation Reports (JCR) del ISI Web of Knowledge suponen una mejora interesante en la información métrica que ofrecen sobre las revistas científicas. Sobre todo porque facilitan datos complementarios al clásico y omnipresente factor de impacto. Los cambios principales son cuatro, pero sólo afectan a las ediciones de JCR (Science y Social Science) de 2007, no a las anteriores:

1. Se proporcionan de cada revista dos nuevos indicadores procedentes de Eigenfactor.org: Eigenfactor y Article Influence. (Puede verse otra entrada en este blog al respecto). Son indicadores elaborados con datos de Web of Science pero fuera de su entorno, obtenidos, por acuerdo con sus desarrolladores. Valoran la importancia de las revistas en función de la propia influencia iterativamente ponderada de las revistas que la citan, siguiendo el modelo del algoritmo PageRank de Google, e igual que hace el indicador SJR de SJR Journal & Country Rank sobre datos bibliográficos de Scopus.
2. JCR ha añadido también un nuevo factor de impacto a 5 años, es decir, calculado sobre la base de las citas realizadas a los artículos de cinco (y no dos) años de cada revista. Ello es obviamente útil para sectores de la ciencia donde la vida útil de los artículos es más dilatada en el tiempo, como en las matemáticas, las ciencias sociales, etc.
3. Con los datos de cada revista, ahora se muestra Journal Rank in Categories, una tabla síntesis de su posición por factor de impacto en las categorías temáticas a las que pertenece, que resulta práctica para enterarse rápidamente de su situación relativa respecto a los demás títulos, sin tener que ir a localizarla en cada lista. También se ofrece un gráfico con la distribución de los valores del factor de impacto en la categoría temática (media, mediana, percentiles, etc.)
4. También con los datos de cada revista, otra tabla informa de la contribución de sus autocitas a su factor de impacto, mejorándose la vigilancia y control sobre este aspecto de la evaluación de las revistas que tantas suspicacias levanta.

Las nuevas prestaciones de JCR no sólo enriquecen los servicios de la fuente de información, sino que es de esperar que ayuden a aligerar la obsesión excesiva con el factor de impacto como único patrón de medida de la calidad científica. Ver en el propio JCR más criterios de calidad, tan interesantes como Eigenfactor, hacer comparaciones fáciles, puede contribuir a descongestionar.

Tácticamente, todo ello pone en valor a JCR permitiéndole eludir la sempiterna acusación por la responsabilidad de la impactitis reinante en todas partes: se ha diversificado.

Lo que se echa de menos, en fin, es una mejora en la interfaz de consulta, que ha evolucionado poco para lo que suelen cambiar estas cosas ahora.

«The Misused Impact Factor»

Últimamente las mediciones bibliométricas, y el factor de impacto en particular, están recibiendo muchas críticas desde todas partes. Los varapalos discurren en paralelo, o son en realidad consecuencia de la intensidad y frecuencia con que los resultados de la investigación, y sus protagonistas, son ahora sometidos a análisis y evaluaciones cuantitativas. Tanto examen métrico por doquier, a veces riguroso, a veces apresurado, tanto afán de medición, está llevando quizá a bastante abuso, que es lo que está siendo denunciado, aunque no siempre las denuncias sean atinadas y razonables.

Ahora hasta la revista Science alza su voz, editorial mediante, de manera sensata y nada revolucionaria, contra el mal uso, la distorsión o los excesos y exageraciones en la utilización del Impact Factor de Thomson Reuters. Todo un síntoma:

The Misused Impact Factor. Science, 2008, 322(5899):165

La métrica de la ciencia, en cuanto base del estudio científico de la ciencia, por ejemplo, no tiene que pedir disculpas a nadie, es inocente. Pero tal vez su utilización exacerbada para el control tecnoindustrial de la empresa científica suscita recelos, contradicciones y resistencias en los ámbitos más fieles a la ciencia académica (Ziman), regida por otros valores (There are not numerical shortcuts for evaluating research quality, dice el editorial de Science).

¿A la métrica de la ciencia le pasa como a la Psicometría o a la Psicología en general, que pueden servir a más de un amo?

V Foro sobre la Evaluación …

• V Foro sobre la Evaluación de la calidad de la educación superior y de la investigación: San Sebastián, 2-5 septiembre de 2008.

Ya están disponibles y se pueden consultar en internet los resúmenes y presentaciones completos del V Foro sobre la Evaluación de la calidad de la educación superior y de la investigación, celebrado el mes pasado en San Sebastián, a través de la página del libro de resúmenes, donde también se incluyen, por cierto, los contenidos del IV Foro, que tuvo lugar el año pasado en Granada.

Se trata de un programa muy amplio de sesiones y comunicaciones, que abarca tanto presentación de experiencias como exposiciones prácticas o reflexiones teóricas. Los temas se reparten en el amplio arco que va de la docencia a la investigación, pasando por la gestión, la innovación tecnológica o la política educativa en el ámbito de la enseñanza superior y los «espacios europeos»… También hay «sesiones aplicadas» sobre escritura científica, redacción y evaluación de proyectos de investigación, indicadores bibliométricos, fuentes de información para la evaluación de la investigación, etc.

Se puede uno encontrar, pues, muchas cosas interesantes y recomendables; y también reveladoras. Tanta efervescencia alrededor de la evaluación, en general, denota, a mi parecer:

1. Cómo van interiorizando los protagonistas del «sector» el paso de un modo artesanal a otro industrial de producción de conocimiento y de transmisión educativa.
2. Qué difícil es, no obstante, gestionar los rendimientos, optimizar los procesos, auditar la productividad y controlar la complejidad cuando se trata de dinámicas intelectuales.
3. Incluso podría vislumbrarse levemente, podría sospecharse, que en algunos casos extremos una espesa capa de palabras no resguarda cosa alguna.

CiteSeerX, y ChemXSeer

Después de diez años de funcionamiento, hace varios meses que CiteSeer, la conocida fuente de información y documentos del sector de las ciencias de la computación, se ha renovado y ha renacido como CiteSeerX, con un nuevo sistema e interfaz. Alojada en el College of Information Sciences and Technology de la Pennsylvania State University, está ahora sólo bajo la dirección de C. Lee Giles.

Continuidad:

CiteSeerX vuelve a definirse como un buscador y una biblioteca digital de literatura científica. Mantiene la misma orientación de promover la comunicación libre y gratuita del conocimiento. Continúa capturando los artículos que los autores inscriben con su localización en la Red. Proporciona referencias, documentos digitales en PDF y PostScript y todo un sistema de índices de citas. Incluye informes técnicos, prepublicaciones, artículos de revista y, sobre todo, papers de congresos y conferencias, un tipo de literatura que es tan relevante en informática y computación.

CiteSeerX sigue explotando su sistema automático de indización de citas (Autonomous Citation Indexing) y mostrando el contexto que rodea a las citas en el texto del documento citante. Ofrece como antes listas de documentos relacionados (co-citados, co-citantes) y datos de citas a documentos no incluidos en el sistema. Y permite también buscar por texto completo.

Y cambio:

Entre las novedades, destaca el crecimiento que supone CiteSeerX: se ha pasado de 760.000 a 1.160.000 documentos. El sistema de búsqueda avanzada, con ser bastante esquemático, significa también una considerable mejora respecto a la «caja única» del antiguo CiteSeer. En general, la presentación se ha enriquecido, dentro de un estilo marcadamente espartano. A tono con ello, han aparecido prestaciones personalizadas, previo registro: MyCiteSeerX.

Lo más interesante de todo es que los datos y contenidos están actualizados. Por ejemplo, los más básicos y utilizados rankings de impacto de las fuentes («venues») son muy recomendables, porque calculan el impacto de series de congresos y conferencias que no figuran en Web of Science, Journal Citation Reports, Scopus, SJR, etc. Y en España, seguro, se usan mucho. Aparecen rankings anuales desde 1993 hasta 2007: 576 títulos en este último año. También hay rankings de autores, documentos y citas (referencias citadas no incluidas en CiteSeerX) más citados.

No veo, sin embargo, ni rastro en CiteSeerX de la búsqueda por agradecimientos («acknowledgements»), que existía en CiteSeer y representaba un desarrollo experimental muy sugerente para la indagación sobre la estructura social de la ciencia.

Y también ChemXSeer:

En la estela de CiteSeerX, pero en el campo de la química, sobre todo de la química ambiental, está comenzando su camino ChemXSeer, también bajo el impulso peculiar del profesor C. Lee Giles. Se trata de un motor de búsqueda, fuente de documentos y de datos que por ahora opera de modo experimental, indizando sobre todo contenidos de la Royal Society of Chemistry.

ChemXSeer aspira a rastrear en internet y a alojar documentos científicos, así como a explotar inteligentemente la información química, al menos en tres direcciones: (i) la búsqueda de entidades químicas, moléculas, etc., (ii) la extracción automática y aprovechamiento de datos de tablas contenidas en los documentos y (iii) el tratamiento, conservación y recuperación de data sets (bancos de datos) experimentales obtenidos de varias procedencias y en distintos formatos.

Eigenfactor y Carl Bergstrom

Carl T. Bergstrom se dedica a la biología de la información en la Universidad de Washington (Seattle, EUA). Estudia los flujos de información en el mundo natural: cómo los organismos vivos han evolucionado adquiriendo, procesando, almacenando y transmitiendo información en múltiples niveles (células, individuos, poblaciones,… desde las bacterias a los homosapiens, pasando por la propagación de los patógenos). Investiga con su equipo cómo la información se comunica a través de sistemas biológicos y redes sociales. 

Su trabajo parte de la perspectiva de la biología evolutiva, pero se apoya en la teoría de juegos y la teoría de la señal, haciendo uso de modelos matemáticos para comprender los procesos biológicos y sociales basados en la información. Bergstrom está muy interesado en los aspectos estratégicos del uso de la información por parte de los organismos, pero sus indagaciones conectan la biología evolutiva con la teoría de la información heredera de Claude Shannon.

Así, en uno de sus artículos, The fitness value of information, concluye que el valor adaptativo de la información en el marco de la selección natural puede cuantificarse e interpretarse no sólo desde la teoría de la decisión, como se hace habitualmente en biología evolutiva y del comportamiento, sino a través de las medidas de «información mutua» y «entropía» características de la teoría de la información. 

No me parece casual que Bergstrom y sus colaboradores, además de dedicarse a la biología de la información, trabajen muy activamente en métrica de la información científica y sean los responsables de Eigenfactor.org. No sólo porque, obviamente, en ambos casos se apliquen métodos y modelos matemáticos, sino porque creo que hay vínculos esenciales entre ambos tipos de estudios. Es lo que más me llama la atención.

Eigenfactor.org es una fuente de datos métricos sobre las revistas científicas internacionales basada en información de citas de Journal Citation Reports y en la aplicación de algoritmos de relevancia tipo PageRank de Google. Proporciona datos anuales que abarcan desde 1995 a 2006 acerca de las 7.000 revistas incluidas en JCR y de otras muchas fuentes citadas por ellas. Presenta rankings temáticos con dos indicadores: eigenfactor y article influence. Además ofrece análisis de calidad/precio de las revistas y un módulo de representación gráfica de las relaciones entre las ciencias (mapping…)

Eigenfactor es un indicador de la influencia o repercusión global de las revistas que se basa, al estilo PageRank, en el cálculo iterativo del nivel de citación recibida por una revista según procedan a su vez las citas de revistas más o menos citadas, más o menos influyentes por tanto. Article influence mide la influencia media de los artículos de las revistas y se basa  en el mismo cálculo iterativo que Eigenfactor, pero teniendo en cuenta el número de articulos de la revista.

Es interesante anotar, por cierto, que SJR, utilizado en SCImago Journal & Country Rank, es otro indicador del tipo PageRank, también sobre revistas, pero basado en los datos de Scopus en lugar de en los de Journal Citation Reports y Web of Science. 

• Bergstrom, Carl. Eigenfactor: Measuring the value and prestige of academic journals. C&RL News, May 2007, 68(5)

«Publish or Perish» de Harzing

Ann-Will Harzing es una profesora de International Management, nacida en Holanda pero que trabaja ahora en la Universidad de Melbourne, Australia. Aunque es experta en gestión de recursos humanos en ambientes internacionales y multiculturales, está muy interesada por los temas de comunicación y edición científica, evaluación de la investigación, etc., como se comprueba en su web. Y es una defensora convencida de la utilidad de Google Scholar para los análisis métricos de la ciencia.

Desde 2006, con notable éxito, Harzing ofrece un programa elaborado con su ayuda por la empresa Tarma Software Research, que se llama Publish or Perish, con el que se reúnen citas y calculan datos métricos extraídos del buscador Google Scholar. Es una pequeña aplicación muy sencilla, que se puede descargar desde el sitio web de Harzing gratuitamente si es para uso personal. (Su nombre, por cierto, me parece algo más que una evocadora gracieta).

Publish or Perish ejecuta búsquedas en Google Scholar que pueden ser de tres tipos: Author impact analysis (referencias de un autor con sus citas), Journal impact analysis (citas a una revista) y General citation search (búsqueda de referencias concretas y sus citas). Presenta en pantalla listas de referencias breves, que enlazan a páginas de resultados de Google Scholar y se pueden marcar y desmarcar como pertinentes o no para nuestro rastreo, así como ordenar por diferentes criterios.

A partir de las referencias y citas, Publish or Perish calcula y presenta datos como: número total de artículos y de citas; citas por artículo, por autor, por año; artículos por autor y autores por artículo; índice g, índice h en diversas versiones y otros indicadores concebidos recientemente. Dispone de un módulo de gestión y archivo de las búsquedas realizadas (Multi-query center) y también permite copiar y exportar los resultados estadísticos y las referencias bibliográficas (en BibTex y otros formatos). Cuenta, además, con una ayuda muy profesional, bien articulada, completa y práctica.

Publish or Perish hereda las ventajas y los defectos de Google Scholar, del que depende absolutamente. A nadie a quien no convenga usar el buscador para análisis de citas le interesa esta aplicación. Y por supuesto quien la emplee encontrará las mismas dificultades con los nombres de persona, las mismas incertidumbres sobre el alcance de los análisis o los mismos errores que acudiendo de forma directa a Google Scholar…

Pero con el programa de Harzing se aprovechará más eficazmente de la capacidad del buscador científico para «husmear» en toda la Red. Constituye una ayuda estupenda para procesar y utilizar la información que se deriva del buscador y que, de otra manera, hay que tratar «a mano». Aporta, pues, a Google Scholar, exactamente, la métrica, la explotación de los datos cuantitativos.

He encontrado más información sobre Publish or Perish en el blog Bibliometría, en el blog Software científico y técnico y en The Australian.

IN-RECS e IN-RECJ

Hace ya varios años que funciona el Índice de impacto de revistas españolas de ciencias sociales IN-RECS, del que después se ha segregado también el Índice de impacto de revistas españolas de ciencias jurídicas IN-RECJ. Ambos son elaborados y mantenidos por el Grupo de investigación de Evaluación de la Ciencia y la Comunicación Científica EC3, de la Universidad de Granada, con el objetivo de determinar la relevancia e influencia científica de las revistas, artículos, autores e instituciones españolas en ramas del saber científico-social.

IN-RECS e IN-RECJ proporcionan, pues, información bibliométrica susceptible de usarse para evaluar la producción científica en unas áreas temáticas donde la investigación se realiza en el seno de comunidades científicas nacionales más que internacionales (salvo, quizá, en Psicología o Economía); unas áreas, por tanto, donde los instrumentos bibliográficos y métricos de la ciencia globalizada (Web of Science, Scopus, etc.) no son de plena aplicación.

La idea de IN-RECS e IN-RECJ  no ha podido ser más acertada y oportuna en un momento en el que la evaluación métrica de la ciencia es una actividad que se intensifica con las políticas públicas de investigación y el desarrollo de la sociedad tecnocientífica. IN-RECS e IN-RECJ compensan de algún modo a los especialistas españoles en ciencias sociales y son herramientas de medida útiles para los gestores y evaluadores académicos y científicos.

El alcance de IN-RECS e IN-RECJ  en cuanto a prestaciones y contenidos es ambicioso: ofrecen abundante información, ya de once años el primero y de seis el segundo. Como cualquier base de datos de este tipo, parten de una selección de revistas citantes, elegidas como principales en cada sector. Estas revistas fuente son unas 200 entre los dos índices, y constituyen la base para medir el impacto de unos 900 títulos en total.

Para la complejidad de los datos que suministran IN-RECS e IN-RECJ se agradecería que la interfaz de consulta fuera más clara y autoexplicativa. Proporcionan prolijos detalles sobre la justificación y metodología del proyecto, pero algunos aspectos y conceptos que uno se tropieza al utilizarlas carecen de suficiente orientación o asistencia. La extensa «Ayuda» es un tanto rudimentaria. Diríase que IN-RECS e IN-RECJ parecen un poco más enfocadas al bibliómetra que al usuario investigador.

La oportunidad de la iniciativa de IN-RECS se pone de manifiesto en la proliferación de plataformas similares (RESH, DICE, MIAR, etc.), con los mismos o parecidos propósitos, casi todas financiadas con cargo a proyectos de investigación particulares. Acerca de tal proliferación, un fenómeno típicamente español por otra parte, escribe Elea Giménez-Toledo en un artículo de ThinkEPI .

Como curiosidad, según IN-RECS las medias de citas por artículo para el periodo 1994-2006, por áreas temáticas, son:

• Antropología: 0,50
• Biblioteconomía y documentación:  0,21
• Ciencia política y de la administración:  0,20
• Comunicación:  0,13
• Economía:  0,37
• Educación:  0,27
• Geografía:  0,31
• Psicología:  0,65
• Sociología:  0,22
• Urbanismo:  0,50

Ciencia, evaluación y libertad

Entre las principales fuerzas impulsoras del cambio y la complejidad social, está la tecnociencia, de la que escribo a veces en este blog, bajo la inspiración de Javier Echeverría. Yo creo que la tecnociencia es el segmento cualificado del dinamismo informativo general: la parte más depurada de cuanta información circula y se procesa a través de cerebros y máquinas. Y en el viejo lenguaje de la economía marxista representa la fuerza productiva del emergente modo de producción.

La tecnociencia es un caleidoscopio de agentes sociales, pero entre ellos están, no cabe duda, los científicos, los herederos de la ciencia tradicional. Los científicos son la peculiar mano de obra de un gran sistema productivo. Naturalmente, hay muchas clases de científicos, hay científicos empresarios… Pero muchos de ellos son mano de obra muy básica de las nuevas cadenas de valor.

En los tiempos actuales, toda la economía de los servicios se somete a patrones de gestión y optimización industrial de procesos y resultados. Y la tecnociencia, principal fuerza productiva, también. De modo que la producción científica ha de regirse según criterios de eficiencia y organización racional del trabajo, en sus prioridades, presupuestos, recursos y administración… Y también en la evaluación del rendimiento de los investigadores.

Las actividades cuantitativas de evaluación de la ciencia, de creciente importancia, son una, también peculiar, forma de taylorización de la producción científica. Exceden, desde luego, lo necesario para la dispensación tradicional de mérito y honores académicos. Pero constituyen una exigencia lógica en un sistema donde la sociedad, o las sociedades, invierten ingentes recursos, porque esperan resultados y retornos de las enormes factorías de conocimiento en que laboran legiones de empleados sui generis. La métrica de la información científica es también una valiosa herramienta para el análisis científico de la propia ciencia, etc.

La investigación ha dejado de ser una profesión libre y artesanal para convertirse en una empresa que produce en serie, masivamente. La evaluación cuantitativa de los resultados y de los propios científicos es parte de esa transformación. Pero la ciencia tradicionalmente ha reclamado libertad intelectual, ejercicio sin restricciones de la creatividad, como su mejor fermento.

¿Es susceptible la ciencia de someterse a tanto escrutinio? ¿Tanta rendición de cuentas y afán de impacto será contraproducente para el propio conocimiento? ¿Se trata de otro de los conflictos internos de la tecnociencia? ¿Perderá la ciencia su liderazgo moral en cuanto a valores que se le suponían definitorios: independencia, desinterés…? ¿O lo de la libertad era otro mito sobre la ciencia?

P.S. 02-07-09: En relación con este tema he escrito en ThinkEPI también esto: Bibliometría y Academia.

Scopus Affiliation Search

La reciente introducción por Scopus de la búsqueda por afiliación, basada en el «Affiliation Identifier», supone un nuevo avance en sus prestaciones de información científica, útil para evaluación institucional. Demuestra así una vez más Scopus el desparpajo con que pone a prueba frecuentemente el rigor y la calidad de ISI Web of Knowledge, en la dura competencia que ambos mantienen.

Affiliation Identifier es un sistema que identifica a las instituciones científicas, unificando y normalizando las muy distintas formas con que sus nombres pueden aparecer en las menciones de afiliación de los autores de las publicaciones, y diferenciándolas de las similares pero correspondientes a otros organismos. Es, pues, un método de control terminológico de las entidades productoras de la investigación.

Se puede consultar por afiliación, aprovechando la funcionalidad de Affiliation Identifier, en todas las formas de búsqueda de Scopus. Pero ahora, desde el 26 de abril, hay además una pestaña específica de Affiliation Search. Los registros detallados de las instituciones, además de enlazar a las referencias de los documentos, incluyen su código, nombre aceptado, variantes de nombre, dirección, autores, gráfico de la producción científica por materias, etc.

Scopus avisa que puede haber cierta proliferación de identidades adicionales a la principal, que deberían ser corregidas con el tiempo y contando con feedback de los interesados. (Ya se sabe que el control terminológico no se acaba nunca). Así, para muchas universidades españolas ha generado dos identidades, la general y una referida a la Facultad de Medicina correspondiente.

Con la nueva búsqueda e identificador se simplifica la selección y recuperación de los documentos publicados por un organismo. Contando con que la indización de las instituciones sea fiable, ya no se depende del rastreo de la presencia de ciertos términos en campos determinados, seguido de alambicadas operaciones de filtrado o combinación. Por tanto, es más fácil realizar estudios métricos de la investigación en un organismo, así como análisis y evaluación comparativa estandarizada, lo que resultará muy práctico y eficaz. No obstante, convendrá, claro, atender a los estudios que se aborden sobre la propia calidad y fiabilidad de la nueva herramienta.

ISI Web of Knowledge no tiene índices semejantes en las bases de datos bibliográficas. Tan sólo, se pueden buscar términos, sin más, en los campos Address, Organization, Suborganization o Group Author. En cambio, cuenta con Essential Science Indicators (ESI), que ofrece rankings y tablas de datos analíticos, entre otras cosas, sobre instituciones científicas (papers, citas y citas por paper): todo de manera rigurosa pero limitada y algo rígida.

Ahora Scopus entra también en la evaluación institucional, cuando ya de sus rankings de revistas y países se encarga SCImago Journal & Country Rank, terreno a su vez de los JCR y ESI de ISI Web of Knowledge. Y poco tiempo después de introducir Scopus TopCited, en la estela de ISI HighlyCited.

Más sobre Scopus en este blog: Índice h, Elsevier, Scopus; Univ. de Cantabria en Scopus; SCImago Journal Country Rank.