SCImago Institutions Rankings

30 septiembre 2009

SCImago Journal & Country Rank (SJR) no sólo está extendiendo su influencia en la práctica de la evaluación métrica de la investigación, sino que aumenta sus contenidos, siempre sobre la base de la información bibliográfica y de citas procedente de la base de datos Scopus. Nacido hace menos de dos años, SJR acaba de lanzar su sección de ranking de instituciones científicas, SIR, que se suma a los rankings ya disponibles de revistas y de países.

Scimago Institutions Rankings (SIR) constituye un informe sobre las 2.080 instituciones de investigación con mayor producción científica de todo el mundo. En su primera edición, de este año, SIR incluye organismos pertenecientes a 84 países agrupados en varios sectores: centros de educación superior, entidades públicas de investigación, centros biosanitarios, empresas y otros.

De todas ellas, SIR analiza su rendimiento científico entre 2003 y 2007 a través de cinco factores: i) producción total de documentos; ii) citas recibidas por documento en el periodo; iii) colaboración internacional (proporción de artículos publicados en cooperación con investigadores y centros extranjeros); iv) indicador SJR normalizado (media global de la relación entre el SJR de las revistas en que publica la institución y el SJR promedio de las revistas del mismo área temática); y v) índice de citación normalizado (proporción entre el nivel de citas recibidas por la institución y el nivel medio de citas en las áreas temáticas de los artículos publicados).

El informe SIR hace referencia al enorme trabajo realizado para sortear  la dificultad de identificar y normalizar los nombres de las instituciones que los autores mencionan en los datos de afiliación, problema que, desde luego, aunque no se dice, en Scopus se encuentra muy lejos de estar resuelto a pesar del código de identificación que el año pasado introdujeron para controlar los centros de investigación.

Por otro lado, ignoro cómo se las habrán arreglado también en SIR con el problema de que en Scopus hay ¿muchas? referencias sin datos completos de autoría, es decir, que omiten buena parte de los investigadores e instituciones participantes, lo que distorsionaría los resultados, obviamente.

Institutions Rankings 2009 World Report puede consultarse en forma de listado pdf y en versión hoja de cálculo. Además, se presenta como un primer avance de lo que pretende ser una herramienta para hacer evaluación institucional de la investigación, con prestaciones de análisis de datos que permitan monitorizar y auditar el rendimiento científico. El acceso a los instrumentos interactivos, sin embargo, aunque se ofrece en la página de SIR, parece estar pendiente de implementación.

En cualquier caso, no deja de ser impresionante, como decía cuando apareció SJR, que un proyecto semejante de análisis métrico de la ciencia, con tanta fuerza, esté creciendo en España. Su influencia va en aumento, pero, de todas formas, ¿es suficientemente valorado?


Mucho más sobre el índice h

5 septiembre 2009

Hace sólo cuatro años que J. Hirsch publicó su artículo sobre el índice h y ya hay toda una literatura sobre el particular, casi se ha convertido en un área de la metaciencia por derecho propio (aparte de su enorme repercusión práctica). Varios investigadores españoles, del sector de la computación, han publicado recientemente un amplio artículo de revisión (un review) sobre el índice h en el Journal of Informetrics. El estudio correspondiente se ha financiado con ayudas a la investigación del Ministerio de Educación y Ciencia.

El artículo constituye una recapitulación bibliográfica selectiva y, en cierto modo, una reflexión sobre diferentes aspectos de este indicador bibliométrico: la propuesta original de Hirsch; el examen de sus ventajas, inconvenientes y aplicaciones; los numerosísimos indicadores aparecidos en la estela del h y los estudios que los analizan o comparan; las repercusiones de las autocitas; los trabajos sobre estandarización del índice h para poder valorar a la vez científicos de distintas áreas; y el cálculo del índice h a través de tres fuentes bibliográficas (Web of Science, Scopus y Google Scholar) con las ventajas o desventajas de cada una.

Entre las conclusiones de los autores a la luz de los muchos estudios que tienen en cuenta está que las fortalezas del índice h residen en ponderar conjuntamente la producción y el impacto de una serie de publicaciones, y en ser muy fácil de calcular. Sus principales debilidades serían: que no permite comparar publicaciones o científicos de diferentes áreas temáticas (lo que es común a la mayoría de los indicadores); que depende mucho de variables como la longitud de la carrera científica (no se puede comparar un científico joven con uno senior); que refleja poco los cambios en el total de citas de los artículos más citados de un autor; que es sensible a las autocitas; y que es independiente del contexto en que se producen las citas.

Los autores también opinan que, a pesar de las numerosas variantes del índice h aparecidas, destinadas a corregir sus defectos, bastantes estudios hallan una elevada correlación entre los resultados de aplicar esos diferentes indicadores y el índice h. No obstante, ellos mismos han elaborado otra propuesta de indicador, el índice hg, que se basa en los índices h y g (de Egghe), cuya idea han publicado en otro artículo, aparecido en Scientometrics: hg-index: a new index to characterize the scientific output of researchers based on the h- and g-indices.

La revisión que comentamos, por otro lado, también concluye que muchos trabajos ponen de manifiesto la dependencia de los resultados métricos respecto de la fuente bibliográfica escogida para el cómputo, apreciándose además que Google Scholar es con la que peor se calculan.

Los autores disponen, además, de una página web, h-Index Bibliography, con una recopilación más exhaustiva de referencias sobre el índice h y los indicadores relacionados.   


Percepciones sobre las citas

21 mayo 2009
  • Aksnes, D.W.; Rip, A. 2009. Researchers’ perceptions of citations. Research policy, 38(6):895-905

Sobre la base de las opiniones recabadas a través de una encuesta, sin mucho análisis, Aksnes y Rip nos informan en este artículo de cómo perciben los investigadores noruegos el asunto de las citas. Los contextos nacionales son diferentes, sobre todo la utilización de las citas para la política de investigación. Pero tomándolas con esa precaución, estamos ante interpretaciones que recuerdan mucho los criterios que se manejan por parte de los científicos de España o de otros lugares. El artículo subraya lo siguiente.

  • Lo primero, los investigadores son muy conscientes del tema, les preocupa. Las citas les importan como elemento de recompensa y reconocimiento, pero también como indicador en procesos de evaluación y de asignación de recursos.
  • Manifiestan, sin embargo, una actitud ambivalente: desean y persiguen las citas, pero las critican porque suelen pensar que no reflejan el auténtico valor de las contribuciones científicas.
  • Circula entre los investigadores un repertorio popular de creencias y valoraciones acerca de las citas, basado a menudo en vivencias personales negativas, que es más bien escéptico y hasta cínico. A veces se trata casi de mitos, en realidad.
  • Barajan una serie de explicaciones que convergen en la idea de que las imperfecciones o avatares de la comunicación científica hacen que la importancia de una publicación no se vea bien representada en su impacto y que haya sesgos notables.
  • Para muchos parece claro que la calidad y el impacto no correlacionan perfectamente, a causa de factores externos y azarosos, lo que se percibe como un defecto.
  • Con frecuencia se manifiesta también una actitud diferente en la valoración de las citas ajenas y de las propias, o del sistema de citas en general y de su aplicación al caso personal.
  • Hay resistencia a que el mérito científico sea juzgado con un indicador cuantitativo, lo que revela interés en conservar la autonomía de la ciencia y desconfianza en la justicia del sistema para evaluar el rendimiento y la calidad científicas.
  • Se da una tensión constante entre las necesidades de gestión de la ciencia, que requiere medidas fáciles y métodos simples de evaluación, y la exigencia de los investigadores de que se realice una valoración justa e integral de la calidad científica.

En efecto, las percepciones a veces contradictorias sobre las citas manifiestan los conflictos que se producen en el seno de la tecnociencia entre el modo de producción industrial de conocimiento, donde el científico es un empleado y la bibliometría una ayuda a la gestión eficiente, y de otro lado la libertad de la academia, como valor tradicional de la ciencia, que permite al investigador trabajar sin controles. Pero, a fin de cuentas, la reputación es la reputación.


JCR con Eigenfactor y más

4 febrero 2009

Las últimas novedades introducidas hace pocos días en los Journal Citation Reports (JCR) del ISI Web of Knowledge suponen una mejora interesante en la información métrica que ofrecen sobre las revistas científicas. Sobre todo porque facilitan datos complementarios al clásico y omnipresente factor de impacto. Los cambios principales son cuatro, pero sólo afectan a las ediciones de JCR (Science y Social Science) de 2007, no a las anteriores:

  1. Se proporcionan de cada revista dos nuevos indicadores procedentes de Eigenfactor.org: Eigenfactor y Article Influence. (Puede verse otra entrada en este blog al respecto). Son indicadores elaborados con datos de Web of Science pero fuera de su entorno, obtenidos, por acuerdo con sus desarrolladores. Valoran la importancia de las revistas en función de la propia influencia iterativamente ponderada de las revistas que la citan, siguiendo el modelo del algoritmo PageRank de Google, e igual que hace el indicador SJR de SJR Journal & Country Rank sobre datos bibliográficos de Scopus.
  2. JCR ha añadido también un nuevo factor de impacto a 5 años, es decir, calculado sobre la base de las citas realizadas a los artículos de cinco (y no dos) años de cada revista. Ello es obviamente útil para sectores de la ciencia donde la vida útil de los artículos es más dilatada en el tiempo, como en las matemáticas, las ciencias sociales, etc.
  3. Con los datos de cada revista, ahora se muestra Journal Rank in Categories, una tabla síntesis de su posición por factor de impacto en las categorías temáticas a las que pertenece, que resulta práctica para enterarse rápidamente de su situación relativa respecto a los demás títulos, sin tener que ir a localizarla en cada lista. También se ofrece un gráfico con la distribución de los valores del factor de impacto en la categoría temática (media, mediana, percentiles, etc.)
  4. También con los datos de cada revista, otra tabla informa de la contribución de sus autocitas a su factor de impacto, mejorándose la vigilancia y control sobre este aspecto de la evaluación de las revistas que tantas suspicacias levanta.

Las nuevas prestaciones de JCR no sólo enriquecen los servicios de la fuente de información, sino que es de esperar que ayuden a aligerar la obsesión excesiva con el factor de impacto como único patrón de medida de la calidad científica. Ver en el propio JCR más criterios de calidad, tan interesantes como Eigenfactor, hacer comparaciones fáciles, puede contribuir a descongestionar.

Tácticamente, todo ello pone en valor a JCR permitiéndole eludir la sempiterna acusación por la responsabilidad de la impactitis reinante en todas partes: se ha diversificado.

Lo que se echa de menos, en fin, es una mejora en la interfaz de consulta, que ha evolucionado poco para lo que suelen cambiar estas cosas ahora.


“The Misused Impact Factor”

14 octubre 2008

Últimamente las mediciones bibliométricas, y el factor de impacto en particular, están recibiendo muchas críticas desde todas partes. Los varapalos discurren en paralelo, o son en realidad consecuencia de la intensidad y frecuencia con que los resultados de la investigación, y sus protagonistas, son ahora sometidos a análisis y evaluaciones cuantitativas. Tanto examen métrico por doquier, a veces riguroso, a veces apresurado, tanto afán de medición, está llevando quizá a bastante abuso, que es lo que está siendo denunciado, aunque no siempre las denuncias sean atinadas y razonables.

Ahora hasta la revista Science alza su voz, editorial mediante, de manera sensata y nada revolucionaria, contra el mal uso, la distorsión o los excesos y exageraciones en la utilización del Impact Factor de Thomson Reuters. Todo un síntoma:

The Misused Impact Factor. Science, 2008, 322(5899):165

La métrica de la ciencia, en cuanto base del estudio científico de la ciencia, por ejemplo, no tiene que pedir disculpas a nadie, es inocente. Pero tal vez su utilización exacerbada para el control tecnoindustrial de la empresa científica suscita recelos, contradicciones y resistencias en los ámbitos más fieles a la ciencia académica (Ziman), regida por otros valores (There are not numerical shortcuts for evaluating research quality, dice el editorial de Science).

¿A la métrica de la ciencia le pasa como a la Psicometría o a la Psicología en general, que pueden servir a más de un amo?


V Foro sobre la Evaluación …

8 octubre 2008

Ya están disponibles y se pueden consultar en internet los resúmenes y presentaciones completos del V Foro sobre la Evaluación de la calidad de la educación superior y de la investigación, celebrado el mes pasado en San Sebastián, a través de la página del libro de resúmenes, donde también se incluyen, por cierto, los contenidos del IV Foro, que tuvo lugar el año pasado en Granada.

Se trata de un programa muy amplio de sesiones y comunicaciones, que abarca tanto presentación de experiencias como exposiciones prácticas o reflexiones teóricas. Los temas se reparten en el amplio arco que va de la docencia a la investigación, pasando por la gestión, la innovación tecnológica o la política educativa en el ámbito de la enseñanza superior y los “espacios europeos”… También hay “sesiones aplicadas” sobre escritura científica, redacción y evaluación de proyectos de investigación, indicadores bibliométricos, fuentes de información para la evaluación de la investigación, etc.

Se puede uno encontrar, pues, muchas cosas interesantes y recomendables; y también reveladoras. Tanta efervescencia alrededor de la evaluación, en general, denota, a mi parecer:

  1. Cómo van interiorizando los protagonistas del “sector” el paso de un modo artesanal a otro industrial de producción de conocimiento y de transmisión educativa.
  2. Qué difícil es, no obstante, gestionar los rendimientos, optimizar los procesos, auditar la productividad y controlar la complejidad cuando se trata de dinámicas intelectuales.
  3. Incluso podría vislumbrarse levemente, podría sospecharse, que en algunos casos extremos una espesa capa de palabras no resguarda cosa alguna.

CiteSeerX, y ChemXSeer

25 septiembre 2008

Después de diez años de funcionamiento, hace varios meses que CiteSeer, la conocida fuente de información y documentos del sector de las ciencias de la computación, se ha renovado y ha renacido como CiteSeerX, con un nuevo sistema e interfaz. Alojada en el College of Information Sciences and Technology de la Pennsylvania State University, está ahora sólo bajo la dirección de C. Lee Giles.

Continuidad:

CiteSeerX vuelve a definirse como un buscador y una biblioteca digital de literatura científica. Mantiene la misma orientación de promover la comunicación libre y gratuita del conocimiento. Continúa capturando los artículos que los autores inscriben con su localización en la Red. Proporciona referencias, documentos digitales en PDF y PostScript y todo un sistema de índices de citas. Incluye informes técnicos, prepublicaciones, artículos de revista y, sobre todo, papers de congresos y conferencias, un tipo de literatura que es tan relevante en informática y computación.

CiteSeerX sigue explotando su sistema automático de indización de citas (Autonomous Citation Indexing) y mostrando el contexto que rodea a las citas en el texto del documento citante. Ofrece como antes listas de documentos relacionados (co-citados, co-citantes) y datos de citas a documentos no incluidos en el sistema. Y permite también buscar por texto completo.

Y cambio:

Entre las novedades, destaca el crecimiento que supone CiteSeerX: se ha pasado de 760.000 a 1.160.000 documentos. El sistema de búsqueda avanzada, con ser bastante esquemático, significa también una considerable mejora respecto a la “caja única” del antiguo CiteSeer. En general, la presentación se ha enriquecido, dentro de un estilo marcadamente espartano. A tono con ello, han aparecido prestaciones personalizadas, previo registro: MyCiteSeerX.

Lo más interesante de todo es que los datos y contenidos están actualizados. Por ejemplo, los más básicos y utilizados rankings de impacto de las fuentes (“venues”) son muy recomendables, porque calculan el impacto de series de congresos y conferencias que no figuran en Web of Science, Journal Citation Reports, Scopus, SJR, etc. Y en España, seguro, se usan mucho. Aparecen rankings anuales desde 1993 hasta 2007: 576 títulos en este último año. También hay rankings de autores, documentos y citas (referencias citadas no incluidas en CiteSeerX) más citados.

No veo, sin embargo, ni rastro en CiteSeerX de la búsqueda por agradecimientos (“acknowledgements”), que existía en CiteSeer y representaba un desarrollo experimental muy sugerente para la indagación sobre la estructura social de la ciencia.

Y también ChemXSeer:

En la estela de CiteSeerX, pero en el campo de la química, sobre todo de la química ambiental, está comenzando su camino ChemXSeer, también bajo el impulso peculiar del profesor C. Lee Giles. Se trata de un motor de búsqueda, fuente de documentos y de datos que por ahora opera de modo experimental, indizando sobre todo contenidos de la Royal Society of Chemistry.

ChemXSeer aspira a rastrear en internet y a alojar documentos científicos, así como a explotar inteligentemente la información química, al menos en tres direcciones: (i) la búsqueda de entidades químicas, moléculas, etc., (ii) la extracción automática y aprovechamiento de datos de tablas contenidas en los documentos y (iii) el tratamiento, conservación y recuperación de data sets (bancos de datos) experimentales obtenidos de varias procedencias y en distintos formatos.


Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.