Una crítica del índice h

Costas y Bordons realizan un análisis crítico del índice h sobre la base de un estudio bibliométrico de la producción de 348 investigadores del CSIC. Los autores concluyen que el índice h tiene el inconveniente de que no discrimina bien entre los científicos que publican mucho con poco impacto y los que publican poco con mucho impacto, penalizando por tanto la calidad frente a la cantidad. El artículo está bien escrito, es muy claro e interesante. Y a mí me suscita algunas reflexiones.

  • Estoy muy de acuerdo en que “La creciente popularidad del índice conlleva el riesgo de pretender reducir la evaluación a un solo indicador (…) es preferible combinar distintos indicadores y realizar planteamientos multidimensionales (…)” La fiebre actual de las ideas pocas, pero muy claras, de los ranking y las decisiones por ordenador causa estragos.
  • Creo, por lo mismo, que cada indicador mide lo que pretende medir y que resulta imposible encontrar el indicador perfecto para medirlo todo. Quienes evalúan deben saber y decidir qué quieren valorar, qué importa, y por tanto qué balanza, qué termómetro o qué amperímetro debe usarse en cada circunstancia. Eso, sin descartar completamente el empleo de la humana facultad de juzgar.
  • El índice h está concebido, me parece, precisamente, para medir la carrera de un científico de una manera global y concediendo igual importancia a su producción (cantidad) que a su influencia (calidad), al 50%. No es extraño que se consigan similares marcas con un mayor éxito en cualquiera de los dos polos que en el otro, pues ambos tiran del índice equilibradamente.
  • Contra la preponderancia del factor número de citas de los trabajos más influyentes también se ha argumentado, sin embargo, que los éxitos fulgurantes pero aislados, las colaboraciones afortunadas pero casuales y hasta los pelotazos científicos inusitados no deberían primar sobre el valor de una carrera seria y sostenida en el tiempo. El h elimina este efecto igual que la larga cola de artículos poco citados.
  • Parece que el índice h podría ser más útil para cuantificar la valoración de trayectorias prolongadas, las biografías de científicos maduros, que para evaluar a investigadores jóvenes y curricula incipientes.
  • Tienen mucha razón también Costas y Bordons cuando afirman que es preferible promover la calidad que la cantidad de las publicaciones. Y tal vez, no lo sé, la tengan al ver peligrosa para este fin la moda arrolladora del índice h. En lo que tengo muchas dudas es en que la atribución al autor del prestigio o impacto de la revista en que publica sea hoy en día y de cara al futuro tan importante como dicen.

Tal vez, incluso, la de la producción científica sea una industria en la que está poco claro cuáles son los rendimientos y adónde deben ir por tanto los incentivos. Tal vez es una actividad aún algo anárquica, por muchos esfuerzos de taylorización que se estén haciendo.

5 respuestas a Una crítica del índice h

  1. Yo creo que sí discrimina “calidad” (yo prefiero hablar de impacto que de calidad en términos de citas) frente a cantidad. Por cada artículo muy citado añadimos una unidad al índice. Por cada artículo no citado, seguimos sin añadir unidades al índice. Manejando producciones pequeñas es probable que en algo se vean afectadas por las autocitas. De todas maneras creo que es un índice pensado inicialmente para evaluar a los candidatos a unas becas o algo por el estilo, en las que las edades son muy parecidas y el campo científico el mismo, por lo que se espera unos hábitos de producción similares. No obstante, debe ser una herramienta más en la labor de evaluación asignada a expertos. Toda evaluación precisa necesita del matiz, y obviamente manejar un único indicador no aporta matiz ninguno, pero eso no es un problema del indicador, sino de su uso.

  2. De acuerdo. Lo que pasa es que los autores del artículo podrían tener razón en cuanto a temer que no se va a hacer un USO inteligente y prudente del h, sino exagerado, unilateral, simplista y automático. En efecto, yo tampoco desconfíaría tanto del h, en sí mismo, sensata y limitadamente usado, pero si fuera contraproducente en algún aspecto o caso, su uso masivo e irreflexivo entrañaría riesgos. Porque ¿quién evalúa a los evaluadores?

    Saludos.

  3. álvaro dice:

    Atención, porque a las limitaciones del índice h para comparar científicos de distintas disciplinas y trayectorias profesionales, hay que sumar la variable del género. En una carta a Nature que publicaron hace poco se decía que las mujeres eran menos productivas por lo tanto sus índices h serían menos elevados. La referencia: H-index: age and sex make it unreliable

  4. Cielos, esto sí que descoloca. ¿Se podrá compensar con algún factor corrector o bastará con generalizar las cuotas de género?

  5. Una crítica del índice h

    Comentario de Luis Javier Martínez en el blog Observatorio de Martinej sobre un artículo publicado recientemente en la revista El profesional de la información (EPI) que presenta una visión crítica del índice h. Este índice propuesto por Hirsh h…

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: