I've been doing some research on the possible effects of the Times Higher Education Supplement's World University Ranking's changes in methodology, which I described in my posting yesterday and has also been described by others like Richard Holmes. The canvassing of publications and citations seems to bring results which are so different, using Scopus instead of the Thomson/ISI products of the last three years, and the changes are in such way non-uniform among institutions, that it seems appropriate to consider the new version really a new ranking. There will hardly be any comparability with the previous years. Right now the coin is in the air.
He estado haciendo algo de investigación sobre los posibles efectos de los cambios en metodología del Times Higher Education Supplement World University Ranking, la clasificación mundial de universidades más citada, cambios que describí en este blog ayer y también ha descrito, por ejemplo, Richard Holmes. El barrido de publicaciones y citas a ellas parece acarrear resultados tan diferentes entre Scopus y los productos de Thomson/ISI usados los últimos tres años, y los cambios tienen efectos tan poco uniformes entre instituciones, que parece apropiado considerar que la nueva versión es realmente una nueva clasificación. Difícilmente habrá comparabilidad con los años anteriores. En este momento, la moneda está en el aire.
(recovered from/recuperado de 8 de noviembre de 2007)
miércoles, noviembre 07, 2007
martes, noviembre 06, 2007
Prolegómenos y portentos en el mundo de los rankings: nuevas metodologías en el Times
El ranking de universidades del Times Higher Education Supplement (THES) que está por aparecer esta semana viene con cambios de metodología importantes - habrá que ver las consecuencias. Va nota sobre los principales cambios.
Cambia la fuente de información bibliométrica para contar publicaciones y citas; en lugar de los productos de Thomson/ISI se utiliza ahora Scopus, un producto de Elsevier. Scopus incluye información sobre más publicaciones y aunque es menos sólido en publicaciones menos recientes que la última década, debe servir bien al Times que sólo considera 2002-2006. Es fama que Scopus incluye información menos centrada en la esfera anglo. Para las universidades latinoamericanas esto tiene un efecto positivo (serán detectadas más publicaciones en revistas de la región) y un riesgo muy alto: serán contadas en mayor proporción las publicaciones asiáticas. Según informes d expertos, Scopus es especialmente fuerte con la producción china. En América Latina puede cambiar también la proporción de publicaciones brasileñas o de académicos brasileños, al alza. Mi primera observación es que en Scopus se recogen unas tres veces más publicaciones brasileñas que mexicanas, por ejemplo.
Otro dato importante sobre la bibliometría es que siguen sin resolver el problema de la diversidad de nombres con que las publicaciones recogen la afiliaciónn institucional de los autores. Esto en algunas universidades introduce factores de más de 5 entre lo que se puede recoger según se elijan los nombres con los que se hace la investigación bibliométrica. ¡Y no sólo en los países en desarrollo! Harvard tiene un problema mayor que la UNAM - pero seguramente será atendido con más cuidado.
Cambia la contabilidad de matrícula y planta académica, de números totales a FTEs o equivalentes de tiempo completo. Esto puede ser más riguroso en instituciones bien controladas y muy ordenadas, e impredecible en ámbitos como el mexicano, en que la realidad del "estudiante de tiempo completo" es muy diversa.
Introducen un tipo de escala diferente, escalas z, que esencialmente es logarítmica. Esto tendrá como efecto reducir "disparos" como el de Caltech vs. Harvard en citas a publicaciones en 2006, y en general el de "aplanar" las diferencias y las escalas.
Modifican el mecanismo de votación en la encuesta que es base de la columna de "opinión de los pares" para reducir el efecto de que los académicos voten por su propia institución (fenómeno que al parecer ha sido grande en algunas universidades asiáticas). La base de datos de nombres a los que se dirige la encuesta es la de autores de World Scientific (otro sesgo, o intento de balance, que favorece diferencialmente la presencia de las instituciones asiáticas).
En resumen: quizás un trabajo más riguroso, orientado a resolver problemas de representación de instituciones asiáticas, que sigue favoreciendo la investigación sobre la docencia, sigue corto en apreciar la diversidad de las instituciones, y que sigue favoreciendo al mundo anglo con los indicadores de presencia de estudiantes y académicos extranjeros. Y la posibilidad de cambios y sacudidas importantes debido al cambio de metodología, independientemente de la calidad del trabajo de las propias universidades, que harán cuestionar el rigor y el orden del ranking.
Cambia la fuente de información bibliométrica para contar publicaciones y citas; en lugar de los productos de Thomson/ISI se utiliza ahora Scopus, un producto de Elsevier. Scopus incluye información sobre más publicaciones y aunque es menos sólido en publicaciones menos recientes que la última década, debe servir bien al Times que sólo considera 2002-2006. Es fama que Scopus incluye información menos centrada en la esfera anglo. Para las universidades latinoamericanas esto tiene un efecto positivo (serán detectadas más publicaciones en revistas de la región) y un riesgo muy alto: serán contadas en mayor proporción las publicaciones asiáticas. Según informes d expertos, Scopus es especialmente fuerte con la producción china. En América Latina puede cambiar también la proporción de publicaciones brasileñas o de académicos brasileños, al alza. Mi primera observación es que en Scopus se recogen unas tres veces más publicaciones brasileñas que mexicanas, por ejemplo.
Otro dato importante sobre la bibliometría es que siguen sin resolver el problema de la diversidad de nombres con que las publicaciones recogen la afiliaciónn institucional de los autores. Esto en algunas universidades introduce factores de más de 5 entre lo que se puede recoger según se elijan los nombres con los que se hace la investigación bibliométrica. ¡Y no sólo en los países en desarrollo! Harvard tiene un problema mayor que la UNAM - pero seguramente será atendido con más cuidado.
Cambia la contabilidad de matrícula y planta académica, de números totales a FTEs o equivalentes de tiempo completo. Esto puede ser más riguroso en instituciones bien controladas y muy ordenadas, e impredecible en ámbitos como el mexicano, en que la realidad del "estudiante de tiempo completo" es muy diversa.
Introducen un tipo de escala diferente, escalas z, que esencialmente es logarítmica. Esto tendrá como efecto reducir "disparos" como el de Caltech vs. Harvard en citas a publicaciones en 2006, y en general el de "aplanar" las diferencias y las escalas.
Modifican el mecanismo de votación en la encuesta que es base de la columna de "opinión de los pares" para reducir el efecto de que los académicos voten por su propia institución (fenómeno que al parecer ha sido grande en algunas universidades asiáticas). La base de datos de nombres a los que se dirige la encuesta es la de autores de World Scientific (otro sesgo, o intento de balance, que favorece diferencialmente la presencia de las instituciones asiáticas).
En resumen: quizás un trabajo más riguroso, orientado a resolver problemas de representación de instituciones asiáticas, que sigue favoreciendo la investigación sobre la docencia, sigue corto en apreciar la diversidad de las instituciones, y que sigue favoreciendo al mundo anglo con los indicadores de presencia de estudiantes y académicos extranjeros. Y la posibilidad de cambios y sacudidas importantes debido al cambio de metodología, independientemente de la calidad del trabajo de las propias universidades, que harán cuestionar el rigor y el orden del ranking.
Suscribirse a:
Entradas (Atom)