Encuentro en YouTube tres videos sobre rankings de universidades (los tres están en inglés).
El primero, y el que más recomiendo, discute el ranking del Times Higher Education Supplement (ahora Times Higher Education); incluye voz y fotos de Martin Ince, y una discusión de su aplicabilidad para distintos tipos de universidades fuera de los países desarrollados. El profesor de la NTU de Singapur que participa es particularmente lúcido y elocuente. El video es de 2006 pero totalmente vigente.
El segundo y el tercero discuten específicamente el ranking de la revista US News and World Report, aplicable solamente a instituciones de Estados Unidos. Los encuentro interesantes pues algunos de los puntos tratados son válidos para todas las clasificaciones, y porque exhiben (especialmente el tercero) las distorsiones de la conducta institucional que pueden llegar a producir los rankings mal utilizados.
Buena preparación para la próxima aparición del programa de Andrés Oppenheimer sobre rankings en el que participé, junto con el Dr. Juan Carlos Tedesco y otros expertos, que debe estar ya difundiendo CNN en E.U. y pronto pasará en Latinoamérica y en Internet.
Mostrando las entradas con la etiqueta times higher education supplement. Mostrar todas las entradas
Mostrando las entradas con la etiqueta times higher education supplement. Mostrar todas las entradas
viernes, febrero 01, 2008
lunes, enero 14, 2008
El Times Higher Education ya no es suplemento - reorganización del ex-THES
La revista que hasta hace poco se llamó Times Higher Education Supplement ha cambiado de formato y hasta de nombre. Ahora se llama nada más Times Higher Education, ha dejado su formato tabloide (del que no nos enteramos al leerlo en línea) para pasar a uno de revista, y aumenta su contenido de libre acceso en línea.
Seguirá con el proyecto de los rankings mundiales de universidades, que sigue encabezando Martin Ince. No están tomadas todas las decisiones sobre el ranking pero de que va, va. Nótese que el ahora llamado THE publica estadísticas y clasificaciones en otros temas (salarios, etc.) y otorga cada año un conjunto de premios en el ámbito de las universidades británicas específicamente. Y por cierto, las siglas THE coinciden con las de la revista Technology in Higher Education, bien conocida en nuestro ámbito de especialidad.
La sección legal está a cargo de la firma Eversheds (buen paso para promoverse) y en el número que estoy viendo toca diversos temas, incluyendo "¿Puede mi universidad obligarme a retirarme a los 65?".
La rehechura de la revista costó 2 millones de (cada vez más caras) libras, y responde a la estrategia de los inversionistas de Charterhouse, dueños de TSL que a su vez parece tener como principal negocio el antiguo suplemento y nueva revista. El formato es agradable y abierto y habrá que ver cómo evolucionan el contenido, la política editorial, y por supuesto los rankings.
Seguirá con el proyecto de los rankings mundiales de universidades, que sigue encabezando Martin Ince. No están tomadas todas las decisiones sobre el ranking pero de que va, va. Nótese que el ahora llamado THE publica estadísticas y clasificaciones en otros temas (salarios, etc.) y otorga cada año un conjunto de premios en el ámbito de las universidades británicas específicamente. Y por cierto, las siglas THE coinciden con las de la revista Technology in Higher Education, bien conocida en nuestro ámbito de especialidad.
La sección legal está a cargo de la firma Eversheds (buen paso para promoverse) y en el número que estoy viendo toca diversos temas, incluyendo "¿Puede mi universidad obligarme a retirarme a los 65?".
La rehechura de la revista costó 2 millones de (cada vez más caras) libras, y responde a la estrategia de los inversionistas de Charterhouse, dueños de TSL que a su vez parece tener como principal negocio el antiguo suplemento y nueva revista. El formato es agradable y abierto y habrá que ver cómo evolucionan el contenido, la política editorial, y por supuesto los rankings.
sábado, diciembre 29, 2007
¿Ascenso o declinación de las universidades inglesas?
En un excelente artículo, el prof. Andrew Oswald pone en perspectiva dos tendencias contrastantes: la evolución descendente de algunos indicadores del rendimiento de las universidades inglesas, por un lado, y la evolución ascendente de sus posiciones en el "ranking" del Times Higher Education Supplement. El artículo es discutido también en el excelente blog de Richard Holmes, http://rankingwatch.blogspot.com.
Oswald contrasta específicamente el ascenso de las universidades inglesas en el ranking, particularmente el de 2007, con el hecho de que en las últimas dos décadas Inglaterra ha producido 9 premios Nobel en ciencias y Estados Unidos 126. Oswald no se ahorra comentarios demoledores acerca de la ética de las instituciones que simultáneamente adoptan el resultado del ranking para su publicidad y saben que es un indicador sumamente dudoso, y llama a la integridad académica en pocas y precisas palabras dignas de lectura directa.
Finalmente, Oswald reflexiona acerca del efecto del sistema de evaluación de las universidades inglesas sobre sus resultados de investigación. Apunta a la posibilidad de que el sistema esté llevando a las universidades - a los investigadores mismos - a hacer investigación sólida y segura, pero no a correr riesgos y a hacer investigación audaz y original. Un efecto que también se afirma existe en muchos otros sistemas, incluyendo el mexicano.
En esta reflexión Oswald anota un hecho interesante: el número de unidades (departamentos, divisiones, etc. sometidas a la evaluación por parte de las universidades) que obtiene la máxima calificación dentro de ese sistema de evaluación aumenta aceleradamente en cada período evaluado - "grade inflation", que observamos regularmente en muchos otros sistemas de evaluación. Motivos múltiples para ver con profundo pesimismo a los sistemas de evaluación y clasificación rumbo a 2008.
Oswald contrasta específicamente el ascenso de las universidades inglesas en el ranking, particularmente el de 2007, con el hecho de que en las últimas dos décadas Inglaterra ha producido 9 premios Nobel en ciencias y Estados Unidos 126. Oswald no se ahorra comentarios demoledores acerca de la ética de las instituciones que simultáneamente adoptan el resultado del ranking para su publicidad y saben que es un indicador sumamente dudoso, y llama a la integridad académica en pocas y precisas palabras dignas de lectura directa.
Finalmente, Oswald reflexiona acerca del efecto del sistema de evaluación de las universidades inglesas sobre sus resultados de investigación. Apunta a la posibilidad de que el sistema esté llevando a las universidades - a los investigadores mismos - a hacer investigación sólida y segura, pero no a correr riesgos y a hacer investigación audaz y original. Un efecto que también se afirma existe en muchos otros sistemas, incluyendo el mexicano.
En esta reflexión Oswald anota un hecho interesante: el número de unidades (departamentos, divisiones, etc. sometidas a la evaluación por parte de las universidades) que obtiene la máxima calificación dentro de ese sistema de evaluación aumenta aceleradamente en cada período evaluado - "grade inflation", que observamos regularmente en muchos otros sistemas de evaluación. Motivos múltiples para ver con profundo pesimismo a los sistemas de evaluación y clasificación rumbo a 2008.
lunes, noviembre 19, 2007
Reacciones a los rankings del Times Higher Educaction Supplement (THES)
En http://globalhighered.wordpress.com/ un buen resumen de algunas de entre cientos de reacciones a la publicación del ranking del Times Higher Education Supplement (THES) de 2007, recién aparecido y ya mencionado en este blog. En el blog de Richard Holmes, descripciones de algunos problemas y una discusión de los potenciales conflictos de interés entre esa publicación y el Imperial College London. No perderse de Top Universities, el patio trasero a la publicación del THES que ha creado su propio proveedor, Quacquarelli Symonds, porque en este sitio hay mucha más información incluyendo algunos de los datos crudos que fueron usados por QS y THES para el ranking. Para algunas universidades incluyen los números de publicaciones y citas, aunque para la mayoría no; sólo los datos demográficos. Como lo discute Holmes, también éstos están lejos de ser totalmente evidentes.
No olviden un dato: el THES ya no tiene nada que ver con el Times de Londres. Originalmente fue un suplemento creado pocos años después del Times Literary Supplement. El TLS se independizó hace unos años. El THES ha pasado por varios grados de independencia en las vueltas y revueltas de la adquisición del Times por News Corp., el grupo de Murdoch, y actualmente es propiedad de un fondo de inversión privado que tiene cero otras inversiones en educación ni en la industria editorial. Es decir, es visto simple y llanamente como una inversión lucrativa. A pesar de esta afirmación, sigo concediéndoles una alta credibilidad a Martin Ince (del proyecto de rankings del THES) y a Ben Sowter (de QS), sin dejar de cuestionar decisiones clave.wub
En fin, pasto para múltiples reflexiones todavía.
No olviden un dato: el THES ya no tiene nada que ver con el Times de Londres. Originalmente fue un suplemento creado pocos años después del Times Literary Supplement. El TLS se independizó hace unos años. El THES ha pasado por varios grados de independencia en las vueltas y revueltas de la adquisición del Times por News Corp., el grupo de Murdoch, y actualmente es propiedad de un fondo de inversión privado que tiene cero otras inversiones en educación ni en la industria editorial. Es decir, es visto simple y llanamente como una inversión lucrativa. A pesar de esta afirmación, sigo concediéndoles una alta credibilidad a Martin Ince (del proyecto de rankings del THES) y a Ben Sowter (de QS), sin dejar de cuestionar decisiones clave.wub
En fin, pasto para múltiples reflexiones todavía.
miércoles, noviembre 07, 2007
THES University Rankings - new version or a new ranking? ¿Nueva versión o nueva clasificación?
I've been doing some research on the possible effects of the Times Higher Education Supplement's World University Ranking's changes in methodology, which I described in my posting yesterday and has also been described by others like Richard Holmes. The canvassing of publications and citations seems to bring results which are so different, using Scopus instead of the Thomson/ISI products of the last three years, and the changes are in such way non-uniform among institutions, that it seems appropriate to consider the new version really a new ranking. There will hardly be any comparability with the previous years. Right now the coin is in the air.
He estado haciendo algo de investigación sobre los posibles efectos de los cambios en metodología del Times Higher Education Supplement World University Ranking, la clasificación mundial de universidades más citada, cambios que describí en este blog ayer y también ha descrito, por ejemplo, Richard Holmes. El barrido de publicaciones y citas a ellas parece acarrear resultados tan diferentes entre Scopus y los productos de Thomson/ISI usados los últimos tres años, y los cambios tienen efectos tan poco uniformes entre instituciones, que parece apropiado considerar que la nueva versión es realmente una nueva clasificación. Difícilmente habrá comparabilidad con los años anteriores. En este momento, la moneda está en el aire.
(recovered from/recuperado de 8 de noviembre de 2007)
He estado haciendo algo de investigación sobre los posibles efectos de los cambios en metodología del Times Higher Education Supplement World University Ranking, la clasificación mundial de universidades más citada, cambios que describí en este blog ayer y también ha descrito, por ejemplo, Richard Holmes. El barrido de publicaciones y citas a ellas parece acarrear resultados tan diferentes entre Scopus y los productos de Thomson/ISI usados los últimos tres años, y los cambios tienen efectos tan poco uniformes entre instituciones, que parece apropiado considerar que la nueva versión es realmente una nueva clasificación. Difícilmente habrá comparabilidad con los años anteriores. En este momento, la moneda está en el aire.
(recovered from/recuperado de 8 de noviembre de 2007)
martes, noviembre 06, 2007
Prolegómenos y portentos en el mundo de los rankings: nuevas metodologías en el Times
El ranking de universidades del Times Higher Education Supplement (THES) que está por aparecer esta semana viene con cambios de metodología importantes - habrá que ver las consecuencias. Va nota sobre los principales cambios.
Cambia la fuente de información bibliométrica para contar publicaciones y citas; en lugar de los productos de Thomson/ISI se utiliza ahora Scopus, un producto de Elsevier. Scopus incluye información sobre más publicaciones y aunque es menos sólido en publicaciones menos recientes que la última década, debe servir bien al Times que sólo considera 2002-2006. Es fama que Scopus incluye información menos centrada en la esfera anglo. Para las universidades latinoamericanas esto tiene un efecto positivo (serán detectadas más publicaciones en revistas de la región) y un riesgo muy alto: serán contadas en mayor proporción las publicaciones asiáticas. Según informes d expertos, Scopus es especialmente fuerte con la producción china. En América Latina puede cambiar también la proporción de publicaciones brasileñas o de académicos brasileños, al alza. Mi primera observación es que en Scopus se recogen unas tres veces más publicaciones brasileñas que mexicanas, por ejemplo.
Otro dato importante sobre la bibliometría es que siguen sin resolver el problema de la diversidad de nombres con que las publicaciones recogen la afiliaciónn institucional de los autores. Esto en algunas universidades introduce factores de más de 5 entre lo que se puede recoger según se elijan los nombres con los que se hace la investigación bibliométrica. ¡Y no sólo en los países en desarrollo! Harvard tiene un problema mayor que la UNAM - pero seguramente será atendido con más cuidado.
Cambia la contabilidad de matrícula y planta académica, de números totales a FTEs o equivalentes de tiempo completo. Esto puede ser más riguroso en instituciones bien controladas y muy ordenadas, e impredecible en ámbitos como el mexicano, en que la realidad del "estudiante de tiempo completo" es muy diversa.
Introducen un tipo de escala diferente, escalas z, que esencialmente es logarítmica. Esto tendrá como efecto reducir "disparos" como el de Caltech vs. Harvard en citas a publicaciones en 2006, y en general el de "aplanar" las diferencias y las escalas.
Modifican el mecanismo de votación en la encuesta que es base de la columna de "opinión de los pares" para reducir el efecto de que los académicos voten por su propia institución (fenómeno que al parecer ha sido grande en algunas universidades asiáticas). La base de datos de nombres a los que se dirige la encuesta es la de autores de World Scientific (otro sesgo, o intento de balance, que favorece diferencialmente la presencia de las instituciones asiáticas).
En resumen: quizás un trabajo más riguroso, orientado a resolver problemas de representación de instituciones asiáticas, que sigue favoreciendo la investigación sobre la docencia, sigue corto en apreciar la diversidad de las instituciones, y que sigue favoreciendo al mundo anglo con los indicadores de presencia de estudiantes y académicos extranjeros. Y la posibilidad de cambios y sacudidas importantes debido al cambio de metodología, independientemente de la calidad del trabajo de las propias universidades, que harán cuestionar el rigor y el orden del ranking.
Cambia la fuente de información bibliométrica para contar publicaciones y citas; en lugar de los productos de Thomson/ISI se utiliza ahora Scopus, un producto de Elsevier. Scopus incluye información sobre más publicaciones y aunque es menos sólido en publicaciones menos recientes que la última década, debe servir bien al Times que sólo considera 2002-2006. Es fama que Scopus incluye información menos centrada en la esfera anglo. Para las universidades latinoamericanas esto tiene un efecto positivo (serán detectadas más publicaciones en revistas de la región) y un riesgo muy alto: serán contadas en mayor proporción las publicaciones asiáticas. Según informes d expertos, Scopus es especialmente fuerte con la producción china. En América Latina puede cambiar también la proporción de publicaciones brasileñas o de académicos brasileños, al alza. Mi primera observación es que en Scopus se recogen unas tres veces más publicaciones brasileñas que mexicanas, por ejemplo.
Otro dato importante sobre la bibliometría es que siguen sin resolver el problema de la diversidad de nombres con que las publicaciones recogen la afiliaciónn institucional de los autores. Esto en algunas universidades introduce factores de más de 5 entre lo que se puede recoger según se elijan los nombres con los que se hace la investigación bibliométrica. ¡Y no sólo en los países en desarrollo! Harvard tiene un problema mayor que la UNAM - pero seguramente será atendido con más cuidado.
Cambia la contabilidad de matrícula y planta académica, de números totales a FTEs o equivalentes de tiempo completo. Esto puede ser más riguroso en instituciones bien controladas y muy ordenadas, e impredecible en ámbitos como el mexicano, en que la realidad del "estudiante de tiempo completo" es muy diversa.
Introducen un tipo de escala diferente, escalas z, que esencialmente es logarítmica. Esto tendrá como efecto reducir "disparos" como el de Caltech vs. Harvard en citas a publicaciones en 2006, y en general el de "aplanar" las diferencias y las escalas.
Modifican el mecanismo de votación en la encuesta que es base de la columna de "opinión de los pares" para reducir el efecto de que los académicos voten por su propia institución (fenómeno que al parecer ha sido grande en algunas universidades asiáticas). La base de datos de nombres a los que se dirige la encuesta es la de autores de World Scientific (otro sesgo, o intento de balance, que favorece diferencialmente la presencia de las instituciones asiáticas).
En resumen: quizás un trabajo más riguroso, orientado a resolver problemas de representación de instituciones asiáticas, que sigue favoreciendo la investigación sobre la docencia, sigue corto en apreciar la diversidad de las instituciones, y que sigue favoreciendo al mundo anglo con los indicadores de presencia de estudiantes y académicos extranjeros. Y la posibilidad de cambios y sacudidas importantes debido al cambio de metodología, independientemente de la calidad del trabajo de las propias universidades, que harán cuestionar el rigor y el orden del ranking.
sábado, octubre 27, 2007
Ruda paliza a los rankings del Times y Shanghai
Un grupo de investigadores le ha puesto una ruda paliza a los rankings del Times y de Shanghai. En un artículo de Ioannidis et al., los autores hacen una comparación de los dos y descubren que demasiadas universidades aparecen en las categorías más altas de uno y no en el otro, y hacen una exploración crítica del valor y la representatividad de cada una de las categorías empleadas, desde los premios Nobel hasta las encuestas de opinión. No les va muy bien... (el artículo completo está en un "pdf provisional" hasta la publicación oficial en Biomedcentral).
sábado, abril 28, 2007
Infelicidad en el mundo de los rankings/Unhappiness in the world of rankings
De acuerdo con una nota aparecida en el Guardian (diario de Manchester, Inglaterra), el Consejo para el Fondeo de la Educación Superior de ese país (HEFCE) va a realizar una investigación sobre los rankings (ellos también los llaman "league tables") de universidades, incluyendo el del Times Higher Education Supplement y el de Shanghai La investigación, de acuerdo con esta nota, pretende averiguar si la metodología es adecuada para hacerlos, y si las universidades están deformando algunas de sus políticas y acciones para mejorar su lugar en los rankings. Menciona como ejemplo a una universidad que ha hecho explícito su propósito de mejorar su lugar en los rankings y para ello no escatimará recursos: el próximo año estará contratando a cinco premios Nobel como académicos.
Suscribirse a:
Entradas (Atom)