The following is an exchange with Ben Sowter from Quacquarelli and Simonds (QS) motivated by his statement that university rankings provide a single standard for academic institutions.
The discussion has been taking place in a group in LinkedIn motivated by a news article titled "India snubs all major university rankings - no clear rationale" by a member of the group.
The article informs about Indian Higher Education officials opinion contrary to the suitability of ranking systems to the structure and function of universities in India.
Ben's statement:
"Interesting. HE in India faces a lot of tough challenges with a demographic bubble about to pass through the system and an urgent need for increased undergrad capacity. In general the best schools are over-subscribed with genius-level applicants and can afford to be complacent, but the requirement for increased strength in depth is clear. Overall the rankings may not be perfect for India, but they do all feature meaningful indicators and could be used as inputs to a more sophisticated performance management algorithm. For all their collective and individual shortfalls these rankings remain one of the only sources of data for cross-border comparison."
My response:
Ben, no, the real challenge is to admit that "all major [global] university rankings", for some values of "all" and "global", inevitably measure universities against a single model. This may be a pure Humboldtian, Napoleonic, Anglo, Sino-Russian, Indian, whichever, or a not-necessarily-linear combination. it still is a single yardstick and it still is an artifice of the poll designer's mind.
Even "internationally attractive" is ill defined. Not necessarily do the same characteristics of a university attract students from across developed countries with strong academic systems, badly under-developed countries, and emerging economies some of which have a small core of good university education.
The rankings also do not consider what I call "riesgo país" or "country risk", a factor affecting all institutions in a given country. To simplify and to explain by way of illustration, if Latin American students leave their country it is far more likely that they will decide to go all the way to a "northern" institution (mostly in the US) than stay in the region, even considering the step of learning a different language. The cross-cultural experience is highly valued, perceptions of security and quality of life are strong drivers, the degrees are more prestigious at equal quality levels, and the countries are springboards for staying in academia which the "southern" institutions are not (we all know and I hope you, Ben, don't ignore or underestimate, the difficulty of publishing the same paper from a "southern" institution vis a vis doing it with a "northern" affiliation.)
Further, as Andrey Kitashov, Hillol Nag, and Lakshmi Iyer indicate almost explicitly, the entities that don't grade high against the yardstick may not be only individual ones, but whole subsystems or even national systems. That is the case in India, as described aptly by the previous participants in this discussion, in Latin America, as I have discussed extensively in previous years with you and other rankologists, and surely elsewhere. Even in the US and Europe you find friction for this reason.
More should be said about the different disciplinary foci of the institutions and the measures of performance associated with them and with the institutions' own choices and what their public and country authorities demand from them. A non-trivial thought must be given to the serious deformations induced in some cases (countries, subsystems, institutions) by the use and abuse of rankings, as shown incontrovertibly already years ago by Ellen Hazelkorn and have only gotten worse.)
All this is not to say that universities in India may have room for improvement or that those in Latin America are not flawed. But I do emphatically say that being "more like Ben Sowter thinks you should be" is not "being better."
Please refer to entries in my blog http://pisanty.blogspot.com of many previous years for more precedent and discussion.
Mostrando las entradas con la etiqueta academic ranking. Mostrar todas las entradas
Mostrando las entradas con la etiqueta academic ranking. Mostrar todas las entradas
viernes, diciembre 21, 2012
miércoles, abril 01, 2009
Cómo subir en rankings - Holanda - y cómo ignorarlos - Japón
Gracias a LinkedIn y SlideShare, aplicación que se extiende rápidamente por su utilidad, encuentro una excelente presentación de Wouter Gerritsma sobre los rankings universitarios, aplicado en particular a su universidad, la de Wageningen.
En la lámina 15 de esa presentación Gerritsma hace las siguientes recomendaciones para que las universidades asciendan en las clasificaciones:
1. Asegurar la "mejor" presentación de los datos (se entiende que se refiere a la presentación de los datos de la universidad a la organización que hace la clasificación).
2. Publicar en revistas de alto impacto, muy citadas, en inglés.
3. Utilizar la afiliación institucional de los autores de la universidad en una manera uniforme en todas las publicaciones.
4. Promover que los autores de artículos de la universidad se citen entre sí.
5. Publicar en publicaciones de Acceso Abierto.
Wouter Gerritsma es un bibliotecario sumamente experimentado, con quien he discutido estos temas en ocasiones, y quien tiene un punto de vista escéptico respecto a los rankings. Las propuestas que hace, curiosamente, son las mismas que nosotros concluímos eran pertinentes para la UNAM hace algunos años. Sólo la de acceso abierto, y en menor medida la de citas mutuas (los clubes de autoelogio no son invento nuevo), quedaron sin aplicarse explícitamente. Ninguna de estas medidas es efectiva por sí sola ni a corto plazo.
Y aunque el MIT ha dado el paso de acordar que todas sus publicaciones sean de Acceso Abierto, en una decisión espectacular, son pocas las instituciones educativas que muestran tal arrojo. Es sorprendente que las instituciones que más publican y que más recursos obtienen por sus conocimientos sean las primeras en dar acceso total (en la filosofía de Acceso Abierto) a su producción, y que instituciones que producen la décima parte per cápita (y a veces menos) estén atenazadas por el temor, a veces institucional, a veces de sus abogados, y a veces también de sus propios académicos, del "qué puede pasar" si dan el paso.
Por ello creo que Wouter estará más de acuerdo con el mensaje que transmite el recién designado Rector de la Universidad de Tokio, "no creo que los rankings importen mucho, lo que importa es la contribución que nuestros académicos y alumnos hagan a la sociedad", de acuerdo con un artículo también identificado por Gerritsma entre otros. Pero los periodistas hacen pasar al pobre Rector por el yugo, forzándolo a admitir que los rankings señalan algunas debilidades y referirse a la composición internacional de la matrícula y de la planta académica de su universidad.
En la lámina 15 de esa presentación Gerritsma hace las siguientes recomendaciones para que las universidades asciendan en las clasificaciones:
1. Asegurar la "mejor" presentación de los datos (se entiende que se refiere a la presentación de los datos de la universidad a la organización que hace la clasificación).
2. Publicar en revistas de alto impacto, muy citadas, en inglés.
3. Utilizar la afiliación institucional de los autores de la universidad en una manera uniforme en todas las publicaciones.
4. Promover que los autores de artículos de la universidad se citen entre sí.
5. Publicar en publicaciones de Acceso Abierto.
Wouter Gerritsma es un bibliotecario sumamente experimentado, con quien he discutido estos temas en ocasiones, y quien tiene un punto de vista escéptico respecto a los rankings. Las propuestas que hace, curiosamente, son las mismas que nosotros concluímos eran pertinentes para la UNAM hace algunos años. Sólo la de acceso abierto, y en menor medida la de citas mutuas (los clubes de autoelogio no son invento nuevo), quedaron sin aplicarse explícitamente. Ninguna de estas medidas es efectiva por sí sola ni a corto plazo.
Y aunque el MIT ha dado el paso de acordar que todas sus publicaciones sean de Acceso Abierto, en una decisión espectacular, son pocas las instituciones educativas que muestran tal arrojo. Es sorprendente que las instituciones que más publican y que más recursos obtienen por sus conocimientos sean las primeras en dar acceso total (en la filosofía de Acceso Abierto) a su producción, y que instituciones que producen la décima parte per cápita (y a veces menos) estén atenazadas por el temor, a veces institucional, a veces de sus abogados, y a veces también de sus propios académicos, del "qué puede pasar" si dan el paso.
Por ello creo que Wouter estará más de acuerdo con el mensaje que transmite el recién designado Rector de la Universidad de Tokio, "no creo que los rankings importen mucho, lo que importa es la contribución que nuestros académicos y alumnos hagan a la sociedad", de acuerdo con un artículo también identificado por Gerritsma entre otros. Pero los periodistas hacen pasar al pobre Rector por el yugo, forzándolo a admitir que los rankings señalan algunas debilidades y referirse a la composición internacional de la matrícula y de la planta académica de su universidad.
miércoles, diciembre 03, 2008
Rankings, vergüenza nacional, e ignominia: cómo no reaccionar a los rankings de universidades
La recepción de los rankings de universidades varía mucho entre instituciones y países. En general a las instituciones a las que los rankings les otorgan altas calificaciones o ascensos reaccionan, comprensiblemente, con gusto y con publicidad al respecto. Cuando las calificaciones las desfavorecen o reclasifican a la baja es natural que observen públicamente los defectos del método de calificación y sean discretas en la publicidad de los resultados.
En rankings como el de la revista Times Higher Education, los ajustes hechos el año pasado, y a los que me he referido en este blog, estos efectos se complican y amplifican porque efectivamene los cambios de metodología producen artificios cuya percepción puede ser muy desagradable. En el caso de la UNAM hemos visto que, como se podía predecir con alguna certeza, un segundo año de aplicación de la misma metodología llevó a una colección de información más escrupulosa por parte del equipo del Times Higher Education y de Quacquarelli & Symonds y esto llevó a un ascenso en la tabla.
En otros países las reacciones a los rankings alcanzan proporciones que me parecen épicas y totalmente fuera de lugar. Éste ha sido el caso por varios años en Malasia, país en desarrollo con importantes recursos así como interesantes complejidades sociales. En Malasia la prensa, y aparentemente con ella algunos sectores políticos, han vapuleado a las universidades y a las autoridades por el hecho de que sus universidades no queden clasificadas entre las primeras 200. En un artículo de hoy el propio Times Higher Education refiere rudas declaraciones de políticos malayos que califican a la situación de vergüenza nacional, y llaman "ignominia" al hecho adicional de que las universidades malayas han quedado clasificadas abajo de las de los países vecinos como Tailandia, con los que sostienen una intensa competencia y abrigan rivaldades históricas.
Tengo una consideración más que compartir: normalmente el THE se hace valer como importante refiriendo la resonancia que los resultados positivos dan a las universidades "exitosas". ¿No será una pequeña forma de extorsión el referir ellos mismos el daño tóxico que hace una mala calificación? ¿No sería ético que también discutieran sus autores las incertidumbres y otros factores - tamaño, localización geográfica, idioma del país - que hacen que una buena universidad no obtenga una alta calificación en sus tablas?
Este artículo y la discusión alrededor del mismo deben recordarnos que hay que mantener una sana y racional distancia crítica respecto a estas clasificaciones.
En rankings como el de la revista Times Higher Education, los ajustes hechos el año pasado, y a los que me he referido en este blog, estos efectos se complican y amplifican porque efectivamene los cambios de metodología producen artificios cuya percepción puede ser muy desagradable. En el caso de la UNAM hemos visto que, como se podía predecir con alguna certeza, un segundo año de aplicación de la misma metodología llevó a una colección de información más escrupulosa por parte del equipo del Times Higher Education y de Quacquarelli & Symonds y esto llevó a un ascenso en la tabla.
En otros países las reacciones a los rankings alcanzan proporciones que me parecen épicas y totalmente fuera de lugar. Éste ha sido el caso por varios años en Malasia, país en desarrollo con importantes recursos así como interesantes complejidades sociales. En Malasia la prensa, y aparentemente con ella algunos sectores políticos, han vapuleado a las universidades y a las autoridades por el hecho de que sus universidades no queden clasificadas entre las primeras 200. En un artículo de hoy el propio Times Higher Education refiere rudas declaraciones de políticos malayos que califican a la situación de vergüenza nacional, y llaman "ignominia" al hecho adicional de que las universidades malayas han quedado clasificadas abajo de las de los países vecinos como Tailandia, con los que sostienen una intensa competencia y abrigan rivaldades históricas.
Tengo una consideración más que compartir: normalmente el THE se hace valer como importante refiriendo la resonancia que los resultados positivos dan a las universidades "exitosas". ¿No será una pequeña forma de extorsión el referir ellos mismos el daño tóxico que hace una mala calificación? ¿No sería ético que también discutieran sus autores las incertidumbres y otros factores - tamaño, localización geográfica, idioma del país - que hacen que una buena universidad no obtenga una alta calificación en sus tablas?
Este artículo y la discusión alrededor del mismo deben recordarnos que hay que mantener una sana y racional distancia crítica respecto a estas clasificaciones.
miércoles, octubre 08, 2008
UNAM 150 en Times Higher Education University Ranking
La UNAM aparece en el lugar no. 150 del ranking de la revista Times Higher Education. La Universidade de Sao Paulo 196, Campinas fuera del grupo "Top". La publicación está apareciendo en línea en este momento. Sus autores consideran "UNAM is the clear leader in Latin America".
Son conocidas las salvedades que pongo a los rankings, pero no hay duda de que esta noticia hará felices a muchos universitarios. Espero proveer una discusión crítica una vez revise los delicados aspectos metodológicos relevantes.
El trabajo de THES y de Quacquarelli and Symonds tiene visos de mayor consistencia este año, por el que habrá que felicitarlos. La mejor validación es que las universidades inglesas, que se vieron premiadas el año pasado por el cambio de metodología, se deslizaron un poco hacia abajo.
Blogueo desde la Cámara de Diputados, agradeciendo la disponibilidad de red inalámbrica en sus recintos.
Son conocidas las salvedades que pongo a los rankings, pero no hay duda de que esta noticia hará felices a muchos universitarios. Espero proveer una discusión crítica una vez revise los delicados aspectos metodológicos relevantes.
El trabajo de THES y de Quacquarelli and Symonds tiene visos de mayor consistencia este año, por el que habrá que felicitarlos. La mejor validación es que las universidades inglesas, que se vieron premiadas el año pasado por el cambio de metodología, se deslizaron un poco hacia abajo.
Blogueo desde la Cámara de Diputados, agradeciendo la disponibilidad de red inalámbrica en sus recintos.
sábado, septiembre 27, 2008
Cantidad y calidad de la producción académica en China y Estados Unidos: una comparación informétrica
Un artículo en la revista científica Informetrics hace una escrupulosa comparación entre la producción científica en China y en Estados Unidos, enfocándose en las ciencias físicas y en particular en las nanociencias.
El artículo es relevante para todos quienes estudiamos o seguimos el tema de comparaciones entre instituciones, en particular en mi caso los rankings de universidades, porque en estas comparacionnes los contextos nacionales son de la mayor importancia. En particular a lo largo de varios años me ha tocado comparar los resultados de universidades mexicanas y brasileñas e inevitablemente esta comparación queda enmarcada en una comparación de la producción científica de ambos países.
El artículo de Kostoff [que debe citarse como Kostoff, R N. Comparison of China/USA science and technology performance. Journal of Informetrics (2008),
doi:10.1016/j.joi.2008.06.004] describe las diferencias entre las distintas fuentes informétricas que utiliza para su trabajo, párrafos también muy útiles, pues ilustra por ejemplo cómo el uso de SCI (Science Citation Index) puede sesgar las comparaciones cuando algunas de las instituciones consideradas tienen fuerte actividad en el campo biomédico.
Las conclusiones de Kostoff son que China está publicando tanto o más que Estados Unidos, país para el que observa un pico alrededor de 2005 y una declinación desde entonces. En lo que hace a calidad, considera que la publicación científica en China aún es notoriamente inferior a la de Estados Unidos, pero en cambio muestra un incremento monotónico en los últimos años. Vale la pena leer el artículo por sus múltiples enseñanzas.
Y desde luego valdrá la pena que informétricos bien entrenados repitan este trabajo para comparar la producción científica de México por un lado con Estados Unidos, que es un estándar mundial, y por otro con Brasil, país que en muchas observaciones notamos que está ganando una ventaja que puede ser irreversible respecto a nuestro país en producción científica y tecnológica.
El artículo es relevante para todos quienes estudiamos o seguimos el tema de comparaciones entre instituciones, en particular en mi caso los rankings de universidades, porque en estas comparacionnes los contextos nacionales son de la mayor importancia. En particular a lo largo de varios años me ha tocado comparar los resultados de universidades mexicanas y brasileñas e inevitablemente esta comparación queda enmarcada en una comparación de la producción científica de ambos países.
El artículo de Kostoff [que debe citarse como Kostoff, R N. Comparison of China/USA science and technology performance. Journal of Informetrics (2008),
doi:10.1016/j.joi.2008.06.004] describe las diferencias entre las distintas fuentes informétricas que utiliza para su trabajo, párrafos también muy útiles, pues ilustra por ejemplo cómo el uso de SCI (Science Citation Index) puede sesgar las comparaciones cuando algunas de las instituciones consideradas tienen fuerte actividad en el campo biomédico.
Las conclusiones de Kostoff son que China está publicando tanto o más que Estados Unidos, país para el que observa un pico alrededor de 2005 y una declinación desde entonces. En lo que hace a calidad, considera que la publicación científica en China aún es notoriamente inferior a la de Estados Unidos, pero en cambio muestra un incremento monotónico en los últimos años. Vale la pena leer el artículo por sus múltiples enseñanzas.
Y desde luego valdrá la pena que informétricos bien entrenados repitan este trabajo para comparar la producción científica de México por un lado con Estados Unidos, que es un estándar mundial, y por otro con Brasil, país que en muchas observaciones notamos que está ganando una ventaja que puede ser irreversible respecto a nuestro país en producción científica y tecnológica.
Ranking de Universidades de Brasil
Recientemente el Ministerio de Educación y Cultura de Brasil realizó una extensa evaluación de las universidades de ese país, con base en diversos factores entre los cuales es clave un examen general que se aplica a los estudiantes universitarios brasileños. La prensa brasileña publicó de inmediato los resultados. Entre otros diaros, O Globo publica la tabla de las 10 universidades mejor calificadas. En tablas más detalladas se hacen clasificaciones no sólo por universidad sino por escuela.
Sorprendentemente, la Universidade de Sao Paulo (USP) y la Universidade de Campinas (UNICAMP), que son las mejor calificadas en los rankings de Shanghai Jiao Tong University y de Times Higher Education, no aparecen en las tablas. Hicieron falta unos días para encontrar una explicación: la USP y la UNICAMP no aplican el examen citado, y por lo tanto no participaron en el ranking. Esto lo explica el diario en línea de una ciudad poco visitada pero que por lo visto cuenta con un periodista acucioso que quiso que sus lectores no se quedaran con dudas.
Nos quedamos así sin saber cómo son medidas en su propio país. Estimo que también ocuparían los lugares más altos, al menos con muchos de los criterios conocidos, pero nos perdemos de los detalles. Será para otra ocasión.
Sorprendentemente, la Universidade de Sao Paulo (USP) y la Universidade de Campinas (UNICAMP), que son las mejor calificadas en los rankings de Shanghai Jiao Tong University y de Times Higher Education, no aparecen en las tablas. Hicieron falta unos días para encontrar una explicación: la USP y la UNICAMP no aplican el examen citado, y por lo tanto no participaron en el ranking. Esto lo explica el diario en línea de una ciudad poco visitada pero que por lo visto cuenta con un periodista acucioso que quiso que sus lectores no se quedaran con dudas.
Nos quedamos así sin saber cómo son medidas en su propio país. Estimo que también ocuparían los lugares más altos, al menos con muchos de los criterios conocidos, pero nos perdemos de los detalles. Será para otra ocasión.
martes, agosto 12, 2008
Primeras reacciones al ranking de universidades de Shanghai 2008: Australia
Conforme se propagan las noticias acerca de la aparición (anterior a la fecha de publicación oficial) del ranking de Shanghai (ARWU o Academic Ranking of World Universities de la Universidad Jiao Tong de Shanghai) en el que la UNAM aparece en el decil 150-200 empiezan también las reacciones. Algunas auténticamente ponen los pelos de punta.
Es el caso de la reacción en el sistema de las universidades de Australia, de las cuales el ranking incluía dos en la edición 2007 y ahora incluye tres. Leo en la prensa (no tengo referencia original) que el profesor Simon Marginson, experto en el tema en la Universidad de Melbourne, expresa complacencia con el resultado ("es bueno para Australia" porque la mayoría de sus universidades aparece con mejor calificación, aunque tenía 17 y ahora sólo 15 en las "top 500").
Dice Marginson que una buena presencia de universidades de un país en los rankings refleja un sano estado de la economía. Curiosamente el mismo Marginson dijo recientemente que se está dando una separación creciente entre los estudiantes nacionales en Australia, que tienen que trabajar y vivir fuera del campus, y los extranjeros, que pagan cuotas altas y son buen negocio para las universidades, y disfrutan a tiempo completo las excelencias de la vida universitaria.
Ahora, ¿tendrá en mente Marginson al mismo tiempo tres cosas? 1. "Es bueno aparecer arriba en los rankings" (sus palabras); "hay una verdadera formación de ghettos entre los desaventajados estudiantes nacionales y los privilegiado estudiantes extranjeros"; 3. el ranking del Times tiene como objetivo medir cuán atractivas son las universidades de un país para los estudiantes extranjeros.
¿Una flagrante contradicción o un desafío al pensamiento basado en sutilezas? ¿o solamente un recordatorio de que los rankings hay que tomarlos con más granos de sal que los que hay en Guerrrero Negro?
Es el caso de la reacción en el sistema de las universidades de Australia, de las cuales el ranking incluía dos en la edición 2007 y ahora incluye tres. Leo en la prensa (no tengo referencia original) que el profesor Simon Marginson, experto en el tema en la Universidad de Melbourne, expresa complacencia con el resultado ("es bueno para Australia" porque la mayoría de sus universidades aparece con mejor calificación, aunque tenía 17 y ahora sólo 15 en las "top 500").
Dice Marginson que una buena presencia de universidades de un país en los rankings refleja un sano estado de la economía. Curiosamente el mismo Marginson dijo recientemente que se está dando una separación creciente entre los estudiantes nacionales en Australia, que tienen que trabajar y vivir fuera del campus, y los extranjeros, que pagan cuotas altas y son buen negocio para las universidades, y disfrutan a tiempo completo las excelencias de la vida universitaria.
Ahora, ¿tendrá en mente Marginson al mismo tiempo tres cosas? 1. "Es bueno aparecer arriba en los rankings" (sus palabras); "hay una verdadera formación de ghettos entre los desaventajados estudiantes nacionales y los privilegiado estudiantes extranjeros"; 3. el ranking del Times tiene como objetivo medir cuán atractivas son las universidades de un país para los estudiantes extranjeros.
¿Una flagrante contradicción o un desafío al pensamiento basado en sutilezas? ¿o solamente un recordatorio de que los rankings hay que tomarlos con más granos de sal que los que hay en Guerrrero Negro?
domingo, agosto 10, 2008
Publicado el Ranking de Shanghai / Shanghai Ranking now published - clasificaciones de la UNAM y la USP
En http://www.arwu.org/rank2008/EN2008.htm está ya publicado el Ranking de Shanghai de 2008 (Academic Ranking of World Universities o Clasificación Mundial de Universidades). Este trabajo, que sigue a cargo del Prof. Nian Cai Liu, tiene fecha oficial de publicación del 15 de agosto de 2008 pero ya está disponible en línea.
La UNAM aparece nuevamente en el listado que corresponde indiferenciadamente a las instituciones entre los números 151 y 200 (el tercer decil de la distribución de las primeras 500) y la Universidad de Sao Paulo (USP) en el decil anterior, 101-150. Debe recordarse que el número 185 con el que aparece en la tabla se debe al orden alfabético en esta categoría, dado que las puntuaciones son idénticas (a tres cifras significativas) entre los miembros de la misma. Cuenta solamente el decil.
La UNAM aparece nuevamente en el listado que corresponde indiferenciadamente a las instituciones entre los números 151 y 200 (el tercer decil de la distribución de las primeras 500) y la Universidad de Sao Paulo (USP) en el decil anterior, 101-150. Debe recordarse que el número 185 con el que aparece en la tabla se debe al orden alfabético en esta categoría, dado que las puntuaciones son idénticas (a tres cifras significativas) entre los miembros de la misma. Cuenta solamente el decil.
Suscribirse a:
Entradas (Atom)