University rankings' homogeneizing metrics - institutions in India and Latin America

The following is an exchange with Ben Sowter from Quacquarelli and Simonds (QS) motivated by his statement that university rankings provide a single standard for academic institutions.

The discussion has been taking place in a group in LinkedIn motivated by a news article titled "India snubs all major university rankings - no clear rationale" by a member of the group.

The article informs about Indian Higher Education officials opinion contrary to the suitability of ranking systems to the structure and function of universities in India.


Ben's statement:

"Interesting. HE in India faces a lot of tough challenges with a demographic bubble about to pass through the system and an urgent need for increased undergrad capacity. In general the best schools are over-subscribed with genius-level applicants and can afford to be complacent, but the requirement for increased strength in depth is clear. Overall the rankings may not be perfect for India, but they do all feature meaningful indicators and could be used as inputs to a more sophisticated performance management algorithm. For all their collective and individual shortfalls these rankings remain one of the only sources of data for cross-border comparison."


My response:

Ben, no, the real challenge is to admit that "all major [global] university rankings", for some values of "all" and "global", inevitably measure universities against a single model. This may be a pure Humboldtian, Napoleonic, Anglo, Sino-Russian, Indian, whichever, or a not-necessarily-linear combination. it still is a single yardstick and it still is an artifice of the poll designer's mind.

Even "internationally attractive" is ill defined. Not necessarily do the same characteristics of a university attract students from across developed countries with strong academic systems, badly under-developed countries, and emerging economies some of which have a small core of good university education.

The rankings also do not consider what I call "riesgo país" or "country risk", a factor affecting all institutions in a given country. To simplify and to explain by way of illustration, if Latin American students leave their country it is far more likely that they will decide to go all the way to a "northern" institution (mostly in the US) than stay in the region, even considering the step of learning a different language. The cross-cultural experience is highly valued, perceptions of security and quality of life are strong drivers, the degrees are more prestigious at equal quality levels, and the countries are springboards for staying in academia which the "southern" institutions are not (we all know and I hope you, Ben, don't ignore or underestimate, the difficulty of publishing the same paper from a "southern" institution vis a vis doing it with a "northern" affiliation.)

Further, as Andrey Kitashov, Hillol Nag, and Lakshmi Iyer indicate almost explicitly, the entities that don't grade high against the yardstick may not be only individual ones, but whole subsystems or even national systems. That is the case in India, as described aptly by the previous participants in this discussion, in Latin America, as I have discussed extensively in previous years with you and other rankologists, and surely elsewhere. Even in the US and Europe you find friction for this reason.

More should be said about the different disciplinary foci of the institutions and the measures of performance associated with them and with the institutions' own choices and what their public and country authorities demand from them. A non-trivial thought must be given to the serious deformations induced in some cases (countries, subsystems, institutions) by the use and abuse of rankings, as shown incontrovertibly already years ago by Ellen Hazelkorn and have only gotten worse.)

All this is not to say that universities in India may have room for improvement or that those in Latin America are not flawed. But I do emphatically say that being "more like Ben Sowter thinks you should be" is not "being better."

Please refer to entries in my blog http://pisanty.blogspot.com of many previous years for more precedent and discussion.

Rankings, vergüenza nacional, e ignominia: cómo no reaccionar a los rankings de universidades

La recepción de los rankings de universidades varía mucho entre instituciones y países. En general a las instituciones a las que los rankings les otorgan altas calificaciones o ascensos reaccionan, comprensiblemente, con gusto y con publicidad al respecto. Cuando las calificaciones las desfavorecen o reclasifican a la baja es natural que observen públicamente los defectos del método de calificación y sean discretas en la publicidad de los resultados.

En rankings como el de la revista Times Higher Education, los ajustes hechos el año pasado, y a los que me he referido en este blog, estos efectos se complican y amplifican porque efectivamene los cambios de metodología producen artificios cuya percepción puede ser muy desagradable. En el caso de la UNAM hemos visto que, como se podía predecir con alguna certeza, un segundo año de aplicación de la misma metodología llevó a una colección de información más escrupulosa por parte del equipo del Times Higher Education y de Quacquarelli & Symonds y esto llevó a un ascenso en la tabla.

En otros países las reacciones a los rankings alcanzan proporciones que me parecen épicas y totalmente fuera de lugar. Éste ha sido el caso por varios años en Malasia, país en desarrollo con importantes recursos así como interesantes complejidades sociales. En Malasia la prensa, y aparentemente con ella algunos sectores políticos, han vapuleado a las universidades y a las autoridades por el hecho de que sus universidades no queden clasificadas entre las primeras 200. En un artículo de hoy el propio Times Higher Education refiere rudas declaraciones de políticos malayos que califican a la situación de vergüenza nacional, y llaman "ignominia" al hecho adicional de que las universidades malayas han quedado clasificadas abajo de las de los países vecinos como Tailandia, con los que sostienen una intensa competencia y abrigan rivaldades históricas.

Tengo una consideración más que compartir: normalmente el THE se hace valer como importante refiriendo la resonancia que los resultados positivos dan a las universidades "exitosas". ¿No será una pequeña forma de extorsión el referir ellos mismos el daño tóxico que hace una mala calificación? ¿No sería ético que también discutieran sus autores las incertidumbres y otros factores - tamaño, localización geográfica, idioma del país - que hacen que una buena universidad no obtenga una alta calificación en sus tablas?

Este artículo y la discusión alrededor del mismo deben recordarnos que hay que mantener una sana y racional distancia crítica respecto a estas clasificaciones.

Rankings: crítica y autocrítica / Rankings: criticism and self-criticism

Bajo el tículo prometedor de mejoras a los rankings fallidos, acaba de aparecer un artículo sumamente interesante, en el que NianCai Liu (de la Shanghai Jiao Tong University) y Ben Sowter (de Quacquarelli and Simonds, quienes preparan la información para el ranking del Times Higher Education Supplement [THES]) hacen alguna autocrítica. Principalmente, ambos coinciden en que sus rankings favorecen a las universidades con gran dedicación a la investigación y anglófonas. Pero por supuesto, ya nada los detendrá... El artículo merece lectura.