The following is an exchange with Ben Sowter from Quacquarelli and Simonds (QS) motivated by his statement that university rankings provide a single standard for academic institutions.
The discussion has been taking place in a group in LinkedIn motivated by a news article titled "India snubs all major university rankings - no clear rationale" by a member of the group.
The article informs about Indian Higher Education officials opinion contrary to the suitability of ranking systems to the structure and function of universities in India.
Ben's statement:
"Interesting. HE in India faces a lot of tough challenges with a demographic bubble about to pass through the system and an urgent need for increased undergrad capacity. In general the best schools are over-subscribed with genius-level applicants and can afford to be complacent, but the requirement for increased strength in depth is clear. Overall the rankings may not be perfect for India, but they do all feature meaningful indicators and could be used as inputs to a more sophisticated performance management algorithm. For all their collective and individual shortfalls these rankings remain one of the only sources of data for cross-border comparison."
My response:
Ben, no, the real challenge is to admit that "all major [global] university rankings", for some values of "all" and "global", inevitably measure universities against a single model. This may be a pure Humboldtian, Napoleonic, Anglo, Sino-Russian, Indian, whichever, or a not-necessarily-linear combination. it still is a single yardstick and it still is an artifice of the poll designer's mind.
Even "internationally attractive" is ill defined. Not necessarily do the same characteristics of a university attract students from across developed countries with strong academic systems, badly under-developed countries, and emerging economies some of which have a small core of good university education.
The rankings also do not consider what I call "riesgo país" or "country risk", a factor affecting all institutions in a given country. To simplify and to explain by way of illustration, if Latin American students leave their country it is far more likely that they will decide to go all the way to a "northern" institution (mostly in the US) than stay in the region, even considering the step of learning a different language. The cross-cultural experience is highly valued, perceptions of security and quality of life are strong drivers, the degrees are more prestigious at equal quality levels, and the countries are springboards for staying in academia which the "southern" institutions are not (we all know and I hope you, Ben, don't ignore or underestimate, the difficulty of publishing the same paper from a "southern" institution vis a vis doing it with a "northern" affiliation.)
Further, as Andrey Kitashov, Hillol Nag, and Lakshmi Iyer indicate almost explicitly, the entities that don't grade high against the yardstick may not be only individual ones, but whole subsystems or even national systems. That is the case in India, as described aptly by the previous participants in this discussion, in Latin America, as I have discussed extensively in previous years with you and other rankologists, and surely elsewhere. Even in the US and Europe you find friction for this reason.
More should be said about the different disciplinary foci of the institutions and the measures of performance associated with them and with the institutions' own choices and what their public and country authorities demand from them. A non-trivial thought must be given to the serious deformations induced in some cases (countries, subsystems, institutions) by the use and abuse of rankings, as shown incontrovertibly already years ago by Ellen Hazelkorn and have only gotten worse.)
All this is not to say that universities in India may have room for improvement or that those in Latin America are not flawed. But I do emphatically say that being "more like Ben Sowter thinks you should be" is not "being better."
Please refer to entries in my blog http://pisanty.blogspot.com of many previous years for more precedent and discussion.
Mostrando las entradas con la etiqueta university rankings. Mostrar todas las entradas
Mostrando las entradas con la etiqueta university rankings. Mostrar todas las entradas
viernes, diciembre 21, 2012
domingo, agosto 10, 2008
Publicado el Ranking de Shanghai / Shanghai Ranking now published - clasificaciones de la UNAM y la USP
En http://www.arwu.org/rank2008/EN2008.htm está ya publicado el Ranking de Shanghai de 2008 (Academic Ranking of World Universities o Clasificación Mundial de Universidades). Este trabajo, que sigue a cargo del Prof. Nian Cai Liu, tiene fecha oficial de publicación del 15 de agosto de 2008 pero ya está disponible en línea.
La UNAM aparece nuevamente en el listado que corresponde indiferenciadamente a las instituciones entre los números 151 y 200 (el tercer decil de la distribución de las primeras 500) y la Universidad de Sao Paulo (USP) en el decil anterior, 101-150. Debe recordarse que el número 185 con el que aparece en la tabla se debe al orden alfabético en esta categoría, dado que las puntuaciones son idénticas (a tres cifras significativas) entre los miembros de la misma. Cuenta solamente el decil.
La UNAM aparece nuevamente en el listado que corresponde indiferenciadamente a las instituciones entre los números 151 y 200 (el tercer decil de la distribución de las primeras 500) y la Universidad de Sao Paulo (USP) en el decil anterior, 101-150. Debe recordarse que el número 185 con el que aparece en la tabla se debe al orden alfabético en esta categoría, dado que las puntuaciones son idénticas (a tres cifras significativas) entre los miembros de la misma. Cuenta solamente el decil.
lunes, julio 28, 2008
¿Los rankings dirigen a las universidades?
Una concisa e interesante presentación de la Dra. Ellen Hazelkorn en la reciente reunión de la Asociación Internacional de Universidades ilustra los resultados de su investigación sobre el efecto de los "rankings" o clasificaciones de universidades sobre la administración de las mismas. Los efectos son extensos y profundos en muchas de ellas, porque no sólo se dan sobre las decisiones de las propias instituciones sino también sobre las administraciones educativas nacionales.
Así entre sus ejemplos cuenta tanto los de instituciones cuyas decisiones explícitamente se dirigen hacia alcanzar mejores lugares en los rankings (con efectos en la selección de alumnos y profesores, orientación de la docencia y la investigación, etc.) cuanto los de gobiernos que deciden que deben contar con N universidades en los primeros lugares de las clasificaciones.
Esta presentación aparece referenciada en el portal de la IAU en el programa de la reunión, específicamente un panel sobre clasificaciones. Las otras presentaciones del mismo pánel son también de interés, aunque sorprendentemente ciegas al escepticismo y la prudencia que deberían inducir las reflexiones de la Dra. Hazelkorn. Y, sorprendentemente, ninguna de las propuestas de rankings hace referencia a los principios de Berlín, que intentan conferir cierta objetividad y transparencia a los rankings.
Ni duda: entre las necesidades objetivas que llevan a calificar y clasificar, el desborde de los egos institucionales y nacionales, y algunos efectos de autorretroalimentación sistémica, este Frankenstein es imparable. Ojalá los ejercicios por venir de la OCDE tengan la seriedad necesaria.
Así entre sus ejemplos cuenta tanto los de instituciones cuyas decisiones explícitamente se dirigen hacia alcanzar mejores lugares en los rankings (con efectos en la selección de alumnos y profesores, orientación de la docencia y la investigación, etc.) cuanto los de gobiernos que deciden que deben contar con N universidades en los primeros lugares de las clasificaciones.
Esta presentación aparece referenciada en el portal de la IAU en el programa de la reunión, específicamente un panel sobre clasificaciones. Las otras presentaciones del mismo pánel son también de interés, aunque sorprendentemente ciegas al escepticismo y la prudencia que deberían inducir las reflexiones de la Dra. Hazelkorn. Y, sorprendentemente, ninguna de las propuestas de rankings hace referencia a los principios de Berlín, que intentan conferir cierta objetividad y transparencia a los rankings.
Ni duda: entre las necesidades objetivas que llevan a calificar y clasificar, el desborde de los egos institucionales y nacionales, y algunos efectos de autorretroalimentación sistémica, este Frankenstein es imparable. Ojalá los ejercicios por venir de la OCDE tengan la seriedad necesaria.
Publicado el nuevo ranking de Webometrics
Acaba de aparecer la versión de julio de 2008 del ranking de universidades en la Web Webometrics, que produce el Laboratorio de Cibermetría que dirige Isidro Aguillo en el CSIC de España. Por países, México aparece en el lugar 24, con 4 universidades en las primeras mil, mientras Brasil lo hace en el 20 con 14. De las mexicanas, la UNAM aparece en un lugar más alto que el semestre pasado (51 en vez de 58, un avance significativo en el contexto de este estudio que sólo compara presencia en Web de universidades).
sábado, julio 19, 2008
Rankings: Francia quiere uno nuevo, Ben Sowter contesta a Richard Holmes, y el Independent dice que descienden hacia la farsa
Conforme el año avanza, las noticias relativas a rankings de universidades evolucionan; se ha ido estableciendo un ciclo anual, gradualmente.
Así, pasada la racha de discusiones que sigue a la aparición del ranking de Shanghai en agosto y el del Times en octubre o noviembre (fechas siempre aproximadas), viene un silencio relativo en la primavera, y ahora las notas se refieren a temas más diversos. Richard Holmes tiene el oido bien puesto en la tierra y nota no sólo las estampidas sino también los movimientos más sutiles. Aquí algunas notas destacadas que menciona en su excelente blog y una reflexión propia:
1. Francia quiere un nuevo ranking. Coincido con la apreciación del informe presentado al Senado de Francia en el sentido de que el sistema de citas a artículos científicos favorece a las universidades angloparlantes, como sucede con muchos otros factores de los rankings del Times y de Shanghai a los que ya me he referido en este blog. Holmes se pregunta por qué no se limitan las instituciones francesas a usar los índices de "citas per cápita", que las favorecen.
Un estudio interesante que había escapado a nuestra atención anteriormente es el de la École Nationale de Mines que clasifica a las universidades en función del número de directivos de empresas del índice "Fortune 500" que se educaron en ellas. La UNAM aparece en el lugar número 318, con base en que son egresados suyos directivos de Pemex, CFE y Carso, empresas listadas en ese índice (sólo una es privada). La UNAM aparece allí con una puntuación de 2.5 contra el 100 de Harvard. Y las universidades francesas aparecen en unos 5 de los primeros 10 lugares. Como con los cambios del ranking del Times de 2007, que dieron lugar a la entrada o ascenso de 27 universidades inglesas en los primeros 100 lugares, uno puede rascarse la cabeza, arquear las cejas, o hacer 100 respiraciones tántricas para librarse del "sospechosismo". Vale la pena leer el estudio completo.
2. Holmes discute con Ben Sowter, de QS - Quacquarelli & Symonds, empresa responsable del trabajo técnico de los rankings del Times - quien resulta asiduo lector de Holmes. Así tenemos evidencia por primera vez, en el mundo de los rankings, de la importancia de los blogs y de los bloggers.
3. El propio Holmes cita un artículo del Independent que refiere al menos a nivel anecdótico un par de prácticas en las universidades inglesas que muestran ls distorsiones de conducta que inducen los rankings. Una de ellas afecta principalmente a las tablas de clasificación inglesas; la otra - hacer la vista gorda ante el plagiarismo de los estudiantes extranjeros para no perderlos - se relaciona con el índice de estudiantes extranjeros que es tan caro al Times como medida del atractivo internacional de las universidades.
Y la reflexión: ¿tendrán los cambios recientes en la directiva de la Asociación Mundial de Universidades algún impacto sobre la relación entre las universidades y los sistemas de clasificación? La AIU comisionó hace un par de años el excelente estudio de Ellen Hazelkorn sobre el impacto de los rankings sobre la conducta de las universidades. La evidencia acerca de tanto la importancia creciente que se da a los rankings como de los muy serios problemas que los acompañan crece cada día. ¿Qué hará la AIU?
Así, pasada la racha de discusiones que sigue a la aparición del ranking de Shanghai en agosto y el del Times en octubre o noviembre (fechas siempre aproximadas), viene un silencio relativo en la primavera, y ahora las notas se refieren a temas más diversos. Richard Holmes tiene el oido bien puesto en la tierra y nota no sólo las estampidas sino también los movimientos más sutiles. Aquí algunas notas destacadas que menciona en su excelente blog y una reflexión propia:
1. Francia quiere un nuevo ranking. Coincido con la apreciación del informe presentado al Senado de Francia en el sentido de que el sistema de citas a artículos científicos favorece a las universidades angloparlantes, como sucede con muchos otros factores de los rankings del Times y de Shanghai a los que ya me he referido en este blog. Holmes se pregunta por qué no se limitan las instituciones francesas a usar los índices de "citas per cápita", que las favorecen.
Un estudio interesante que había escapado a nuestra atención anteriormente es el de la École Nationale de Mines que clasifica a las universidades en función del número de directivos de empresas del índice "Fortune 500" que se educaron en ellas. La UNAM aparece en el lugar número 318, con base en que son egresados suyos directivos de Pemex, CFE y Carso, empresas listadas en ese índice (sólo una es privada). La UNAM aparece allí con una puntuación de 2.5 contra el 100 de Harvard. Y las universidades francesas aparecen en unos 5 de los primeros 10 lugares. Como con los cambios del ranking del Times de 2007, que dieron lugar a la entrada o ascenso de 27 universidades inglesas en los primeros 100 lugares, uno puede rascarse la cabeza, arquear las cejas, o hacer 100 respiraciones tántricas para librarse del "sospechosismo". Vale la pena leer el estudio completo.
2. Holmes discute con Ben Sowter, de QS - Quacquarelli & Symonds, empresa responsable del trabajo técnico de los rankings del Times - quien resulta asiduo lector de Holmes. Así tenemos evidencia por primera vez, en el mundo de los rankings, de la importancia de los blogs y de los bloggers.
3. El propio Holmes cita un artículo del Independent que refiere al menos a nivel anecdótico un par de prácticas en las universidades inglesas que muestran ls distorsiones de conducta que inducen los rankings. Una de ellas afecta principalmente a las tablas de clasificación inglesas; la otra - hacer la vista gorda ante el plagiarismo de los estudiantes extranjeros para no perderlos - se relaciona con el índice de estudiantes extranjeros que es tan caro al Times como medida del atractivo internacional de las universidades.
Y la reflexión: ¿tendrán los cambios recientes en la directiva de la Asociación Mundial de Universidades algún impacto sobre la relación entre las universidades y los sistemas de clasificación? La AIU comisionó hace un par de años el excelente estudio de Ellen Hazelkorn sobre el impacto de los rankings sobre la conducta de las universidades. La evidencia acerca de tanto la importancia creciente que se da a los rankings como de los muy serios problemas que los acompañan crece cada día. ¿Qué hará la AIU?
domingo, abril 06, 2008
You appear in a university ranking: celebration or damage limitation?
Un artículo en el Chicago Tribune presenta dos notas de un director de escuela universitaria para el caso de que su universidad suba o el de que baje en un ranking de universidades.
En el caso del ascenso subraya con brevedad cómo el ranking toma en cuenta lo que más le importa a la universidad y por ello, a pesar de las pequeñas imperfecciones metodológicas del ranking, la universidad celebra el ascenso.
En el caso del descenso subraya con amplitud cómo el ranking no toma en cuenta lo que más le importa a la universidad y por ello, a pesar de las pequeñas implicaciones del cambio en clasificación, el descenso es irrelevante y la universidad es de lo mejor.
Quienes conocemos por dentro la industria de los rankings universitarios sabemos que todo esto puede pasar y ser cierto o no. El artículo es excelente. Lo motiva la publicación del ranking del US News and World Report pero podría aplicarse igualmente al ranking de Shanghai y al ranking del Times Higher Education.
------------------------------------- (English)
An article in the Chicago Tribune shows two purported letters by a dean, to be published after the university is ranked, one for ascent and the other for descent in the ranking.
For ascent, the letter explains succintly why, despite its methodological imperfections, the ranking stresses what the university cares about, and therefore the university is happy with the result.
For descent, the letter explains extensively how the gross methodological imperfections of the ranking, the university really does very well in that which really matters.
Those of us who know the university rankings industry from the inside know well that both things may happen and be true or not. Excellent article. It appears on occasion of the most recent publication of the US News and World Report Ranking but would equally apply to the Shanghai ranking or the Times Higher Education ranking.
En el caso del ascenso subraya con brevedad cómo el ranking toma en cuenta lo que más le importa a la universidad y por ello, a pesar de las pequeñas imperfecciones metodológicas del ranking, la universidad celebra el ascenso.
En el caso del descenso subraya con amplitud cómo el ranking no toma en cuenta lo que más le importa a la universidad y por ello, a pesar de las pequeñas implicaciones del cambio en clasificación, el descenso es irrelevante y la universidad es de lo mejor.
Quienes conocemos por dentro la industria de los rankings universitarios sabemos que todo esto puede pasar y ser cierto o no. El artículo es excelente. Lo motiva la publicación del ranking del US News and World Report pero podría aplicarse igualmente al ranking de Shanghai y al ranking del Times Higher Education.
------------------------------------- (English)
An article in the Chicago Tribune shows two purported letters by a dean, to be published after the university is ranked, one for ascent and the other for descent in the ranking.
For ascent, the letter explains succintly why, despite its methodological imperfections, the ranking stresses what the university cares about, and therefore the university is happy with the result.
For descent, the letter explains extensively how the gross methodological imperfections of the ranking, the university really does very well in that which really matters.
Those of us who know the university rankings industry from the inside know well that both things may happen and be true or not. Excellent article. It appears on occasion of the most recent publication of the US News and World Report Ranking but would equally apply to the Shanghai ranking or the Times Higher Education ranking.
viernes, febrero 01, 2008
¿Cansado de leer acerca de rankings? Vea el video.
Encuentro en YouTube tres videos sobre rankings de universidades (los tres están en inglés).
El primero, y el que más recomiendo, discute el ranking del Times Higher Education Supplement (ahora Times Higher Education); incluye voz y fotos de Martin Ince, y una discusión de su aplicabilidad para distintos tipos de universidades fuera de los países desarrollados. El profesor de la NTU de Singapur que participa es particularmente lúcido y elocuente. El video es de 2006 pero totalmente vigente.
El segundo y el tercero discuten específicamente el ranking de la revista US News and World Report, aplicable solamente a instituciones de Estados Unidos. Los encuentro interesantes pues algunos de los puntos tratados son válidos para todas las clasificaciones, y porque exhiben (especialmente el tercero) las distorsiones de la conducta institucional que pueden llegar a producir los rankings mal utilizados.
Buena preparación para la próxima aparición del programa de Andrés Oppenheimer sobre rankings en el que participé, junto con el Dr. Juan Carlos Tedesco y otros expertos, que debe estar ya difundiendo CNN en E.U. y pronto pasará en Latinoamérica y en Internet.
El primero, y el que más recomiendo, discute el ranking del Times Higher Education Supplement (ahora Times Higher Education); incluye voz y fotos de Martin Ince, y una discusión de su aplicabilidad para distintos tipos de universidades fuera de los países desarrollados. El profesor de la NTU de Singapur que participa es particularmente lúcido y elocuente. El video es de 2006 pero totalmente vigente.
El segundo y el tercero discuten específicamente el ranking de la revista US News and World Report, aplicable solamente a instituciones de Estados Unidos. Los encuentro interesantes pues algunos de los puntos tratados son válidos para todas las clasificaciones, y porque exhiben (especialmente el tercero) las distorsiones de la conducta institucional que pueden llegar a producir los rankings mal utilizados.
Buena preparación para la próxima aparición del programa de Andrés Oppenheimer sobre rankings en el que participé, junto con el Dr. Juan Carlos Tedesco y otros expertos, que debe estar ya difundiendo CNN en E.U. y pronto pasará en Latinoamérica y en Internet.
lunes, enero 14, 2008
El Times Higher Education ya no es suplemento - reorganización del ex-THES
La revista que hasta hace poco se llamó Times Higher Education Supplement ha cambiado de formato y hasta de nombre. Ahora se llama nada más Times Higher Education, ha dejado su formato tabloide (del que no nos enteramos al leerlo en línea) para pasar a uno de revista, y aumenta su contenido de libre acceso en línea.
Seguirá con el proyecto de los rankings mundiales de universidades, que sigue encabezando Martin Ince. No están tomadas todas las decisiones sobre el ranking pero de que va, va. Nótese que el ahora llamado THE publica estadísticas y clasificaciones en otros temas (salarios, etc.) y otorga cada año un conjunto de premios en el ámbito de las universidades británicas específicamente. Y por cierto, las siglas THE coinciden con las de la revista Technology in Higher Education, bien conocida en nuestro ámbito de especialidad.
La sección legal está a cargo de la firma Eversheds (buen paso para promoverse) y en el número que estoy viendo toca diversos temas, incluyendo "¿Puede mi universidad obligarme a retirarme a los 65?".
La rehechura de la revista costó 2 millones de (cada vez más caras) libras, y responde a la estrategia de los inversionistas de Charterhouse, dueños de TSL que a su vez parece tener como principal negocio el antiguo suplemento y nueva revista. El formato es agradable y abierto y habrá que ver cómo evolucionan el contenido, la política editorial, y por supuesto los rankings.
Seguirá con el proyecto de los rankings mundiales de universidades, que sigue encabezando Martin Ince. No están tomadas todas las decisiones sobre el ranking pero de que va, va. Nótese que el ahora llamado THE publica estadísticas y clasificaciones en otros temas (salarios, etc.) y otorga cada año un conjunto de premios en el ámbito de las universidades británicas específicamente. Y por cierto, las siglas THE coinciden con las de la revista Technology in Higher Education, bien conocida en nuestro ámbito de especialidad.
La sección legal está a cargo de la firma Eversheds (buen paso para promoverse) y en el número que estoy viendo toca diversos temas, incluyendo "¿Puede mi universidad obligarme a retirarme a los 65?".
La rehechura de la revista costó 2 millones de (cada vez más caras) libras, y responde a la estrategia de los inversionistas de Charterhouse, dueños de TSL que a su vez parece tener como principal negocio el antiguo suplemento y nueva revista. El formato es agradable y abierto y habrá que ver cómo evolucionan el contenido, la política editorial, y por supuesto los rankings.
sábado, diciembre 29, 2007
¿Ascenso o declinación de las universidades inglesas?
En un excelente artículo, el prof. Andrew Oswald pone en perspectiva dos tendencias contrastantes: la evolución descendente de algunos indicadores del rendimiento de las universidades inglesas, por un lado, y la evolución ascendente de sus posiciones en el "ranking" del Times Higher Education Supplement. El artículo es discutido también en el excelente blog de Richard Holmes, http://rankingwatch.blogspot.com.
Oswald contrasta específicamente el ascenso de las universidades inglesas en el ranking, particularmente el de 2007, con el hecho de que en las últimas dos décadas Inglaterra ha producido 9 premios Nobel en ciencias y Estados Unidos 126. Oswald no se ahorra comentarios demoledores acerca de la ética de las instituciones que simultáneamente adoptan el resultado del ranking para su publicidad y saben que es un indicador sumamente dudoso, y llama a la integridad académica en pocas y precisas palabras dignas de lectura directa.
Finalmente, Oswald reflexiona acerca del efecto del sistema de evaluación de las universidades inglesas sobre sus resultados de investigación. Apunta a la posibilidad de que el sistema esté llevando a las universidades - a los investigadores mismos - a hacer investigación sólida y segura, pero no a correr riesgos y a hacer investigación audaz y original. Un efecto que también se afirma existe en muchos otros sistemas, incluyendo el mexicano.
En esta reflexión Oswald anota un hecho interesante: el número de unidades (departamentos, divisiones, etc. sometidas a la evaluación por parte de las universidades) que obtiene la máxima calificación dentro de ese sistema de evaluación aumenta aceleradamente en cada período evaluado - "grade inflation", que observamos regularmente en muchos otros sistemas de evaluación. Motivos múltiples para ver con profundo pesimismo a los sistemas de evaluación y clasificación rumbo a 2008.
Oswald contrasta específicamente el ascenso de las universidades inglesas en el ranking, particularmente el de 2007, con el hecho de que en las últimas dos décadas Inglaterra ha producido 9 premios Nobel en ciencias y Estados Unidos 126. Oswald no se ahorra comentarios demoledores acerca de la ética de las instituciones que simultáneamente adoptan el resultado del ranking para su publicidad y saben que es un indicador sumamente dudoso, y llama a la integridad académica en pocas y precisas palabras dignas de lectura directa.
Finalmente, Oswald reflexiona acerca del efecto del sistema de evaluación de las universidades inglesas sobre sus resultados de investigación. Apunta a la posibilidad de que el sistema esté llevando a las universidades - a los investigadores mismos - a hacer investigación sólida y segura, pero no a correr riesgos y a hacer investigación audaz y original. Un efecto que también se afirma existe en muchos otros sistemas, incluyendo el mexicano.
En esta reflexión Oswald anota un hecho interesante: el número de unidades (departamentos, divisiones, etc. sometidas a la evaluación por parte de las universidades) que obtiene la máxima calificación dentro de ese sistema de evaluación aumenta aceleradamente en cada período evaluado - "grade inflation", que observamos regularmente en muchos otros sistemas de evaluación. Motivos múltiples para ver con profundo pesimismo a los sistemas de evaluación y clasificación rumbo a 2008.
lunes, noviembre 19, 2007
Reacciones a los rankings del Times Higher Educaction Supplement (THES)
En http://globalhighered.wordpress.com/ un buen resumen de algunas de entre cientos de reacciones a la publicación del ranking del Times Higher Education Supplement (THES) de 2007, recién aparecido y ya mencionado en este blog. En el blog de Richard Holmes, descripciones de algunos problemas y una discusión de los potenciales conflictos de interés entre esa publicación y el Imperial College London. No perderse de Top Universities, el patio trasero a la publicación del THES que ha creado su propio proveedor, Quacquarelli Symonds, porque en este sitio hay mucha más información incluyendo algunos de los datos crudos que fueron usados por QS y THES para el ranking. Para algunas universidades incluyen los números de publicaciones y citas, aunque para la mayoría no; sólo los datos demográficos. Como lo discute Holmes, también éstos están lejos de ser totalmente evidentes.
No olviden un dato: el THES ya no tiene nada que ver con el Times de Londres. Originalmente fue un suplemento creado pocos años después del Times Literary Supplement. El TLS se independizó hace unos años. El THES ha pasado por varios grados de independencia en las vueltas y revueltas de la adquisición del Times por News Corp., el grupo de Murdoch, y actualmente es propiedad de un fondo de inversión privado que tiene cero otras inversiones en educación ni en la industria editorial. Es decir, es visto simple y llanamente como una inversión lucrativa. A pesar de esta afirmación, sigo concediéndoles una alta credibilidad a Martin Ince (del proyecto de rankings del THES) y a Ben Sowter (de QS), sin dejar de cuestionar decisiones clave.wub
En fin, pasto para múltiples reflexiones todavía.
No olviden un dato: el THES ya no tiene nada que ver con el Times de Londres. Originalmente fue un suplemento creado pocos años después del Times Literary Supplement. El TLS se independizó hace unos años. El THES ha pasado por varios grados de independencia en las vueltas y revueltas de la adquisición del Times por News Corp., el grupo de Murdoch, y actualmente es propiedad de un fondo de inversión privado que tiene cero otras inversiones en educación ni en la industria editorial. Es decir, es visto simple y llanamente como una inversión lucrativa. A pesar de esta afirmación, sigo concediéndoles una alta credibilidad a Martin Ince (del proyecto de rankings del THES) y a Ben Sowter (de QS), sin dejar de cuestionar decisiones clave.wub
En fin, pasto para múltiples reflexiones todavía.
miércoles, noviembre 07, 2007
THES University Rankings - new version or a new ranking? ¿Nueva versión o nueva clasificación?
I've been doing some research on the possible effects of the Times Higher Education Supplement's World University Ranking's changes in methodology, which I described in my posting yesterday and has also been described by others like Richard Holmes. The canvassing of publications and citations seems to bring results which are so different, using Scopus instead of the Thomson/ISI products of the last three years, and the changes are in such way non-uniform among institutions, that it seems appropriate to consider the new version really a new ranking. There will hardly be any comparability with the previous years. Right now the coin is in the air.
He estado haciendo algo de investigación sobre los posibles efectos de los cambios en metodología del Times Higher Education Supplement World University Ranking, la clasificación mundial de universidades más citada, cambios que describí en este blog ayer y también ha descrito, por ejemplo, Richard Holmes. El barrido de publicaciones y citas a ellas parece acarrear resultados tan diferentes entre Scopus y los productos de Thomson/ISI usados los últimos tres años, y los cambios tienen efectos tan poco uniformes entre instituciones, que parece apropiado considerar que la nueva versión es realmente una nueva clasificación. Difícilmente habrá comparabilidad con los años anteriores. En este momento, la moneda está en el aire.
(recovered from/recuperado de 8 de noviembre de 2007)
He estado haciendo algo de investigación sobre los posibles efectos de los cambios en metodología del Times Higher Education Supplement World University Ranking, la clasificación mundial de universidades más citada, cambios que describí en este blog ayer y también ha descrito, por ejemplo, Richard Holmes. El barrido de publicaciones y citas a ellas parece acarrear resultados tan diferentes entre Scopus y los productos de Thomson/ISI usados los últimos tres años, y los cambios tienen efectos tan poco uniformes entre instituciones, que parece apropiado considerar que la nueva versión es realmente una nueva clasificación. Difícilmente habrá comparabilidad con los años anteriores. En este momento, la moneda está en el aire.
(recovered from/recuperado de 8 de noviembre de 2007)
martes, noviembre 06, 2007
Prolegómenos y portentos en el mundo de los rankings: nuevas metodologías en el Times
El ranking de universidades del Times Higher Education Supplement (THES) que está por aparecer esta semana viene con cambios de metodología importantes - habrá que ver las consecuencias. Va nota sobre los principales cambios.
Cambia la fuente de información bibliométrica para contar publicaciones y citas; en lugar de los productos de Thomson/ISI se utiliza ahora Scopus, un producto de Elsevier. Scopus incluye información sobre más publicaciones y aunque es menos sólido en publicaciones menos recientes que la última década, debe servir bien al Times que sólo considera 2002-2006. Es fama que Scopus incluye información menos centrada en la esfera anglo. Para las universidades latinoamericanas esto tiene un efecto positivo (serán detectadas más publicaciones en revistas de la región) y un riesgo muy alto: serán contadas en mayor proporción las publicaciones asiáticas. Según informes d expertos, Scopus es especialmente fuerte con la producción china. En América Latina puede cambiar también la proporción de publicaciones brasileñas o de académicos brasileños, al alza. Mi primera observación es que en Scopus se recogen unas tres veces más publicaciones brasileñas que mexicanas, por ejemplo.
Otro dato importante sobre la bibliometría es que siguen sin resolver el problema de la diversidad de nombres con que las publicaciones recogen la afiliaciónn institucional de los autores. Esto en algunas universidades introduce factores de más de 5 entre lo que se puede recoger según se elijan los nombres con los que se hace la investigación bibliométrica. ¡Y no sólo en los países en desarrollo! Harvard tiene un problema mayor que la UNAM - pero seguramente será atendido con más cuidado.
Cambia la contabilidad de matrícula y planta académica, de números totales a FTEs o equivalentes de tiempo completo. Esto puede ser más riguroso en instituciones bien controladas y muy ordenadas, e impredecible en ámbitos como el mexicano, en que la realidad del "estudiante de tiempo completo" es muy diversa.
Introducen un tipo de escala diferente, escalas z, que esencialmente es logarítmica. Esto tendrá como efecto reducir "disparos" como el de Caltech vs. Harvard en citas a publicaciones en 2006, y en general el de "aplanar" las diferencias y las escalas.
Modifican el mecanismo de votación en la encuesta que es base de la columna de "opinión de los pares" para reducir el efecto de que los académicos voten por su propia institución (fenómeno que al parecer ha sido grande en algunas universidades asiáticas). La base de datos de nombres a los que se dirige la encuesta es la de autores de World Scientific (otro sesgo, o intento de balance, que favorece diferencialmente la presencia de las instituciones asiáticas).
En resumen: quizás un trabajo más riguroso, orientado a resolver problemas de representación de instituciones asiáticas, que sigue favoreciendo la investigación sobre la docencia, sigue corto en apreciar la diversidad de las instituciones, y que sigue favoreciendo al mundo anglo con los indicadores de presencia de estudiantes y académicos extranjeros. Y la posibilidad de cambios y sacudidas importantes debido al cambio de metodología, independientemente de la calidad del trabajo de las propias universidades, que harán cuestionar el rigor y el orden del ranking.
Cambia la fuente de información bibliométrica para contar publicaciones y citas; en lugar de los productos de Thomson/ISI se utiliza ahora Scopus, un producto de Elsevier. Scopus incluye información sobre más publicaciones y aunque es menos sólido en publicaciones menos recientes que la última década, debe servir bien al Times que sólo considera 2002-2006. Es fama que Scopus incluye información menos centrada en la esfera anglo. Para las universidades latinoamericanas esto tiene un efecto positivo (serán detectadas más publicaciones en revistas de la región) y un riesgo muy alto: serán contadas en mayor proporción las publicaciones asiáticas. Según informes d expertos, Scopus es especialmente fuerte con la producción china. En América Latina puede cambiar también la proporción de publicaciones brasileñas o de académicos brasileños, al alza. Mi primera observación es que en Scopus se recogen unas tres veces más publicaciones brasileñas que mexicanas, por ejemplo.
Otro dato importante sobre la bibliometría es que siguen sin resolver el problema de la diversidad de nombres con que las publicaciones recogen la afiliaciónn institucional de los autores. Esto en algunas universidades introduce factores de más de 5 entre lo que se puede recoger según se elijan los nombres con los que se hace la investigación bibliométrica. ¡Y no sólo en los países en desarrollo! Harvard tiene un problema mayor que la UNAM - pero seguramente será atendido con más cuidado.
Cambia la contabilidad de matrícula y planta académica, de números totales a FTEs o equivalentes de tiempo completo. Esto puede ser más riguroso en instituciones bien controladas y muy ordenadas, e impredecible en ámbitos como el mexicano, en que la realidad del "estudiante de tiempo completo" es muy diversa.
Introducen un tipo de escala diferente, escalas z, que esencialmente es logarítmica. Esto tendrá como efecto reducir "disparos" como el de Caltech vs. Harvard en citas a publicaciones en 2006, y en general el de "aplanar" las diferencias y las escalas.
Modifican el mecanismo de votación en la encuesta que es base de la columna de "opinión de los pares" para reducir el efecto de que los académicos voten por su propia institución (fenómeno que al parecer ha sido grande en algunas universidades asiáticas). La base de datos de nombres a los que se dirige la encuesta es la de autores de World Scientific (otro sesgo, o intento de balance, que favorece diferencialmente la presencia de las instituciones asiáticas).
En resumen: quizás un trabajo más riguroso, orientado a resolver problemas de representación de instituciones asiáticas, que sigue favoreciendo la investigación sobre la docencia, sigue corto en apreciar la diversidad de las instituciones, y que sigue favoreciendo al mundo anglo con los indicadores de presencia de estudiantes y académicos extranjeros. Y la posibilidad de cambios y sacudidas importantes debido al cambio de metodología, independientemente de la calidad del trabajo de las propias universidades, que harán cuestionar el rigor y el orden del ranking.
sábado, octubre 06, 2007
Nuevas de rankings: U. Chicago, y subjetividad en rankings, con ejemplo del de MacLean's
En un análisis breve se sugiere a la Universidad de Chicago no hacer nada que distorsione su presencia en los rankings (tiene un alto lugar en el de US News and World Report), como las manipulaciones de la admisión y matrícula o de las donaciones, ni que ignore a los rankings. El "camino de enmedio" sugerido es seguirles haciendo caso por su impacto en atracción de buenos alumnos y de donaciones, pero sin manipulaciones.
Y en una discusión sobre el ranking de escuelas de derecho en Canadá que publicó recientemente la revista canadiense MaacLean's, el autor hace énfasis en los elementos altamente subjetivos del ranking: la elección de variables y sus métricas, y la asignación de ponderaciones a éstas. Eso deja un poco mal a la pretendida objetividad de los sistemas de calificaciones de la mayoría de los rankings.
Y en una discusión sobre el ranking de escuelas de derecho en Canadá que publicó recientemente la revista canadiense MaacLean's, el autor hace énfasis en los elementos altamente subjetivos del ranking: la elección de variables y sus métricas, y la asignación de ponderaciones a éstas. Eso deja un poco mal a la pretendida objetividad de los sistemas de calificaciones de la mayoría de los rankings.
lunes, agosto 27, 2007
Ranking the rankings, o quis curat ipsos curator
En Science vol. 317 pag. 1026, 2007, un artículo extraordinario, "Who Ranks the University Rankers?", por Martin Enserink, que compara los rankings del Times (THES) y de Shanghai, y discute estos dos y algunos más: sus principales problemas y un párrafo para sus aspectos positivos.
De risa si no fuera dramático: el ranking de Shanghai excluye a las Universidades Libre de Berlin y Humboldt de Berlin porque ambas, proclamándose herederas de la Universidad de Berlín, reclaman los puntos que les tocan por el Nobel de Einstein.
Sin extenderse en detalles menores, el artículo recoge los principales problemas de los rankings (muestreo, propósito, sesgos geográficos, usos distintos del objetivo del ranking como el que señala Ellen Hazelkorn, limitaciones en la información que utilizan, trampas de las universidades, etc.) y no deja títere con cabeza.
Lectura obligada para los rankingólogos y rankingófobos.
De risa si no fuera dramático: el ranking de Shanghai excluye a las Universidades Libre de Berlin y Humboldt de Berlin porque ambas, proclamándose herederas de la Universidad de Berlín, reclaman los puntos que les tocan por el Nobel de Einstein.
Sin extenderse en detalles menores, el artículo recoge los principales problemas de los rankings (muestreo, propósito, sesgos geográficos, usos distintos del objetivo del ranking como el que señala Ellen Hazelkorn, limitaciones en la información que utilizan, trampas de las universidades, etc.) y no deja títere con cabeza.
Lectura obligada para los rankingólogos y rankingófobos.
sábado, agosto 18, 2007
Los rankings de Shanghai de 2007
Ya salieron; están en el lugar habitual, http://ed.sjtu.edu.cn/ranking.htm. Con todas las imperfecciones e incertidumbres conocidas... La UNAM en buen lugar.
viernes, agosto 17, 2007
Articulo en el New York Times sobre la carrera por los rankings en EU
En http://www.nytimes.com/2007/08/17/education/17rankings.html, el NYT publica un buen artículo sobre la presión de los rankings. Me gusta mucho el rector que sale diciendo que llenó sus formularios "más honestamente". Se refiere especialmente a las listas del US News & World Report.
sábado, julio 21, 2007
Otro blog sobre rankings/Another blog about university rankings
En http://money-law.blogspot.com/, otro excelente blog que toca el tema de "rankings", con una crítica y también autocrítica a la reacción de las escuelas para favorecerse en el ranking de US News and World Report. Se concentra en escuelas de derecho pero algunas reflexiones son de impacto más amplio. Y el título "Money-Law" no tiene desperdicio.
domingo, julio 08, 2007
Rector critica Rankings
En http://www.kansascity.com/273/story/181178.html, el rector de la Northwest Missouri State University, Dean L. Hubbard, hace una fuerte crítica a los rankings del US News and World Report (y por extensión, otros como el del Times y el de Shanghai) por no referirse a lo que realmente importa a padres y a posibles alumnos. Se puede diferir en muchos detalles, pero lo fundamental es que Dean está rescatando el principio de que cada ranking debe ser interpretado dentro de su propio, generalmente estrecho propósito, y no ser utilizado para otros fines pues ahí puede producir resultados profundamente engañosos.
Attention all rankers...
Atención todos los que se ocupan de rankings, el Times ya está mandando cuestionarios desde hace unos días (más exactamente, Quacquarelly and Symonds), con más preguntas que nunca. Si no les gustaba que el Times y Q&S se hicieran cargo de contar citas... a lo mejor les gusta menos ahora: ¡lo harán Uds. mismos! (o sea que ya no tendremos a quién echarle bronca).
sábado, abril 28, 2007
Más noticias del mundo de los rankings
Descubro un blog, Ranking Watch, http://rankingwatch.blogspot.com/, que de manera más sistemática que yo se dedica exclusivamente a seguir las noticias y comentarios sobre rankings de universidades.
De paso, una nota en el Washington Post muestra a los editores de la sección de política educativa de ese diario muy insatisfechos con los rankings actuales, pues privilegian a las instituciones y actividades de investigación sobre las de educación en licenciatura.
De paso, una nota en el Washington Post muestra a los editores de la sección de política educativa de ese diario muy insatisfechos con los rankings actuales, pues privilegian a las instituciones y actividades de investigación sobre las de educación en licenciatura.
Suscribirse a:
Entradas (Atom)