Mostrando las entradas con la etiqueta clasificaciones de universidades. Mostrar todas las entradas
Mostrando las entradas con la etiqueta clasificaciones de universidades. Mostrar todas las entradas

miércoles, diciembre 03, 2008

Rankings, vergüenza nacional, e ignominia: cómo no reaccionar a los rankings de universidades

La recepción de los rankings de universidades varía mucho entre instituciones y países. En general a las instituciones a las que los rankings les otorgan altas calificaciones o ascensos reaccionan, comprensiblemente, con gusto y con publicidad al respecto. Cuando las calificaciones las desfavorecen o reclasifican a la baja es natural que observen públicamente los defectos del método de calificación y sean discretas en la publicidad de los resultados.

En rankings como el de la revista Times Higher Education, los ajustes hechos el año pasado, y a los que me he referido en este blog, estos efectos se complican y amplifican porque efectivamene los cambios de metodología producen artificios cuya percepción puede ser muy desagradable. En el caso de la UNAM hemos visto que, como se podía predecir con alguna certeza, un segundo año de aplicación de la misma metodología llevó a una colección de información más escrupulosa por parte del equipo del Times Higher Education y de Quacquarelli & Symonds y esto llevó a un ascenso en la tabla.

En otros países las reacciones a los rankings alcanzan proporciones que me parecen épicas y totalmente fuera de lugar. Éste ha sido el caso por varios años en Malasia, país en desarrollo con importantes recursos así como interesantes complejidades sociales. En Malasia la prensa, y aparentemente con ella algunos sectores políticos, han vapuleado a las universidades y a las autoridades por el hecho de que sus universidades no queden clasificadas entre las primeras 200. En un artículo de hoy el propio Times Higher Education refiere rudas declaraciones de políticos malayos que califican a la situación de vergüenza nacional, y llaman "ignominia" al hecho adicional de que las universidades malayas han quedado clasificadas abajo de las de los países vecinos como Tailandia, con los que sostienen una intensa competencia y abrigan rivaldades históricas.

Tengo una consideración más que compartir: normalmente el THE se hace valer como importante refiriendo la resonancia que los resultados positivos dan a las universidades "exitosas". ¿No será una pequeña forma de extorsión el referir ellos mismos el daño tóxico que hace una mala calificación? ¿No sería ético que también discutieran sus autores las incertidumbres y otros factores - tamaño, localización geográfica, idioma del país - que hacen que una buena universidad no obtenga una alta calificación en sus tablas?

Este artículo y la discusión alrededor del mismo deben recordarnos que hay que mantener una sana y racional distancia crítica respecto a estas clasificaciones.

miércoles, octubre 08, 2008

UNAM 150 en Times Higher Education University Ranking

La UNAM aparece en el lugar no. 150 del ranking de la revista Times Higher Education. La Universidade de Sao Paulo 196, Campinas fuera del grupo "Top". La publicación está apareciendo en línea en este momento. Sus autores consideran "UNAM is the clear leader in Latin America".

Son conocidas las salvedades que pongo a los rankings, pero no hay duda de que esta noticia hará felices a muchos universitarios. Espero proveer una discusión crítica una vez revise los delicados aspectos metodológicos relevantes.

El trabajo de THES y de Quacquarelli and Symonds tiene visos de mayor consistencia este año, por el que habrá que felicitarlos. La mejor validación es que las universidades inglesas, que se vieron premiadas el año pasado por el cambio de metodología, se deslizaron un poco hacia abajo.

Blogueo desde la Cámara de Diputados, agradeciendo la disponibilidad de red inalámbrica en sus recintos.

sábado, septiembre 27, 2008

Cantidad y calidad de la producción académica en China y Estados Unidos: una comparación informétrica

Un artículo en la revista científica Informetrics hace una escrupulosa comparación entre la producción científica en China y en Estados Unidos, enfocándose en las ciencias físicas y en particular en las nanociencias.

El artículo es relevante para todos quienes estudiamos o seguimos el tema de comparaciones entre instituciones, en particular en mi caso los rankings de universidades, porque en estas comparacionnes los contextos nacionales son de la mayor importancia. En particular a lo largo de varios años me ha tocado comparar los resultados de universidades mexicanas y brasileñas e inevitablemente esta comparación queda enmarcada en una comparación de la producción científica de ambos países.

El artículo de Kostoff [que debe citarse como Kostoff, R N. Comparison of China/USA science and technology performance. Journal of Informetrics (2008),
doi:10.1016/j.joi.2008.06.004] describe las diferencias entre las distintas fuentes informétricas que utiliza para su trabajo, párrafos también muy útiles, pues ilustra por ejemplo cómo el uso de SCI (Science Citation Index) puede sesgar las comparaciones cuando algunas de las instituciones consideradas tienen fuerte actividad en el campo biomédico.

Las conclusiones de Kostoff son que China está publicando tanto o más que Estados Unidos, país para el que observa un pico alrededor de 2005 y una declinación desde entonces. En lo que hace a calidad, considera que la publicación científica en China aún es notoriamente inferior a la de Estados Unidos, pero en cambio muestra un incremento monotónico en los últimos años. Vale la pena leer el artículo por sus múltiples enseñanzas.

Y desde luego valdrá la pena que informétricos bien entrenados repitan este trabajo para comparar la producción científica de México por un lado con Estados Unidos, que es un estándar mundial, y por otro con Brasil, país que en muchas observaciones notamos que está ganando una ventaja que puede ser irreversible respecto a nuestro país en producción científica y tecnológica.

martes, agosto 12, 2008

Primeras reacciones al ranking de universidades de Shanghai 2008: Australia

Conforme se propagan las noticias acerca de la aparición (anterior a la fecha de publicación oficial) del ranking de Shanghai (ARWU o Academic Ranking of World Universities de la Universidad Jiao Tong de Shanghai) en el que la UNAM aparece en el decil 150-200 empiezan también las reacciones. Algunas auténticamente ponen los pelos de punta.

Es el caso de la reacción en el sistema de las universidades de Australia, de las cuales el ranking incluía dos en la edición 2007 y ahora incluye tres. Leo en la prensa (no tengo referencia original) que el profesor Simon Marginson, experto en el tema en la Universidad de Melbourne, expresa complacencia con el resultado ("es bueno para Australia" porque la mayoría de sus universidades aparece con mejor calificación, aunque tenía 17 y ahora sólo 15 en las "top 500").

Dice Marginson que una buena presencia de universidades de un país en los rankings refleja un sano estado de la economía. Curiosamente el mismo Marginson dijo recientemente que se está dando una separación creciente entre los estudiantes nacionales en Australia, que tienen que trabajar y vivir fuera del campus, y los extranjeros, que pagan cuotas altas y son buen negocio para las universidades, y disfrutan a tiempo completo las excelencias de la vida universitaria.

Ahora, ¿tendrá en mente Marginson al mismo tiempo tres cosas? 1. "Es bueno aparecer arriba en los rankings" (sus palabras); "hay una verdadera formación de ghettos entre los desaventajados estudiantes nacionales y los privilegiado estudiantes extranjeros"; 3. el ranking del Times tiene como objetivo medir cuán atractivas son las universidades de un país para los estudiantes extranjeros.

¿Una flagrante contradicción o un desafío al pensamiento basado en sutilezas? ¿o solamente un recordatorio de que los rankings hay que tomarlos con más granos de sal que los que hay en Guerrrero Negro?

lunes, julio 28, 2008

¿Los rankings dirigen a las universidades?

Una concisa e interesante presentación de la Dra. Ellen Hazelkorn en la reciente reunión de la Asociación Internacional de Universidades ilustra los resultados de su investigación sobre el efecto de los "rankings" o clasificaciones de universidades sobre la administración de las mismas. Los efectos son extensos y profundos en muchas de ellas, porque no sólo se dan sobre las decisiones de las propias instituciones sino también sobre las administraciones educativas nacionales.

Así entre sus ejemplos cuenta tanto los de instituciones cuyas decisiones explícitamente se dirigen hacia alcanzar mejores lugares en los rankings (con efectos en la selección de alumnos y profesores, orientación de la docencia y la investigación, etc.) cuanto los de gobiernos que deciden que deben contar con N universidades en los primeros lugares de las clasificaciones.

Esta presentación aparece referenciada en el portal de la IAU en el programa de la reunión, específicamente un panel sobre clasificaciones. Las otras presentaciones del mismo pánel son también de interés, aunque sorprendentemente ciegas al escepticismo y la prudencia que deberían inducir las reflexiones de la Dra. Hazelkorn. Y, sorprendentemente, ninguna de las propuestas de rankings hace referencia a los principios de Berlín, que intentan conferir cierta objetividad y transparencia a los rankings.

Ni duda: entre las necesidades objetivas que llevan a calificar y clasificar, el desborde de los egos institucionales y nacionales, y algunos efectos de autorretroalimentación sistémica, este Frankenstein es imparable. Ojalá los ejercicios por venir de la OCDE tengan la seriedad necesaria.

sábado, julio 19, 2008

Rankings: Francia quiere uno nuevo, Ben Sowter contesta a Richard Holmes, y el Independent dice que descienden hacia la farsa

Conforme el año avanza, las noticias relativas a rankings de universidades evolucionan; se ha ido estableciendo un ciclo anual, gradualmente.

Así, pasada la racha de discusiones que sigue a la aparición del ranking de Shanghai en agosto y el del Times en octubre o noviembre (fechas siempre aproximadas), viene un silencio relativo en la primavera, y ahora las notas se refieren a temas más diversos. Richard Holmes tiene el oido bien puesto en la tierra y nota no sólo las estampidas sino también los movimientos más sutiles. Aquí algunas notas destacadas que menciona en su excelente blog y una reflexión propia:

1. Francia quiere un nuevo ranking. Coincido con la apreciación del informe presentado al Senado de Francia en el sentido de que el sistema de citas a artículos científicos favorece a las universidades angloparlantes, como sucede con muchos otros factores de los rankings del Times y de Shanghai a los que ya me he referido en este blog. Holmes se pregunta por qué no se limitan las instituciones francesas a usar los índices de "citas per cápita", que las favorecen.

Un estudio interesante que había escapado a nuestra atención anteriormente es el de la École Nationale de Mines que clasifica a las universidades en función del número de directivos de empresas del índice "Fortune 500" que se educaron en ellas. La UNAM aparece en el lugar número 318, con base en que son egresados suyos directivos de Pemex, CFE y Carso, empresas listadas en ese índice (sólo una es privada). La UNAM aparece allí con una puntuación de 2.5 contra el 100 de Harvard. Y las universidades francesas aparecen en unos 5 de los primeros 10 lugares. Como con los cambios del ranking del Times de 2007, que dieron lugar a la entrada o ascenso de 27 universidades inglesas en los primeros 100 lugares, uno puede rascarse la cabeza, arquear las cejas, o hacer 100 respiraciones tántricas para librarse del "sospechosismo". Vale la pena leer el estudio completo.

2. Holmes discute con Ben Sowter, de QS - Quacquarelli & Symonds, empresa responsable del trabajo técnico de los rankings del Times - quien resulta asiduo lector de Holmes. Así tenemos evidencia por primera vez, en el mundo de los rankings, de la importancia de los blogs y de los bloggers.

3. El propio Holmes cita un artículo del Independent que refiere al menos a nivel anecdótico un par de prácticas en las universidades inglesas que muestran ls distorsiones de conducta que inducen los rankings. Una de ellas afecta principalmente a las tablas de clasificación inglesas; la otra - hacer la vista gorda ante el plagiarismo de los estudiantes extranjeros para no perderlos - se relaciona con el índice de estudiantes extranjeros que es tan caro al Times como medida del atractivo internacional de las universidades.

Y la reflexión: ¿tendrán los cambios recientes en la directiva de la Asociación Mundial de Universidades algún impacto sobre la relación entre las universidades y los sistemas de clasificación? La AIU comisionó hace un par de años el excelente estudio de Ellen Hazelkorn sobre el impacto de los rankings sobre la conducta de las universidades. La evidencia acerca de tanto la importancia creciente que se da a los rankings como de los muy serios problemas que los acompañan crece cada día. ¿Qué hará la AIU?

domingo, abril 06, 2008

You appear in a university ranking: celebration or damage limitation?

Un artículo en el Chicago Tribune presenta dos notas de un director de escuela universitaria para el caso de que su universidad suba o el de que baje en un ranking de universidades.

En el caso del ascenso subraya con brevedad cómo el ranking toma en cuenta lo que más le importa a la universidad y por ello, a pesar de las pequeñas imperfecciones metodológicas del ranking, la universidad celebra el ascenso.

En el caso del descenso subraya con amplitud cómo el ranking no toma en cuenta lo que más le importa a la universidad y por ello, a pesar de las pequeñas implicaciones del cambio en clasificación, el descenso es irrelevante y la universidad es de lo mejor.

Quienes conocemos por dentro la industria de los rankings universitarios sabemos que todo esto puede pasar y ser cierto o no. El artículo es excelente. Lo motiva la publicación del ranking del US News and World Report pero podría aplicarse igualmente al ranking de Shanghai y al ranking del Times Higher Education.

------------------------------------- (English)

An article in the Chicago Tribune shows two purported letters by a dean, to be published after the university is ranked, one for ascent and the other for descent in the ranking.

For ascent, the letter explains succintly why, despite its methodological imperfections, the ranking stresses what the university cares about, and therefore the university is happy with the result.

For descent, the letter explains extensively how the gross methodological imperfections of the ranking, the university really does very well in that which really matters.

Those of us who know the university rankings industry from the inside know well that both things may happen and be true or not. Excellent article. It appears on occasion of the most recent publication of the US News and World Report Ranking but would equally apply to the Shanghai ranking or the Times Higher Education ranking.

viernes, febrero 01, 2008

¿Cansado de leer acerca de rankings? Vea el video.

Encuentro en YouTube tres videos sobre rankings de universidades (los tres están en inglés).

El primero, y el que más recomiendo, discute el ranking del Times Higher Education Supplement (ahora Times Higher Education); incluye voz y fotos de Martin Ince, y una discusión de su aplicabilidad para distintos tipos de universidades fuera de los países desarrollados. El profesor de la NTU de Singapur que participa es particularmente lúcido y elocuente. El video es de 2006 pero totalmente vigente.

El segundo y el tercero discuten específicamente el ranking de la revista US News and World Report, aplicable solamente a instituciones de Estados Unidos. Los encuentro interesantes pues algunos de los puntos tratados son válidos para todas las clasificaciones, y porque exhiben (especialmente el tercero) las distorsiones de la conducta institucional que pueden llegar a producir los rankings mal utilizados.

Buena preparación para la próxima aparición del programa de Andrés Oppenheimer sobre rankings en el que participé, junto con el Dr. Juan Carlos Tedesco y otros expertos, que debe estar ya difundiendo CNN en E.U. y pronto pasará en Latinoamérica y en Internet.

viernes, enero 25, 2008

Otro ranking de universidades - otras métricas y "quién es el número uno"

"¿Quién es el número uno? Ésa es la quintaesencial pregunta americana." Así empieza la presentación del Center for Measuring University Performance de la Arizona State University y como algunos dirían, "el resto es historia" (igual de pochos que mi traducción, pero qué hacer con una palabra como "quintaesencia").

El Centro cataloga y clasifica a las universidades de E.U. con sólo nueve criterios, que miden su fondeo, gasto en investigación, membresía de sus académicos en las Academias Nacionales, premios recibidos, calificaciones de sus alumnos en la prueba SAT, y número de posdoctorales. Criterios sencillos, relativamente objetivos, y pocos. Tentado ejemplo para extrapolarlo, mutatis mutandem, a las instituciones mexicanas comparables (claramente sólo se aplica a universidades con un importante componente de investigación). Una primera inspección sugeriría que se apega bastante a los Principios de Berlín. Un trabajo reciente es muy crítico del apego a estos principios por parte del "Times" (THE, antes THES) y de "Shanghai" (Shanghai Jiao Tong University).

También es de notar con interés que la Universidad de Arizona, una muy buena universidad, haya establecido una entidad bien definida para investigar lo referente al desempeño institucional; otro punto de reflexión para el contexto mexicano.

lunes, enero 14, 2008

El Times Higher Education ya no es suplemento - reorganización del ex-THES

La revista que hasta hace poco se llamó Times Higher Education Supplement ha cambiado de formato y hasta de nombre. Ahora se llama nada más Times Higher Education, ha dejado su formato tabloide (del que no nos enteramos al leerlo en línea) para pasar a uno de revista, y aumenta su contenido de libre acceso en línea.

Seguirá con el proyecto de los rankings mundiales de universidades, que sigue encabezando Martin Ince. No están tomadas todas las decisiones sobre el ranking pero de que va, va. Nótese que el ahora llamado THE publica estadísticas y clasificaciones en otros temas (salarios, etc.) y otorga cada año un conjunto de premios en el ámbito de las universidades británicas específicamente. Y por cierto, las siglas THE coinciden con las de la revista Technology in Higher Education, bien conocida en nuestro ámbito de especialidad.

La sección legal está a cargo de la firma Eversheds (buen paso para promoverse) y en el número que estoy viendo toca diversos temas, incluyendo "¿Puede mi universidad obligarme a retirarme a los 65?".

La rehechura de la revista costó 2 millones de (cada vez más caras) libras, y responde a la estrategia de los inversionistas de Charterhouse, dueños de TSL que a su vez parece tener como principal negocio el antiguo suplemento y nueva revista. El formato es agradable y abierto y habrá que ver cómo evolucionan el contenido, la política editorial, y por supuesto los rankings.

sábado, diciembre 29, 2007

¿Ascenso o declinación de las universidades inglesas?

En un excelente artículo, el prof. Andrew Oswald pone en perspectiva dos tendencias contrastantes: la evolución descendente de algunos indicadores del rendimiento de las universidades inglesas, por un lado, y la evolución ascendente de sus posiciones en el "ranking" del Times Higher Education Supplement. El artículo es discutido también en el excelente blog de Richard Holmes, http://rankingwatch.blogspot.com.

Oswald contrasta específicamente el ascenso de las universidades inglesas en el ranking, particularmente el de 2007, con el hecho de que en las últimas dos décadas Inglaterra ha producido 9 premios Nobel en ciencias y Estados Unidos 126. Oswald no se ahorra comentarios demoledores acerca de la ética de las instituciones que simultáneamente adoptan el resultado del ranking para su publicidad y saben que es un indicador sumamente dudoso, y llama a la integridad académica en pocas y precisas palabras dignas de lectura directa.

Finalmente, Oswald reflexiona acerca del efecto del sistema de evaluación de las universidades inglesas sobre sus resultados de investigación. Apunta a la posibilidad de que el sistema esté llevando a las universidades - a los investigadores mismos - a hacer investigación sólida y segura, pero no a correr riesgos y a hacer investigación audaz y original. Un efecto que también se afirma existe en muchos otros sistemas, incluyendo el mexicano.

En esta reflexión Oswald anota un hecho interesante: el número de unidades (departamentos, divisiones, etc. sometidas a la evaluación por parte de las universidades) que obtiene la máxima calificación dentro de ese sistema de evaluación aumenta aceleradamente en cada período evaluado - "grade inflation", que observamos regularmente en muchos otros sistemas de evaluación. Motivos múltiples para ver con profundo pesimismo a los sistemas de evaluación y clasificación rumbo a 2008.