Cómo subir en rankings - Holanda - y cómo ignorarlos - Japón

Gracias a LinkedIn y SlideShare, aplicación que se extiende rápidamente por su utilidad, encuentro una excelente presentación de Wouter Gerritsma sobre los rankings universitarios, aplicado en particular a su universidad, la de Wageningen.

En la lámina 15 de esa presentación Gerritsma hace las siguientes recomendaciones para que las universidades asciendan en las clasificaciones:

1. Asegurar la "mejor" presentación de los datos (se entiende que se refiere a la presentación de los datos de la universidad a la organización que hace la clasificación).
2. Publicar en revistas de alto impacto, muy citadas, en inglés.
3. Utilizar la afiliación institucional de los autores de la universidad en una manera uniforme en todas las publicaciones.
4. Promover que los autores de artículos de la universidad se citen entre sí.
5. Publicar en publicaciones de Acceso Abierto.

Wouter Gerritsma es un bibliotecario sumamente experimentado, con quien he discutido estos temas en ocasiones, y quien tiene un punto de vista escéptico respecto a los rankings. Las propuestas que hace, curiosamente, son las mismas que nosotros concluímos eran pertinentes para la UNAM hace algunos años. Sólo la de acceso abierto, y en menor medida la de citas mutuas (los clubes de autoelogio no son invento nuevo), quedaron sin aplicarse explícitamente. Ninguna de estas medidas es efectiva por sí sola ni a corto plazo.

Y aunque el MIT ha dado el paso de acordar que todas sus publicaciones sean de Acceso Abierto, en una decisión espectacular, son pocas las instituciones educativas que muestran tal arrojo. Es sorprendente que las instituciones que más publican y que más recursos obtienen por sus conocimientos sean las primeras en dar acceso total (en la filosofía de Acceso Abierto) a su producción, y que instituciones que producen la décima parte per cápita (y a veces menos) estén atenazadas por el temor, a veces institucional, a veces de sus abogados, y a veces también de sus propios académicos, del "qué puede pasar" si dan el paso.

Por ello creo que Wouter estará más de acuerdo con el mensaje que transmite el recién designado Rector de la Universidad de Tokio, "no creo que los rankings importen mucho, lo que importa es la contribución que nuestros académicos y alumnos hagan a la sociedad", de acuerdo con un artículo también identificado por Gerritsma entre otros. Pero los periodistas hacen pasar al pobre Rector por el yugo, forzándolo a admitir que los rankings señalan algunas debilidades y referirse a la composición internacional de la matrícula y de la planta académica de su universidad.

Por qué no hay que creer todo lo que se lee en un ranking: ocupaciones y profesiones en el alcoholímetro del DF

En un boletín de prensa del Gobierno del Distrito Federal, http://www.comsoc.df.gob.mx/noticias/boletines.html?id=2119340, reproducido también en la prensa de hoy, es posible leer los registros (yo no los llamaría estadísticas) de las personas que fueron remitidas a reclusión por exceder los límites de alcohol en sangre detectados mediante el alcoholímetro aplicado en las calles de la Ciudad de México en la temporada navideña que ahora termina.

El boletín afirma - seguramente con base en información confiable - que fueron detenidos más ingenieros que abogados y más choferes que carniceros. ¿Qué demuestran estas afirmaciones?

En la opinión de este humilde servidor, nada, nada que pueda usarse para ningún otro fin que enterarse de qué dicen que hacen quienes fueron detenidos. La "estadística" provista no puede ser usada para saber si beben más, manejan peor, son más maletas para evadir los retenes, beben donde no hay retenes, ninguna comparación ni generalización es posible, pues, hasta que no sepamos qué fracción de los conductores se dedican a cada una de las ocupaciones, circulan en los horarios y zonas de operación del alcoholímetro, nada.

Espero que nadie se sorprenda de que haya choferes entre los capturados - personas que por ocupación se dedican precisa y únicamente a manejar vehículos de motor; o que haya una alta proporción de empleados, categoría que cubre y abarca a muchas de las otras. (Tampoco que haya que beber alegremente antes de manejar, ni evadir el alcoholímetro; la nota de El Universal sobre un trágico accidente entre dos evasores debe servir de aliento (pun intended) para la precaución y el respeto a la vida de los demás).

Pero bueno, lean la nota y créanle a los rankings...

Primeras reacciones al ranking de universidades de Shanghai 2008: Australia

Conforme se propagan las noticias acerca de la aparición (anterior a la fecha de publicación oficial) del ranking de Shanghai (ARWU o Academic Ranking of World Universities de la Universidad Jiao Tong de Shanghai) en el que la UNAM aparece en el decil 150-200 empiezan también las reacciones. Algunas auténticamente ponen los pelos de punta.

Es el caso de la reacción en el sistema de las universidades de Australia, de las cuales el ranking incluía dos en la edición 2007 y ahora incluye tres. Leo en la prensa (no tengo referencia original) que el profesor Simon Marginson, experto en el tema en la Universidad de Melbourne, expresa complacencia con el resultado ("es bueno para Australia" porque la mayoría de sus universidades aparece con mejor calificación, aunque tenía 17 y ahora sólo 15 en las "top 500").

Dice Marginson que una buena presencia de universidades de un país en los rankings refleja un sano estado de la economía. Curiosamente el mismo Marginson dijo recientemente que se está dando una separación creciente entre los estudiantes nacionales en Australia, que tienen que trabajar y vivir fuera del campus, y los extranjeros, que pagan cuotas altas y son buen negocio para las universidades, y disfrutan a tiempo completo las excelencias de la vida universitaria.

Ahora, ¿tendrá en mente Marginson al mismo tiempo tres cosas? 1. "Es bueno aparecer arriba en los rankings" (sus palabras); "hay una verdadera formación de ghettos entre los desaventajados estudiantes nacionales y los privilegiado estudiantes extranjeros"; 3. el ranking del Times tiene como objetivo medir cuán atractivas son las universidades de un país para los estudiantes extranjeros.

¿Una flagrante contradicción o un desafío al pensamiento basado en sutilezas? ¿o solamente un recordatorio de que los rankings hay que tomarlos con más granos de sal que los que hay en Guerrrero Negro?

Publicado el Ranking de Shanghai / Shanghai Ranking now published - clasificaciones de la UNAM y la USP

En http://www.arwu.org/rank2008/EN2008.htm está ya publicado el Ranking de Shanghai de 2008 (Academic Ranking of World Universities o Clasificación Mundial de Universidades). Este trabajo, que sigue a cargo del Prof. Nian Cai Liu, tiene fecha oficial de publicación del 15 de agosto de 2008 pero ya está disponible en línea.

La UNAM aparece nuevamente en el listado que corresponde indiferenciadamente a las instituciones entre los números 151 y 200 (el tercer decil de la distribución de las primeras 500) y la Universidad de Sao Paulo (USP) en el decil anterior, 101-150. Debe recordarse que el número 185 con el que aparece en la tabla se debe al orden alfabético en esta categoría, dado que las puntuaciones son idénticas (a tres cifras significativas) entre los miembros de la misma. Cuenta solamente el decil.

Publicado el nuevo ranking de Webometrics

Acaba de aparecer la versión de julio de 2008 del ranking de universidades en la Web Webometrics, que produce el Laboratorio de Cibermetría que dirige Isidro Aguillo en el CSIC de España. Por países, México aparece en el lugar 24, con 4 universidades en las primeras mil, mientras Brasil lo hace en el 20 con 14. De las mexicanas, la UNAM aparece en un lugar más alto que el semestre pasado (51 en vez de 58, un avance significativo en el contexto de este estudio que sólo compara presencia en Web de universidades).

Paliza en rankings a las universidades de Irlanda - ejemplo de mal periodismo

Un artículo reciente en el Independent de Irlanda le pega lo que el autor cree que es una paliza a las universidades públicas irlandesas. En realidad sólo exhibe su escasez de criterio e información y sus prejuicios. Mezcla distintos rankings (sin entender el objetivo de Webometrics ni sus diferencias con otros) y se permite el lujo de molestarse por que una de sus universidades, Trinity College de Dublín, aparezca en el lugar 53 del ranking del THE (antes "ranking del Times"). Vale la pena aguantar el enojo de leerlo para entender la mecánica del prejuicio. Andrés Oppenheimer sostenía puntos de vista parecidos. No sabemos si después de una amplia discusión televisada, en la que participé, haya cambiado; pero ciertamente hasta los invitados a los que trató de movilizar a favor de su punto de vista terminaron minándolo profundamente.

Sin duda 2008 será un año de discusiones interesantes acerca de los rankings de universidades.

Otro ranking de universidades - otras métricas y "quién es el número uno"

"¿Quién es el número uno? Ésa es la quintaesencial pregunta americana." Así empieza la presentación del Center for Measuring University Performance de la Arizona State University y como algunos dirían, "el resto es historia" (igual de pochos que mi traducción, pero qué hacer con una palabra como "quintaesencia").

El Centro cataloga y clasifica a las universidades de E.U. con sólo nueve criterios, que miden su fondeo, gasto en investigación, membresía de sus académicos en las Academias Nacionales, premios recibidos, calificaciones de sus alumnos en la prueba SAT, y número de posdoctorales. Criterios sencillos, relativamente objetivos, y pocos. Tentado ejemplo para extrapolarlo, mutatis mutandem, a las instituciones mexicanas comparables (claramente sólo se aplica a universidades con un importante componente de investigación). Una primera inspección sugeriría que se apega bastante a los Principios de Berlín. Un trabajo reciente es muy crítico del apego a estos principios por parte del "Times" (THE, antes THES) y de "Shanghai" (Shanghai Jiao Tong University).

También es de notar con interés que la Universidad de Arizona, una muy buena universidad, haya establecido una entidad bien definida para investigar lo referente al desempeño institucional; otro punto de reflexión para el contexto mexicano.

¿Ascenso o declinación de las universidades inglesas?

En un excelente artículo, el prof. Andrew Oswald pone en perspectiva dos tendencias contrastantes: la evolución descendente de algunos indicadores del rendimiento de las universidades inglesas, por un lado, y la evolución ascendente de sus posiciones en el "ranking" del Times Higher Education Supplement. El artículo es discutido también en el excelente blog de Richard Holmes, http://rankingwatch.blogspot.com.

Oswald contrasta específicamente el ascenso de las universidades inglesas en el ranking, particularmente el de 2007, con el hecho de que en las últimas dos décadas Inglaterra ha producido 9 premios Nobel en ciencias y Estados Unidos 126. Oswald no se ahorra comentarios demoledores acerca de la ética de las instituciones que simultáneamente adoptan el resultado del ranking para su publicidad y saben que es un indicador sumamente dudoso, y llama a la integridad académica en pocas y precisas palabras dignas de lectura directa.

Finalmente, Oswald reflexiona acerca del efecto del sistema de evaluación de las universidades inglesas sobre sus resultados de investigación. Apunta a la posibilidad de que el sistema esté llevando a las universidades - a los investigadores mismos - a hacer investigación sólida y segura, pero no a correr riesgos y a hacer investigación audaz y original. Un efecto que también se afirma existe en muchos otros sistemas, incluyendo el mexicano.

En esta reflexión Oswald anota un hecho interesante: el número de unidades (departamentos, divisiones, etc. sometidas a la evaluación por parte de las universidades) que obtiene la máxima calificación dentro de ese sistema de evaluación aumenta aceleradamente en cada período evaluado - "grade inflation", que observamos regularmente en muchos otros sistemas de evaluación. Motivos múltiples para ver con profundo pesimismo a los sistemas de evaluación y clasificación rumbo a 2008.

Articulo en el New York Times sobre la carrera por los rankings en EU

En http://www.nytimes.com/2007/08/17/education/17rankings.html, el NYT publica un buen artículo sobre la presión de los rankings. Me gusta mucho el rector que sale diciendo que llenó sus formularios "más honestamente". Se refiere especialmente a las listas del US News & World Report.

Otro blog sobre rankings/Another blog about university rankings

En http://money-law.blogspot.com/, otro excelente blog que toca el tema de "rankings", con una crítica y también autocrítica a la reacción de las escuelas para favorecerse en el ranking de US News and World Report. Se concentra en escuelas de derecho pero algunas reflexiones son de impacto más amplio. Y el título "Money-Law" no tiene desperdicio.

Infelicidad en el mundo de los rankings/Unhappiness in the world of rankings

De acuerdo con una nota aparecida en el Guardian (diario de Manchester, Inglaterra), el Consejo para el Fondeo de la Educación Superior de ese país (HEFCE) va a realizar una investigación sobre los rankings (ellos también los llaman "league tables") de universidades, incluyendo el del Times Higher Education Supplement y el de Shanghai La investigación, de acuerdo con esta nota, pretende averiguar si la metodología es adecuada para hacerlos, y si las universidades están deformando algunas de sus políticas y acciones para mejorar su lugar en los rankings. Menciona como ejemplo a una universidad que ha hecho explícito su propósito de mejorar su lugar en los rankings y para ello no escatimará recursos: el próximo año estará contratando a cinco premios Nobel como académicos.