Evaluación del desempeño de las universidades: el aporte de los rankings mundiales*

JUAN BAUTISTA ABELLO-ROMERO, WALTER SÁEZ SAN MARTÍN, CLAUDIO MANCILLA

Evaluación del desempeño de las universidades: el aporte de los rankings mundiales*

Hallazgos, vol. 18, núm. 35, 2021

Universidad Santo Tomás

JUAN BAUTISTA ABELLO-ROMERO **


WALTER SÁEZ SAN MARTÍN ***


CLAUDIO MANCILLA ****


Recibido: 05 Mayo 2020

Aceptado: 03 Septiembre 2020

Resumen: El propósito de este artículo es analizar si los indicadores que forman parte de los rankings universitarios mundiales miden el desempeño de las universidades. La necesidad de evaluar el desempeño de las universidades junto a la falta de instrumentos estandarizados ha posicionado a los rankings como una medida de los niveles de eficiencia de las universidades, asunto que es razonable poner en duda. Este trabajo analiza nueve rankings mundiales y los 119 indicadores que están presentes en ellos. Los resultados indican que solo el 10,1 % de los indicadores cumple con las características atribuidas a la medición del desempeño, y teniendo en cuenta su peso relativo, estos indicadores tienen una importancia del 7,1 %. A su vez, cinco rankings no tienen ningún indicador que registre la definición de desempeño. Otro hallazgo es la existencia de asociación entre el tipo de indicadores y las dimensiones misionales de una universidad. Estos resultados permiten concluir lo inapropiado que es considerar los rankingsuniversitarios como una adecuada forma de medición del desempeño de las universidades, ya que no evalúan la eficiencia en el logro de los objetivos misionales ni ponderan adecuadamente dimensiones del desempeño.

Palabras clave: Desempeño de universidades, Medición de desempeño, Rankings universitarios.

Abstract: The purpose of this article is to analyze if the indicators that are part of the world university rankings measure the performance of universities. The need to evaluate the performance of universities together with the lack of standardized instruments has positioned rankings as a measure of the efficiency levels of universities, a matter that is reasonable to question. This work analyzes nine world rankings and the 119 indicators present in them. Results indicate that only 10.1% of the indicators meet the characteristics attributed to performance measurement, and taking into account their relative weight, these indicators have a significance of 7.1%. In turn, five rankings do not have any indicator that records the definition of performance. Another finding is the existence of an association between the type of indicators and the mission dimensions of a university. These results allow us to conclude how inappropriate it is to consider university rankings as an adequate form of measuring the performance of universities, since they do not evaluate efficiency in the achievement of mission objectives nor do they adequately weight dimensions of performance.

Keywords: University performance, Performance measurement, University rankings.

Resumo: O objetivo deste artigo é analisar se os indicadores que fazem parte dos rankings universitários mundiais medem o desempenho das universidades. A necessidade de avaliá-lo mais a falta de instrumentos padronizados vêm proporcionando rankings como uma medida dos níveis de eficiência das universidades, assunto que é passível de dúvida. Este trabalho analisa nove rankings mundiais e os 119 indicadores que estão presentes neles. Os resultados indicam que somente 10,1 % dos indicadores cumprem com as características atribuídas à medição do desempenho, e considerando seu peso relativo, esses indicadores têm uma importância de 7,1 %. Por sua vez, cinco rankings não têm um indicador que registre a definição de desempenho. Outro achado é a existência de associação entre tipo de indicadores e dimensões da missão de uma universidade. Esses resultados permitem concluir o inapropriado que é considerar os rankings universitários como forma de avaliar o desempenho das universidades, já que não avaliam a eficiência na conquista dos objetivos que fazem parte da sua missão nem ponderam adequadamente dimensões do desempenho.

Palavras-chave: Desempenho de universidades, Medição de desempenho, Rankings universitários.

Introducción

La medición del desempeño de las universidades representa un desafío en atención a la multidimensionalidad del mismo concepto y a la diversidad misional a la que aspiran estas instituciones. El desempeño de la universidad como organización generadora de bienes comunes debería reflejarse a través de los beneficios logrados por las partes interesadas, teniendo en consideración los recursos puestos a disposición para su consecución.

Hace algunas décadas se creó el sistema de rankings universitarios con el propósito de medir la efectividad de las universidades en ciertas áreas consideradas relevantes, para promover acciones de mejoramiento al permitirse la comparación entre instituciones, convirtiéndose en la actualidad en uno de los mecanismos reguladores del mercado de la educación superior. Ante la necesidad de instrumentos estandarizados que permitan medir el desempeño de las universidades, los rankings universitarios y sus indicadores se han posicionado como una adecuada medida de los niveles de eficiencia de las universidades, cuestión que es necesario poner en duda. Esta argumentación es la base del presente trabajo de investigación, pues el objetivo central es analizar si los indicadores que son parte de los rankings universitarios mundiales reflejan una medición del desempeño de las universidades. La discusión no es inapreciable si se tiene en cuenta que la medición tiene efectos en todo el sistema universitario. Una elección errónea del indicador generará perturbaciones en la valoración de las instituciones y consecuencias en las decisiones que se tomen internamente y, en algunos casos, se pueden perder de vista los objetivos misionales de la universidad.

Para llevar adelante este estudio, se revisaron los indicadores de nueve rankings universitarios mundiales: Academic Ranking World Universities; Times Higher Education Ranking; Quacquarelli Symonds Ranking; Scimago Institutions Ranking; University Ranking by Academic Performance; Performance Ranking of Scientific Papers for World Universities; CWTS Leiden Ranking; Ranking U.S. News & World Report y U-Multirank. El periodo analizado comprende los años 2017 y 2018, dependiendo del listado. Los indicadores fueron analizados como inputs o insumos con los que cuentan las universidades para realizar sus actividades, tales como la capacidad académica, la capacidad administrativa, los recursos materiales, financieros y la infraestructura. También se identificaron las variables que representan outputs o productos que generan las instituciones, así como la generación de capital humano y de conocimiento reflejado en proyectos científicos y sus publicaciones, además de patentes y productos que reflejen el compromiso con su entorno significativo, como la colaboración y vinculación con la comunidad, la transferencia del conocimiento, entre otros.

Este trabajo presenta la siguiente estructura: en el marco conceptual se establecen los conceptos esenciales de esta investigación, para la organización y análisis de los datos recabados; a continuación, en la sección de metodología se proporcionan algunos detalles de los rankings analizados y, finalmente, se presentan los resultados y las conclusiones.

Marco conceptual

El desempeño de las universidades representa la capacidad que estas tienen para lograr sus diversos objetivos misionales, y con ello responder a las expectativas de un entorno significativo representado por las partes interesadas, es decir, académicos, estudiantes, egresados, equipo rectoral, funcionarios, comunidad local, empresarios, gobiernos locales y nacionales y en general todos aquellos grupos o individuos que pueden afectar o verse afectados por el logro de los objetivos de la institución (Alarcón et ál., 2016; Caballero et ál., 2007; Freeman, 1984). Para evaluar esta capacidad, es necesario determinar los componentes del buen desempeño, utilizando indicadores específicos. La calificación del desempeño institucional deberá evaluar lo actuado, considerando los recursos a disposición de la institución, haciendo énfasis en la economía, efectividad y eficiencia (Ball y Halwachi, 1987; Sarrico et ál., 2010; Nazari-Shirkouhi et ál., 2020; Roessler y Catacutan, 2020).

Las universidades son organizaciones complejas (Aziz et ál., 2013; Svensson y Hvolby, 2012; Stake et ál., 2017) que producen bienes comunes (Licandro y Yepes, 2018; Rodríguez, 2017; Gibbs, 2019). Estos recursos colectivos benefician a todos los miembros de la institución, independientemente de si han contribuido a la creación de ese recurso o no (Frost y Hattke, 2018; Ostrom, 1990). Según Ostrom (1990), un bien común como la educación superior requiere de una gestión comunitaria; esto implica que la gestión y la evaluación del desempeño debe ser congruente con la naturaleza del mismo bien (Zamagni, 2014).

En el caso de las universidades, su actuar es multidimensional (García-Aracil y Palomares-Montero, 2012). De acuerdo con Bengoetxea y Buela-Casal (2013), la Comisión Europea considera a la multidimensionalidad como un principio para establecer una metodología de la clasificación de la educación superior, que implica dar cuenta de la diversidad misional de las universidades; así, se reconocen cinco dimensiones: 1) formación, 2) investigación, 3) internacionalización, 4) innovación y transferencia de conocimiento, y 5) compromiso regional. Para el caso australiano, Erdogmus y Esen (2016) indican que en ese país se tienen igualmente cinco dimensiones para calificar el desempeño de las universidades: 1) enseñanza y aprendizaje, 2) perfil del estudiante, 3) participación en la investigación, 4) intercambio de conocimientos, y 5) orientación internacional. Gregorutti (2014) propone que la diversidad misional de las universidades se puede dividir en tres: 1) enseñar, 2) investigar, y 3) comercializar el conocimiento. Por su parte, Urdari et ál. (2017) identifican dichas misiones con: 1) enseñanza, 2) investigación y, recientemente, 3) contribución a la sociedad. Estos autores proponen también otros elementos que deben considerarse para medir el desempeño, entre ellos se encuentran: 1) investigación generada por contratos con clientes no académicos, 2) comercialización de la tecnología, 3) empleabilidad de los estudiantes, 4) actividades de aprendizaje, 5) emprendimientos, y 6) generación de redes sociales. Otro aporte es el que hace Shin (2008), para el caso coreano, clasificando las instituciones en universidades de docentes, universidades politécnicas, universidades abiertas y universidades convencionales. La distinción misional no es un problema para los tres primeros tipos, ya que las primeras tienen la misión de formar profesores, las segundas forman personas para la industria y las terceras corresponden a la formación de adultos. En lo que respecta a las universidades convencionales, la definición de la misión plantea un problema en la medida en que la institución se focaliza en la investigación, sin dejar de lado los otros quehaceres misionales, como son la enseñanza o la prestación de servicios.

Otro aspecto relevante sobre el desempeño de las universidades es la capacidad de cumplir con las expectativas de la sociedad, representada por diversos grupos de interés, sean estos reales o potenciales (Alarcón et ál., 2016). Para determinar este aspecto se debe realizar una evaluación del desempeño basada en indicadores propios, los cuales pueden ser definidos como atajos, abreviaturas o sustitutos de un activo que subyace en la realidad. Un indicador constituye una síntesis de los datos que pueden ser analizados, y se calcula a partir de datos brutos, utilizando herramientas estadísticas tales como: porcentajes, tasas, razones e índices. Es muy recomendable que un sistema de indicadores incluya antecedentes a gran escala, así como la población total de estudiantes por nivel o disciplina que puede servir de base para su cálculo. Los indicadores deben resumir también una cantidad considerable de datos, con el objetivo de presentar una visión o indicación general de la situación que se está analizando, sin que necesariamente deba incluir comentarios respecto a la calificación positiva o negativa de dicha situación. En ese sentido, ofrecen una instantánea o un perfil de las condiciones existentes en un momento dado, describiendo el estado de un sistema educativo en varios niveles. Los tipos de indicadores fueron organizados por Hüfner (1991) en cuatro categorías: de rendimiento interno, de rendimiento operacional, de rendimiento generados por factores externos y de desempeño en investigación.

Respecto a la definición de la Unesco reportada por Vlasceanu et ál. (2004), los ámbitos de aplicación de los Indicadores Claves de Desempeño (Key Performance Indicators, KPI) permiten a las instituciones realizar benchmarking, evaluando su desempeño y estableciendo comparaciones con otras instituciones de educación superior (rankings y clasificaciones). En la misma línea, para el Council for Higher Education Accreditation (CHEA) (2001), los llamados indicadores de gesíión son considerados un conjunto de medidas concretas destinadas a facilitar la rendición de cuentas públicas (accouníabiliíy).

La accouníabiliíy es una aplicación posible de los indicadores de desempeño que se puede definir mediante la evaluación interna y externa de la institución; esta estudia tanto los efectos específicos como los globales en relación con el sistema de objetivos, procesos y resultados de la práctica universitaria (Hüfner, 1991; Hazelkorn y Gibson, 2019; Oancea, 2019). Shin (2010) señala que la adopción del sistema de rendición de cuentas basado en el rendimiento no tendrá efecto si no está fundado en las prácticas institucionales.

Por otra parte, la información proveniente de los indicadores de desempeño potencia las buenas prácticas (benchmarking) y facilita la decisión de movilidad de estudiantes, docentes e investigadores (Pérez-Esparrells y López, 2009). Además, ayuda a asignar fondos de manera racional, priorizando la investigación y la inversión en formación, al tiempo que informa al público, orienta el creciente mercado de los postulantes a pregrado y de los jóvenes investigadores, y ayuda a las instituciones en su proceso de autoevaluación y mejora. Thakur (2007) concluye que dentro de un país o área de influencia se pueden elaborar indicadores de desempeño para la asignación de financiamiento público, basados en los resultados de investigación o docencia.

En concreto, los indicadores de desempeño deben explicitar la relación causaefecto entre los productos y recursos utilizados por la institución; además, deben ser objetivos, es decir, son la evidencia de lo logrado. Cuando el indicador refleja solo el logro, se considera como output; cuando especifica el insumo, se reconoce como inpuí. Sin embargo, estos tipos de indicadores no miden eficiencia, ya que no representan la relación insumo-producto, sino meramente eficacia, que es la obtención del logro, en el mejor de los casos.

Algunas clasificaciones o rankings de universidades comparan y ordenan de manera descendente las instituciones que las integran, según un conjunto común de indicadores (Usher y Savino, 2007). Si bien ahora se consideran como novedad en el ámbito universitario, lo cierto es que su existencia se remonta a varias décadas atrás, con la publicación local de las mejores instituciones de Estados Unidos por U.S. News & World Report en el año 1983 (Dill, 2006), iniciativa pionera respecto de la forma como se conciben los rankings en la actualidad. Lo cierto es que en los últimos años estas mediciones han proliferado, captando así la atención de los sectores de la sociedad interesados en la educación superior, en la medida en que coexisten clasificaciones de orden mundial y otras enfocadas en lo local.

En su origen, los rankings se diseñaron para medir la efectividad de las universidades (Ramírez-Gutiérrez et ál., 2019; Bustos-González, 2019). Hoy, lejos de su propósito inicial, se han convertido en mecanismos reguladores del mercado de la educación (Pérez-Esparrells y López, 2009; Ramírez-Gutiérrez et ál., 2019) e inductores de la lucha por la excelencia institucional (Hazelkorn, 2009). También se les atribuye la capacidad de medir la calidad (Reyes, 2016; Yoguez-Seoane, 2009; FloresOrozco et ál., 2015; Thompson-Whitside, 2016) y, asimismo, representan una herramienta para aumentar la transparencia del quehacer de la institución (Jongbloed et ál., 2018). Dearden et ál. (2019) señalan que detrás de todo ranking hay un modelo teórico que maximiza la utilidad de las partes interesadas, entes gubernamentales y directivos, pero en especial del estamento estudiantil.

Los indicadores han sido la base para generar estos rankings internacionales. Como indican Kroth y Daniel (2008), a pesar del desacuerdo acerca de su validez, fiabilidad y efectos, las clasificaciones internacionales de las universidades han sido cada vez más utilizadas por los estudiantes y los centros de enseñanza. Un ranking basado en indicadores como el arwu (también conocido como ranking de Shanghai) genera en las instituciones universitarias incentivos para influenciar su clasificación y, con ello, mejorar su visibilidad internacional, pero esto puede resultar incoherente con aspectos misionales de la universidad (Siganos, 2008) e incluso ser perjudicial para la propia clasificación.

El ranking universitario puede también afectar la asignación de recursos (Lang et ál., 2019) con distribuciones desiguales que privilegian a las entidades con mejores clasificaciones, estableciendo, como indican Pusser y Marginson (2013), relaciones de poder para dar legitimidad a las decisiones de distribución de recursos. Esto, incluso, puede generar sesgos geográficos, como lo indican Jöns y Hoyler (2013). El diseño de este tipo de clasificaciones debe lidiar con una gran cantidad de datos difíciles de precisar; además, algunos indicadores pueden ser poco confiables, subjetivos y difíciles de obtener, por lo que los resultados se pueden cuestionar fácilmente. Por tanto, es de suma importancia comprender el funcionamiento de estas mediciones, ya que un ranking preciso coadyuva y da confianza en el proceso de toma de decisiones. En este sentido, las instituciones pueden utilizar estas clasificaciones como una manera de visibilizar y alcanzar prestigio (Zapata, 2006), lo cual puede generar incentivos para que sus creadores elijan ponderaciones de atributos que potencien la buena opinión de una institución particular, en desmedro de los intereses estudiantiles, para maximizar con ello el beneficio de la publicación (Dearden et ál., 2019).

Para estructurar el análisis de desempeño, las universidades se entienden como instituciones comprometidas con su entorno significativo, que proveen a la sociedad de bienes comunes, como son la formación de capital humano y la generación de conocimiento. En la figura 1 se plantean tres dimensiones de desempeño: 1) la docencia, 2) la investigación y 3) el compromiso con la sociedad. Las dos primeras reflejan el quehacer esencial de las universidades, de lo cual interesa particularmente dimensionar la calidad y la eficiencia, y la tercera representa lo significativo que es para la sociedad la generación de esos bienes comunes, el sentido, la trascendencia y el impacto bidireccional de la relación de la universidad con su entorno significativo, concretamente reflejado en la pertinencia del capital humano formado por las universidades, y en una investigación con sentido, es decir, aquella que se hace cargo de las grandes problemáticas de la sociedad o territorio donde se encuentra inserta (García-Alsina y Vargas, 2015; Bernasconi y Rodríguez-Ponce, 2018; Gralka et ál., 2019; Miranda-Zea et ál., 2019; Ramírez-Gutiérrez et ál., 2019). La exigencia metodológica de las dimensiones de desempeño se fundamenta en su capacidad para medir sobre lo actuado o producido, considerando los recursos que se han puesto a disposición. Dicha exigencia resulta clave para distinguir los indicadores de desempeño, además de garantizar que estos sean objetivos y tangibles (representen evidencias).

Medición del desempeño de una universidad.
Figura 1.
Medición del desempeño de una universidad.


Fuente: elaboración propia.

Metodología

Para llevar adelante este estudio se revisaron los indicadores propuestos por nueve rankings universitarios mundiales, utilizando la versión 2017 para el Academic Ranking World Universities (arwu), Performance Ranking of Scientific Papers for World Universities ( ntu Ranking), Scimago Institutions Ranking, University Ranking by Academic Performance (urap), cwts Leiden Ranking y U-Multirank; y la edición 2018 para el Times Higher Education Ranking (the), Quacquarelli Symonds Ranking (qs) y Ranking U.S. News & World Report, referenciados en la tabla 1, que además incluye el país de origen, el realizador y el año de su primera publicación (se contempla solo la versión mundial del listado). Las variables utilizadas representan inputs o insumos con que cuentan las universidades (capacidad académica, capacidad administrativa, recursos materiales, financieros e infraestructura), así como outputs o productos generados (capital humano, conocimiento reflejado en publicaciones de proyectos científicos, patentes y productos que reflejen el compromiso con su entorno significativo).

Tabla 1.
Información de los rankings estudiados.
Información de los rankings estudiados.

* Año de primera publicación en solitario, ya que desde el 2004 el ranking mundial se publica en conjuntocon la revista Times Higher Education.

** Año de primera publicación en solitario, ya que desde el 2004 el ranking mundial se publica en conjuntoa Quacquarelli Symonds.



Fuente: elaboración propia, con información extraída en 2020 desde los rankings estudiados.

Resultados

A continuación, se presentan los resultados respecto a los dos aspectos que debe contener la dimensión del desempeño de las universidades. La tabla 2 describe la manera como se refleja la condición multidimensional del desempeño en los rankings e indicadores en estudio.

Tabla 2.
Dimensiones abordadas por los rankings y peso relativo.
Dimensiones abordadas por los rankings y peso relativo.


Fuente: elaboración propia, con información extraída en 2020 desde los rankings estudiados.

De los 119 indicadores contabilizados entre los nueve rankings, el 62,2 % corresponde a la dimensión de investigación, un 23,5 % refleja el compromiso con la sociedad, mientras que la docencia es la menos representativa, con tan solo 14,3 %. Al determinar el peso relativo asignado se incrementa la importancia de la investigación, que en promedio llega a 72,9 %, en detrimento del compromiso con la sociedad, que disminuye 10 puntos. Se destaca que la mayoría de los rankings (5 de 9) no consideran la docencia como una dimensión que se deba destacar en las actividades que desarrollan las universidades. El U-Multirank es el que presenta un mejor desempeño en el ámbito de la multidimensionalidad, ya que todas las dimensiones son representadas sobre un 20 %, resaltando el compromiso con la sociedad con un 51,4 %, además de ser el que utiliza más indicadores (35), representando el 29,4 % del total. Todos los rankings consideran la dimensión de investigación, mientras que la dimensión de docencia es la menos reflejada, lo cual resulta paradójico, dado que esta es muy relevante en el desempeño de las universidades. Del mismo modo, los datos que reflejan el valor relativo de las dimensiones confirman la poca importancia que tiene la docencia. Por ejemplo, THE tiene la mayor cantidad de indicadores de docencia, pero su peso relativo es inferior; esto se constata si se observa el promedio del peso relativo, pues la investigación aumenta diez puntos en importancia relativa, mientras el compromiso con la sociedad disminuye diez puntos. ntu y Leiden no abordan la multidimensionalidad de las universidades, ya que sus indicadores pertenecen exclusivamente a una dimensión: la investigación.

La tabla 3 refleja los distintos tipos de indicadores utilizados y clasificados con enfoque en el input, los cuales representan, entre otros, la calidad de los estudiantes, la cantidad y calidad de recursos humanos, académicos, financieros y materiales, y la infraestructura de las universidades. Los otros indicadores clasificados se enfocan en los outputs, entre los cuales se cuentan el impacto de la producción científica, la vinculación, la formación de capital humano, la transferencia de conocimiento, la colaboración y el fin del proceso académico. Este último es el que efectivamente mide el desempeño en algún ámbito de la actividad universitaria en términos de la relación output-input.

Los datos de la tabla 3 representan con claridad el bajo nivel de los indicadores de desempeño: solo 12 de 119 responden a las condiciones para ser contemplados como indicadores de desempeño, es decir, solo un 10,1 %. Sin embargo, la importancia relativa que se les otorga a esos indicadores, según el valor porcentual equivale solo al 7,1 %. Se puede concluir que el desempeño de las universidades es dimensionado parcialmente, si se considera el logro por la vía de indicadores de output, con un 77,3 % respecto a la cantidad y un 82,9 % respecto al peso relativo asignado. En cinco rankings no se considera ningún indicador de desempeño, mientras que el 83,3 % de los indicadores lo aportan dos de ellos: U-Multirank (6) y the (4). Al revisar el peso relativo de los indicadores para cada uno de los rankings, se aprecia una disminución de su relevancia en casi todas las mediciones que tienen indicadores de desempeño. El Quacquarelli Symonds Ranking es el que tiene una mayor ponderación al desempeño, llegando al 20 %.

Tabla 3.
Tipos de indicadores de los rankings.
Tipos de indicadores de los rankings.


Fuente: elaboración propia, con información extraída en 2020 desde los rankings estudiados.

La tabla 4 presenta datos con relación a la asociación entre las variables de análisis. En estos, expresados como distribución porcentual sobre el total de indicadores, se visualiza un grado de asociación entre las dos variables (dimensión y tipo), en especial en lo que corresponde a los indicadores tipo output y la dimensión de investigación. Al aplicar la prueba Chi-2 se obtiene un valor de 23,33 (con 4 grados de libertad), con un p-valor < 0,0001. De esta manera, un nivel de significancia inferior al 1 % rechaza la hipótesis nula de independencia y aporta evidencia en favor de la hipótesis alternativa, que indicaría que las variables tienen algún grado de asociación o relación.

Es decir, la distribución del tipo de indicadores no es independiente de la dimensión de desempeño que se analiza. En la tabla hay un dato que se destaca; esto tiene que ver con el hecho de que más de la mitad de los indicadores (53 %) correspºnde a tipo output de investigación.

Tabla 4.
Porcentaje de la intersección de variables con respecto al total de datos (asociación de variables).
Porcentaje de la intersección de variables con respecto al total de datos (asociación de variables).


Fuente: elaboración propia, con información extraída en 2020 desde los rankings estudiados.

Para una mejor comprensión de lo anterior, se observa en la tabla 5 la distribución de los tipos de indicadores en cada una de las dimensiones. El énfasis que existe en el tipo de indicadores en cada dimensión se puede apreciar ahora con mejor claridad, y se hace evidente que en la investigación los indicadores del tipo output representan el 85,1 %, mientras que en el compromiso con la sociedad son el 75 %.

Tabla 5.
Distribución tipo de indicadores por dimensión del desempeño (asociación de tipos de variables).
Distribución tipo de indicadores por dimensión del desempeño (asociación de tipos de variables).


Fuente: elaboración propia, con información extraída en 2020 desde los rankings estudiados.

Estos datos confirman que las actuales clasificaciones dan más cuenta de los logros o productos de las instituciones de educación superior que de una medición real sobre la efectividad. Así, desde esta perspectiva parece razonable proponer la construcción, la incorporación o el incremento de la ponderación de indicadores que midan de manera más efectiva el desempeño de las universidades.

Conclusiones

El desempeño de las instituciones de educación superior se debe considerar principalmente por los aspectos misionales y por las expectativas de las partes involucradas, de modo que su medición relacione el producto logrado (lo actuado) con los insumos puestos a disposición para tal fin, por medio de indicadores que midan la eficiencia. Dichos indicadores no son neutrales, ni en su definición ni en su interpretación, pues requieren de una cantidad considerable de datos difíciles de obtener y el entorno en el que se desempeñan las instituciones puede ser muy variado.

En este contexto surgen los rankings universitarios, que se basan en los datos disponibles que entregan dichos indicadores. La información suministrada en estas bases de datos determina cómo los diversos actores vinculados a la educación superior establecen instrumentos para la toma de decisiones, en especial para guiar a los futuros alumnos y sus familias en la elección de una institución.

Originalmente, los rankings fueron creados para medir la efectividad de las universidades, pero su divulgación ha ocasionado diversos impactos, llegando incluso en algunos casos a convertirse en mecanismos reguladores del mercado de la educación. Algunos les adjudican atributos más positivos como la medición de la calidad y el aumento de la transparencia. También se usan como un antecedente para la asignación de recursos, lo que genera distorsiones, en especial si los tomadores de decisiones les otorgan atributos que no poseen, como el hecho de ser mecanismos para medir el desempeño de las universidades.

Los datos de los nueve rankings analizados en este trabajo aportan evidencia suficiente para considerar que la mayoría no miden completamente el desempeño, ya que no recogen las dimensiones del mismo, en especial sus aspectos misionales, sino que se enfocan sobre todo en el producto logrado, es decir, en la efectividad y no en la eficiencia. Además, existe una asociación entre las dimensiones y los tipos de indicadores, principalmente entre outputs y la dimensión de investigación.

Esta investigación abre la posibilidad de diversas vertientes, entre ellas la determinación de los indicadores de desempeño que mejor representen las dimensiones misionales de las universidades, la importancia del contexto en que se desarrollan y la forma como este afecta el desempeño de las mismas, además de las posibles distorsiones que generan los rankingsen las decisiones estratégicas de los cuerpos colegiados de las universidades.

Sobre los autores

Juan Abello-Romero. Doctor en Ciencias de Administración por la Universidad de Santiago de Chile, Chile. Académico en la Universidad de Los Lagos. Actualmente, es investigador del Instituto Interuniversitario de Investigación Educativa (Iesed-Chile) para el Programa de Investigación sobre Gobernanza e Inclusión Organizacional. Sus líneas de investigación son: gobernanza universitaria, gobiernos corporativos universitarios y divulgación de la información de los gobiernos corporativos universitarios. Sus más recientes artículos publicados son: “Determinantes de la divulgación de información en las universidades latinoamericanas para un buen gobierno corporativo” (2019); “Diversidad del derecho a la información y su efecto en la divulgación de información de las universidades de América Latina” (2019) y “Factores que influyen en la percepción de asimetría de información en los gobiernos corporativos universitarios” (2020).

Walter Sáez San Martín. Candidato a doctor en Política y Gestión de la Educación Superior por la Universidad Nacional de Tres de Febrero, Argentina. Licenciado en Administración Pública de la Universidad de Valparaíso, Chile. Investigador en el Centro Docente y de Vinculación (Santiago) de la Universidad Arturo Prat, Chile. Las líneas de investigación de su interés son: rankings universitarios y sistemas de aseguramiento de la calidad en educación superior. Cuenta con distintas publicaciones científicas relativas a la temática de la evaluación: “Rankings académicos internacionales: el caso de Chile” (2020) y “Rankings de universidades como herramientas de evaluación institucional: un análisis a las metodologías utilizadas por tres instrumentos internacionales” (2019).

Claudio Mancilla. Doctor en Economía Aplicada por la Universidad Autónoma de Barcelona, España. Académico en el Departamento de Ciencias Administrativas y Económicas, Universidad de Los Lagos, Chile. Sus trabajos de investigación están relacionados con gobernanza universitaria, desarrollo regional y emprendimiento. Sus más recientes artículos publicados en coautoría son: “Reconversión laboral del sector agropecuario hacia el turismo. Desafíos para la Patagonia chilena” (2019); “Factores que influyen en la percepción de asimetría de información en los gobiernos corporativos universitarios” (2020); y próximamente, “Una propuesta metodológica para análisis intertemporal de la conmutación laboral: el caso de la Patagonia chilena” (2021).

Referencias

Alarcón, M., Casablancas, C. y Llonch, J. (2016). Responsive and proactive stakeholder orientation in public universities: Antecedents and consequences. Higher Education, 72, 131-151. https://doi.org/10.1007/s10734-015-9942-2

Academic Ranking World Universities [ARWU]. (2020). About us. http://www.shanghairanking.com/aboutus.html [26/04/20]

Aziz, N., Jawor, R. y Mahadi, R. (2013). Comparative departamental efficiency analysis within a university: A DEA approach. Procedia Social and Behavioral Sciences, 90, 540-548. https://doi.org/10.1016/j.sbspro.2013.07.124

Ball, R. y Halwachi, J. (1987). Performance indicators in higher education. Higher Education, 16, 393-405. https://doi.org/10.1007/BF00129112

Bengoetxea, E. y Buela-Casal, G. (2013). The new multidimensional and user-driven higher education ranking concept of the European Union. International Journal of Clinical and Health Psychology, 13(1), 67-73. https://doi.org/10.1016/S1697-2600(13)70009-7

Bernasconi, A. y Rodríguez-Ponce, E. (2018). Análisis exploratorio de las percepciones sobre los estilos de liderazgo, el clima académico y la calidad de la formación de pregrado. Formación Universitaria, 11(3), 29-40. https://doi.org/10.4067/S0718-50062018000300029

Bustos-González, A. (2019). Tránsito de universidad docente a universidad de investigación. ¿Un problema de información académica, de taxonomías o de rankings universitarios? Profiesional de la Infiormación, 28(4), 1-14. https://doi.org/10.3145/epi.2019.jul.22

Caballero, G., García, J. y Quintás, M. (2007). La importancia de los síakeholders de la organización: un análisis empírico aplicado a la empleabilidad del alumnado de la universidad española. Investigaciones Europeas de Dirección y Economía de la Empresa, 13(2), 13-32.

Council For Higher Education Accreditation [CHEA]. (2001). Glossary of Key Terms in Quality Assurance and Accreditation. https://www.qualityresearchinternational.com/glossary/performanceindicators.htm

CWTS Leiden. (2020). Information. https://www.leidenranking.com/information [26/04/20]

Dearden, J., Grewal, R. y Lilien, G. (2019). Strategic manipulation of university rankings, the prestige effect, and student university choice. Journal of Marketing Research, 56(4), 691-707. https://doi.org/10.1177/0022243719831258

Dill, D. (2006). Convergence and diversity: The role and influence of university rankings. [Keynote Address presented at the Consortium of Higher Education Researchers (CHER) 19th Annual Research Conference, University of Kassel, Germany].

Erdogmus, N. y Esen, M. (2016). Classifyng Universities in Turkey by Hierarchical Cluster Analysis. Education and Science, 41, 363-384. https://doi.org/10.15390/EB.2016.6232

Flores-Orozco, J., Villaseñor-Becerra, J. y Moreno-Arellano, C. (2015). Perspectivas actuales sobre los rankings mundiales de universidades. Revista de la Educación Superior, XLIV(175), 41-67. https://doi.org/10.1016/j.resu.2015.09.001

Freeman, E. (1984). Strategic management: A stakeholder approach. Pitman.

Frost, J. y Hattke, F. (2018). Governing Collective Action – The Impetus for University Commons. European Review, 26, 70-84. https://doi.org/10.1017/S1062798717000552

García-Alsina, M. y Vargas, M. (2015). Prácticas de gestión del conocimiento en los grupos de investigación; estudio de un caso. Revista Interamericana de Bibliotecología, 38(1), 13-25.

García-Aracil, A. y Palomares-Montero, D. (2012). Indicadores para la evaluación de las instituciones universitarias: validación a través del método Delphi. Revista Española de Documentación Científica, 35(1), 119-144. https://doi.org/10.3989/redc.2012.1.863

Gibbs, P. (2019). The three goods of higher education; as education, in its educative, and in its institutional practices. Oxfiord Review ofi Educaíion, 45(3), 405-416. https://doi.org/10.1080/03054985.2018.1552127

Gralka, S., Wohlrabe, K. y Bornmann, L. (2019). How to measure research efficiency in higher education? Research grants vs. publication output. Journal of Higher Education Policy and Management, 41(3), 322-341. https://doi.org/10.1080/1360080X.2019.1588492

Gregorutti, G. (2014). Buscando modelos alternativos para la gestión universitaria latinoamericana. Bordon, 66(1), 123-136.

Hazelkorn, E. (2009). Rankings and the battle for world-class excellence: Institutional strategies and policy choices. Higher Education Management and Policy, 21(1), 1-24. https://doi.org/10.1787/hemp-v21-art4-en

Hazelkorn, E. y Gibson, A. (2019). Public goods and public policy: What is public good, and who and what decides? Higher Education, 78(2), 257-271. https://doi.org/10.1007/s10734-018-0341-3

Hüfner, K. (1991). Accountability. En P. Altbach (Ed.), International Higher Education: An encyclopedia (Vol. 1, pp. 47-58). Garland Publishing.

Jongbloed, B., Vossensteyn, H., Van Vught, F. y Westerheijden, D. (2018). Transparency in higher education: the emergence of a new perspective on higher education governance. En A. Curaj, L. Deca y R. Pricopie (Eds.), European Higher Education Area: The impact ofi Past and Futures Policies (pp. 441-454). Springer.

Jöns, H. y Hoyler, M. (2013). Global geographies of higher education: The perspective of world university rankings. Geoforum, 46, 45-59. https://doi.org/10.1016/j.geoforum.2012.12.014

Kroth, A. y Daniel, H.-D. (2008). International university rankings: A critical review of the methodology. Zeitschrift für Erziehungswissenschaft, 11, 542-558.

Lang, L., Wang, Y., Chen, Q. y Zheng, T. (2019). University ranking based on faculty hiring network with minimum weighted violation rankings. Internaíional Journal ofi Modern Physics C, 30(7), 1-12. https://doi.org/10.1142/S0129183119400175

Licandro, O. D. y Yepes-Chisco, S. L. (2018). La educación superior conceptualizada como bien común: el desafío propuesto por Unesco. Revista Digital de Investigación en Docencia Universitaria, 12(1), 6-33. http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S2223-25162018000100003

Miranda-Zea, A., García, O. y Pérez-Mora, R. (2019). La universidad pública en la transferencia tecnológica: ¿losa de 20 toneladas? Revista Losófiona de Educaçao, 43, 27-39. https://doi.org/10.24140/issn.1645-7250.rle43.02

National Taiwan University [NTU]. (2020). Performance Ranking of Scientific Papers for World Universities Introduction. http://nturanking.lis.ntu.edu.tw/about/introduction [26/04/20]

Nazari-Shirkouhi, S., Mousakhan, S., Tavakoli, M., Dalvand, M., Saparauskas, J. y Antuchevicience, J. (2020). Importance-performance analysis based balanced scorecard for performance evaluation in higher education institutions: an integrated fuzzy approach. Journal of Business Economics and Management, 21(3), 647-678. https://doi.org/10.3846/jbem.2020.11940

Oancea, A. (2019). Research governance and the future(s) of research asessment. Palgrave Communications, 5(27), 1-12. https://doi.org/10.1057/s41599-018-0213-6

Ostrom, E. (1990). Governing the Commons. The Evolution of Institutions for Collective Action. Cambridge University Press.

Pérez-Esparrells, C. y López, A. (2009). Los rankings de las instituciones de educación superior: una revisión del panorama internacional. Calidad de la Educación, (30), 327-343. https://doi.org/10.31619/caledu.n30.184

Pusser, B. y Marginson, S. (2013). University Rankings in Critical Perspective. The Journal ofi Higher Education, 84(4), 544-568. https://doi.org/10.1080/00221546.2013.11777301

Quacquarelli Symonds [QS]. (2020). About QS. https://www.topuniversities.com/about-qs [26/04/20]

Ramírez-Gutiérrez, Z., Barrachina-Palanca, M. y Ripoll-Feliu, V. M. (2019). Divulgación de rankings universitarios y eficiencia en educación superior. Análisis bibliométrico y sistémico. Revista de Educación, (384), 255-297. https://doi.org/10.4438/1988-592XRE-2019-384-412

Reyes, C. (2016). Medición de la calidad universitaria en Chile: La influencia de los rankings. Calidad en la Educación, (44), 158-196. https://doi.org/10.4067/S0718-45652016000100007

Rodríguez, J. (2017). La praxis de la excelencia universitaria entre la paranoia de sus promotores y la culpa de sus víctimas: hacia la recuperación del deseo docente y la universidad pública. Teknokultura, 14(1), 85-103. https://doi.org/10.5209/TEKN.55047

Roessler, I. y Catacutan, K. (2020). Diversification around Europe – performance measuring with regard to different missions. Tertiary Education and Management, 26, 265-279. https://doi.org/10.1007/s11233-020-09057-x

Sarrico, C., Rosa, M., Teixeira, P. y Cardoso, M. (2010). Assessing Quality and Evaluating Performance in Higher Education: Worlds Apart or Complementary Views? Minerva, 48, 35-54. https://doi.org/10.1007/s11024-010-9142-2

Scimago. (2020). About Us. https://www.scimagolab.com [26/04/20]

Shin, J. (2008). Classifying Higher Education Institutions in Korea: a performance-based approach. Higher Education, 57, 247-266. https://doi.org/10.1007/s10734-008-9150-4

Shin, J. (2010). Impacts of performance-based accountability on institutional performance in the U. S. Higher Education, 60(1), 47-68. https://doi.org/10.1007/s10734-009-9285-y

Siganos, A. (2008). Rankings, Governance, and Attractiveness of Higher Education: the new french context. Higher Education in Europe, 33(2-3), 311-316.

Stake, R., Arbesú, M. y Contreras, G. (2017). Evaluando la calidad de la universidad – Particularmente su enseñanza. REDU Revista de Docencia Universitaria, 15(2), 125-141. https:// doi.org/10.4995/redu.2017.6371

Svensson, C. y Hvolby, H. (2012). Establishing a Business Process Reference Model for Universities. Procedia Technology, 5, 635-642. https://doi.org/10.1016/j.protcy.2012.09.070

Thakur, M. (2007). Data Collection and Analysis 2nd Edition. Sociological Research Online, 12(3), 99-99.

Times Higher Education [THE]. (2020). About us. https://www.timeshighereducation.com/about-us [26/04/20]

Thompson-Whitside, S. (2016). Zen and the Art of University Rankings in Art and Design. She Ji. The Journal of Design, Economics, and Innovation, 2(3), 243-255. https://doi.org/10.1016/j.sheji.2017.01.001

U-Multirank. (2020). U-Multirank The Consortium. https://www.umultirank.org/about/umultirank/the-consortium/ [26/04/20]

University Ranking by Academic Performance [URAP]. (2020). World Ranking. https://www.urapcenter.org/Rankings/2019-2020/world-2019 [26/04/20]

Urdari, C., Farcas, T. y Tiron-Tuder, A. (2017). Assessing the legitimacy of HEI’s contributions to society: The perspective of international rankings. Sustainability Accounting, Management and Policy Journal, 8(2), 191-215. https://doi.org/10.1108/SAMPJ-12-2015-0108

U.S. News. (2020). Best Global Universities Rankings. https://www.usnews.com/education/best-global-universities/rankings?int=a27a09 [26/04/20]

Usher, A. y Savino, M. (2007). A Global Survey of University Ranking and League Tables. Higher Education in Europe, 32(1), 5-15. https://doi.org/10.1080/03797720701618831

Vlasceanu, L., Grünberg, L. y Parlea, D. (2004). Quality assurance and acreditation: a glossary of basic terms and definitions [Papers on Higher Education]. Ed.-Unesco_Cepes.

Yoguez-Seoane, A. (2009). ¿Cómo se evalúan las universidades de clase mundial? Revista de la Educación Superior, XXXVIII(150), 113-120.

Zamagni, S. (2014). Bienes comunes y economía civil. Revisía Culíura Económica, XXXII(87), 8-25.

Zapata, G. (2006). Información en Educación Superior. Calidad en la Educación, (24), 199-213. https://doi.org/10.31619/caledu.n24.275

Notas

* Artículo de investigación sobre el efectivo aporte de los rankings mundiales en la evaluación del desempeño de las universidades, demostrando que estas clasificaciones no miden la eficiencia en el logro de los objetivos misionales ni ponderan adecuadamente dimensiones del desempeño.
Este trabajo está enmarcado dentro del proyecto de investigación “Formas de gobierno y modelos de valoración del desempeño universitario en Iberoamérica: un estudio bajo un enfoque organizacional multiteórico”, financiado por Conicyt (Proyecto Fondecyt 1161353).

Notas de autor

** Doctor en Ciencias de la Administración por la Universidad de Santiago de Chile, Chile. Académico en la Universidad de Los Lagos. Investigador del Instituto Interuniversitario de Investigación Educativa (Iesed-Chile)

*** Candidato a doctor en Política y Gestión de la Educación Superior por la Universidad Nacional de Tres de Febrero, Argentina. Investigador en el Centro Docente y de Vinculación de la Universidad Arturo Prat, Santiago de Chile

**** Doctor en Economía Aplicada por la Universidad Autónoma de Barcelona, España. Académico en la Universidad de Los Lagos, Departamento de Ciencias Administrativas y Económicas

Información adicional

Citar como: Abello-Romero, J., Sáez, W. y Mancilla, C. (2021). Evaluación del desempeño de las universidades: el aporte de los rankings mundiales. Hallazgos, 18(35), 55-75. https://doi.org/10.15332/2422409X.5792

Secciones
Cómo citar
APA
ISO 690-2
Harvard
Hallazgos
ISSN: 1794-3841
Vol. 18
Num. 35
Año. 2021

Evaluación del desempeño de las universidades: el aporte de los rankings mundiales*

JUAN BAUTISTAWALTER SÁEZCLAUDIO ABELLO-ROMEROSAN MARTÍNMANCILLA
Universidad de Los LagosUniversidad Arturo PratUniversidad de Los Lagos,ChileChileChile
Contexto
Descargar
Todas