Door middel van kleurige vlaggetjes, logo’s op brochures en opvallende reclames pronken onderwijsinstellingen ieder jaar weer met de Elsevier-titel voor ‘beste brede universiteit’. Vorig jaar was het nog de Radboud Universiteit die studenten overstelpte met haar nieuw verworven titel,
komend jaar is die eer weggelegd voor de Universiteit Leiden. ANS kwam echter na onderzoek tot de conclusie dat de kwalificatie niet zo betrouwbaar is als al deze aandacht doet vermoeden.
Falende methode
Voor het opstellen van de felbegeerde ranglijst is
gekeken naar de vraag ‘Wat vind je van je studie in het algemeen?’ uit de Nationale Studentenenquête. Studenten beantwoordden deze vraag op een schaal van één tot vijf. De scores werden vervolgens per opleiding vergeleken met het gemiddelde oordeel van alle opleidingen binnen dezelfde sector. Zo valt de opleiding Nederlandse Taal en Cultuur in de sector 'Taal en Cultuur'. Per universiteit is het aantal opleidingen geteld dat significant boven of onder het gemiddelde van de sector scoort.
Een optelsom van deze twee cijfers bepaalt op welke plek de universiteit uiteindelijk in de ranking komt te staan. Het aantal ‘slecht’ scorende opleidingen wordt van het aantal ‘goed’ scorende opleidingen afgehaald. Opleidingen die op het gemiddelde zitten blijven buiten beschouwing. Deze score wordt vervolgens gedeeld door het totaal aantal beoordeelde opleidingen van de universiteit.
Plank mis geslagen
Deze methode kent duidelijk nog gebreken. Ten eerste wordt gekeken naar slechts één van de tachtig vragen uit de Nationale Studentenenquête. Met specifieke aspecten van de universiteit wordt bijvoorbeeld geen rekening gehouden. Zo blijven vragen over de inhoud van de opleiding, toetsing, begeleiding en sfeer buiten beschouwing. Ook het aanbieden van faciliteiten op de universiteit zijn niet belangrijk voor het behalen van deze titel. En dat is bijzonder, voor een titel die pretendeert iets te zeggen over een hele universiteit.
Daarnaast is niet bekend wat de reden is voor studenten om aan te geven dat zij bovengemiddeld tevreden zijn met hun ‘studie in het algemeen’. Sommige studenten zullen de faciliteiten mee wegen, anderen zullen enkel kijken naar de inhoud. Daarmee is de vraag te vaag gedefinieerd om er zo’n concrete conclusie uit te trekken. Het oordeel van de ontevreden Masterstudenten doet er volgens de Elsevier ook niet toe: die zijn aan de kant geschoven en er is slechts naar ingevulde enquêtes van Bachelorstudenten gekeken.
Vertekend beeld
Ten tweede laat de gebruikte rekenmethode te wensen over. Een universiteit met veel bovengemiddelde (maar niet excellente) studies kan deze populaire competitie vrij eenvoudig winnen. Heb je als instelling een aantal excellente studies in huis en verder veel ‘gemiddelde’ opleidingen? Grote kans dat de titel aan je neus voorbij gaat. Ook kunnen een aantal slechte studies hun stempel drukken op de uiteindelijke positie van de universiteit in het ranglijstje. Dit is onwenselijk, omdat er tal van redenen kunnen zijn dat deze opleidingen slecht scoren. De universiteit kan ondanks deze ‘rotte appels’ nog steeds erg goed zijn, maar dat zul je niet in de ranking terugzien.
Gerommel in de marge
Ten slotte zijn de verschillen tussen de universiteiten helemaal niet zo groot. Toch krijgt de winnaar alle eer. Leiden komt volgens de Elsevier-methode uit op een tevredenheidsscore van 19,6 procent, Utrecht volgt in het kielzog met 18,8 procent. Vorig jaar waren de verschillen nog kleiner: zowel de Radboud Universiteit als de Universiteit van Leiden behaalden een tevredenheidsscore van 33 procent. De RU mocht uiteindelijk de vlag uithangen omdat ze 0,007 procent beter was.
Dat de winnende tevredenheidsscore vorig jaar zoveel hoger lag, komt doordat er dit jaar een nieuwe methode is gehanteerd. In 2012 werd enkel gekeken naar het aantal goed scorende opleidingen. Dit aantal werd door het totaal aantal beoordeelde opleidingen gedeeld. Wanneer dit jaar dezelfde werkwijze zou zijn gehanteerd, was niet de Universiteit Leiden de beste brede universiteit geworden, maar de Universiteit van Utrecht. Door het hanteren van andere methodes, wordt vergelijken een stuk lastiger. Desondanks worden de onlangs bekendgemaakte resultaten alsnog naast die van vorig jaar gelegd.
Onbetrouwbaar
De titel 'beste brede universiteit' wordt binnen gehaald met enkel het oordeel van studenten over de verschillende studies. Wat voor studenten de reden is om aan te geven dat zij bovengemiddeld tevreden zijn met hun 'studie in het algemeen', blijft onduidelijk. De mening van masterstudenten doet er niet toe en een universiteit met veel boven-gemiddelde studies kan bovenaan de ranking komen, zonder excellente studies in huis te hebben. Tot slot zijn de verschillen tussen universiteiten klein.
Kortom: als de Elsevier komend jaar wederom de titel uitreikt, kan ze beter spreken van de ‘beste brede universiteit met goed scorende opleidingen, waarbij slecht scorende opleidingen in mindere mate voorkomen’. Alleen laat zich dat niet vatten in een hippe afbeelding en het is lastiger om mee te pronken. Voor alle partijen zou het beter zijn om de hele ranking onder de loep te nemen en met een opzet van hoger niveau te komen.
