U bent hier

Cijfers op hun plaats houden: over het nieuwe Onderwijsresultatenmodel PO

Hoe kan worden bevorderd dat het cijfermateriaal van het nieuwe onderwijsresultatenmodel van de inspectie op zijn plek blijft? Dat wil zeggen: slechts als een hulpmiddel wordt opgevat om de werkelijkheid te begrijpen en dat het niet de werkelijkheid van de school zelf is?

Betekenis van het nieuwe Onderwijsresultatenmodel PO

De inspectie presenteert dit model als een verbeterde manier tot bepaling van het resultaat van de afzonderlijke school in het primair onderwijs. Het gaat dan om haar bijdrage aan de vooruitgang van leerlingen wat betreft rekenen en taal. Wat houdt deze verbetering in?

In het kort gezegd komt het erop neer dat het cijferwerk op een verfijnere manier wordt uitgevoerd:

  • De sociaaleconomische achtergrond wordt genuanceerder gewogen, want er wordt met meer factoren rekening gehouden dan eerder met het gebruik van de ‘gewichtenregeling’ het geval was.
  • De zogenoemde leerresultaten van de school (feitelijk zijn dit de gemiddelde testprestaties van de leerlingen) worden van drie jaar samen bekeken en gemiddeld, dit om het effect van toevallige schommelingen te verkleinen.

Daarnaast wenst de inspectie er met dit model voor te zorgen, dat zij scholen kan blijven vergelijken, wat met ingang van 2018 door de komst van een groepje toegelaten concurrenten van de Cito-Eindtoets niet meer mogelijk is. Voortaan neemt de inspectie als basis de prestaties van de leerlingen met betrekking tot (wettelijke) referentieniveaus van taal en rekenen. Alle eindtoetsen die zijn geaccepteerd, meten deze prestaties omdat daarvoor een overheidsplicht geldt.

Bedoeling van het onderwijsresultatenmodel

Het hierboven genoemde inspectiemodel rust op leerlingenresultaten voor rekenen en taal, die vergeleken worden met de wettelijk vastgestelde referentieniveaus: een zogenoemd ‘fundamenteel niveau’ en een ‘streefniveau’.

Het eerste niveau zou in principe door iedere leerling van de school gehaald moeten worden (alhoewel in een oudere publicatie van de inspectie het percentage van 75% van de leerlingen wordt genoemd). Het tweede niveau, het streefniveau, zou door een bepaald percentage van de leerlingen van de school moeten worden gehaald, rekening houdend met de sociaaleconomische samenstelling van de betreffende leerlingengroep. Het laatstbedoelde percentage wordt door de inspectie ‘signaleringswaarde’ genoemd. Ze is nog bezig om deze waarde te bepalen (voor elke school afzonderlijk).

De bedoeling hiermee is om het resultaat van de school op beide terreinen tot uitdrukking te brengen en daarmee een deel van haar kwaliteit. Reden genoeg om dit model met argusogen te bekijken. Immers, cijfers kunnen worden opgeblazen.  

Cijfers kunnen vertekenen

Sanne Blauw laat in haar recente boek over het ontspoorde gebruik van cijfers zien hoe deze weer op hun plek kunnen worden gezet. Deze gepromoveerde econometrist wil cijfers niet op een voetstuk plaatsen, niet bij het vuilnis zetten, “maar waar ze horen: naast woorden”.

IQ als synoniem van intelligentie zien of zelfs opvatten als aangeboren intelligentie, zijn voorbeelden van zo’n ontsporing, aldus Blauw. In werkelijkheid is het IQ (intelligentiequotiënt) een verhoudingsgetal waarmee slechts iemands abstracte intellectuele kwaliteit wordt uitgedrukt. Het cijfer zegt niets over de mate van zijn intelligentie, omdat er meer intellectuele kwaliteiten zijn, denk bijvoorbeeld aan praktische vaardigheden. Er is een tweede nuancering. Het is een cijfer dat vaak voor definitief wordt gehouden, terwijl het IQ in de loop van de tijd aanzienlijk kan fluctueren omdat de omstandigheden van betrokkene kunnen veranderen, met name zijn materiële situatie.

De verschillende intellectuele kwaliteiten kunnen trouwens niet bij elkaar worden opgeteld. Intelligentie is met andere woorden niet in één cijfer te vangen. Dat er desondanks toch slechts met één cijfer wordt gewerkt, komt omdat  ‘intelligentie’, als een ingewikkeld begrip, op die wijze overzichtelijk kan worden gemaakt. Als er met meer cijfers zou worden gewerkt, leidt dat tot mitsen en maren en tot discussie. Dat zou communicatie compliceren, aldus de veronderstelling van Blauw.           

Onderwijs is een ingewikkeld begrip  

Is het cijfer van de leerlingen ook het gemiddelde cijfer van hun school? En wat omvat de school eigenlijk? Zijn dat vooral de leraren of zijn dat ook de praktische omstandigheden waaronder zij werken: de eigen cultuur van de school, haar structuur en de materiële voorzieningen? Beantwoording van dit soort vragen is nodig voordat op zinnige wijze kan worden besloten tot een onderlinge vergelijking van scholen.

Wat betreft het verstandelijk functioneren van de leerling is men in de wetenschap het erover eens, dat dit veroorzaakt wordt door een samenspel van biologische, psychologische en omgevingsfactoren. Van de school wordt verwacht hierop in te spelen. De school betreedt hiermee een complex veld waarop ze haar rol moet zien te vervullen. 

Er is ook wel consensus over de aard van het functioneren van de school. Het is een wisselwerking tussen leraren en de praktische situatie waarin zij verkeren, die, zoals gezegd, wordt uitgemaakt door de bovengenoemde drie omstandigheden. De grootte van hun handelingsvermogen is afhankelijk van de kwaliteit van deze werkomgeving en de wisselwerking daarmee.

Het cijfer van de school

Hierboven is geprobeerd duidelijk te maken dat het onderwijs een ingewikkeld werkveld is. Hoe krijgt de buitenwacht, gevormd door belangengroepen en de overheid, daar zicht op? De tijd dat het in goed vertrouwen werd overgelaten aan de deskundigen, de leraren en hun superieuren, ligt ver achter ons. De school is als een maatschappelijke voorziening gaan gelden, waar in de loop der tijd steeds meer gewicht aan is toegekend. Onderwijs in verval zou daarom een bedreiging voor de continuïteit van de maatschappij zijn, zo is de algemene opvatting.

Het is daarom begrijpelijk dat de omgeving van de school zich een beeld wil vormen van haar kwaliteit. En een becijfering daarvan is even begrijpelijk, zie wat hierboven is gezegd over de poging om één cijfer te geven aan zoiets complex als iemands intelligentie. Ook daar hangt veel van af en een cijfer biedt houvast. Maar hoe groot de bijdrage van de school aan de vooruitgang van de leerlingen is, is niet eenvoudig te becijferen.           

Cijfers van leerlingen onderzoeken

In een notitie van zo’n zes jaar geleden, afkomstig van Cito, staat het volgende: “Is de gemiddelde schoolscore op de Cito-Eindtoets geschikt als maat voor de kwaliteit van het onderwijs? Het antwoord hierop volgens Cito is overduidelijk ‘nee’.”

Precies hiervoor waarschuwt Blauw. Cijfers kunnen worden opgeblazen “tot iets wat ze niet zijn.” Deze eindtoets is alleen maar bedoeld om leerlingen te toetsen op onderdelen van hun verworven kennis, inzicht en vaardigheden. Wat zijn cijfers dan wel?

Blauw schijft dat “cijfers kunnen helpen om patronen te ontdekken die anders verborgen waren gebleven.” Ze helpen leraren, schoolleiders en inspecteurs, drie beroepsgroepen die zich met behulp van maatstaven die zijn afgesproken, bezighouden met de vooruitgang van de leerlingen.

Met maatstaven, bijvoorbeeld de Eindtoets, wordt geprobeerd iets abstracts te meten, namelijk ‘onderwijsniveau’. Blauw noemt dit begrip een bedenksel, zoals ook ‘welvaart’ en ‘mensenrechten’ dat zijn. Het zijn drie noties die dankzij afspraken over normen (‘maatstaven’) een gedeelde waardering hebben gekregen. “[Hierdoor gaan] neuzen dezelfde kant op staan”, schrijft ze.

Zo is het mogelijk geworden uitspraken te doen over het peil van het onderwijs, dat wil zeggen: het niveau van leerlingen. Dankzij metingen kunnen patronen in de vaardigheidsniveaus van de leerlingen aan het licht worden gebracht. Denk aan de gestage achteruitgang van hun rekenvaardigheden bijvoorbeeld, waarover de inspectie al een aantal jaren rapporteert.           

Blauw waarschuwt echter tegen een objectivering van maatstaven en metingen. Zij schrijft: “Wat er dan gebeurt heet (…) verdinging. We bedenken iets, vergeten vervolgens dat we het hebben bedacht en geloven dat het echt bestaat.” Anders gezegd: leerprestaties van leerlingen meten is echt iets anders dan het meten van hun lichaamsgewicht. Gewicht bestaat, een testuitslag geeft slechts een beeld, een benadering van een bepaald deel van iemands kunnen, iets dat geteld kan worden en daarmee gemeten, spellingsvaardigheid bijvoorbeeld. De leraar weet dan iets. Maar Blauw schrijft: “Als je cijfers serieus wilt nemen, moet je erkennen dat er een hoop is wat ze níét zeggen.”   

Vergelijking tussen scholen

Wat zegt een gemiddelde schoolscore op de Cito-Eindtoets? Niets over de kwaliteit van de betreffende school. Hierboven wees Cito zelf daarop. Maar in de praktijk wordt dit cijfer toch gebruikt als een uitdrukking van kwaliteit. Media en ouders verstaan het zo. Begrijpelijkerwijs wordt er mede daarom moeite gedaan om een faire vergelijking tussen scholen te maken.

Dat ook dit niet eenvoudig is, leert een recent onderzoek van het Centraal Planbureau. De verschillen tussen basisscholen wat de Cito-Eindscore betreft, hebben te maken met de kwaliteit van de school (die samenhangt met het werk van ervaren leraren, zegt het rapport), maar er zijn ook andere belangrijke verklaringen. De milieu-achtergrond van de individuele leerlingen kan danig verschillen. Dit is een relevant gegeven want er is een verband aangetoond met hun prestaties. Een andere verklaring is de toevallige schommeling van de scores, vaak een gevolg van de kleine omvang van de groep geteste leerlingen. Men zou de scores van achtstegroepers van een aantal jaren moeten nemen, dit om de kans op toeval (de kans op uitschieters naar boven of beneden) te verminderen. Ten slotte, aldus het rapport, biedt de samenstelling van de leerlingengroep als geheel een verklaringsgrond. Slimme leerlingen presteren beter omdat ze bij elkaar in de groep zitten en een minder slimme leerling kan zich aan hen optrekken.     

Op grond van het voorgaande mag wel worden gezegd, dat een gemiddelde schoolscore (van welke leerlingentest dan ook) een ongemakkelijke vergelijkingsbasis biedt. Het is een cijfer dat pas na zorgvuldige bewerking (dit is met name een nauwkeurige correctie voor verschillen in capaciteiten tussen leerlingen) betekenis zou kunnen hebben, naast de woorden van de school zelf. Die woorden zijn nodig, want na genoemde correctie blijven er nog aanzienlijke verschillen tussen scholen over, aldus het rapport.            

Cijfers als productiecijfer

In het rapport van het Centraal Planbureau wordt de gemiddelde schoolscore ‘leerresultaat’ of ‘schooleffect’ genoemd. Het zijn twee woorden die misschien te krachtig uitdrukken wat een school vermag. Zoals gezegd, de school moet inspelen op biologische, psychologische en omgevingsfactoren, die in een samenspel het verstandelijk functioneren van de leerling uitmaken. Dat de school een potentieel heeft om dit functioneren gunstig te beïnvloeden mag veilig genoeg worden aangenomen, maar het is ingewikkeld uit te maken hoe ver haar invloed reikt. Pogingen worden gedaan om de zogenoemde toegevoegde waarde van een school te berekenen. Dit verkeert echter nog in een onderzoeksfase.   

Intussen hebben met name de Angelsaksische overheden een verantwoordingsmodel aan de scholen opgelegd, dat een test-based accountability beoogt . De testdeskundige Daniel Koretz verhaalt over de Amerikaanse situatie.

Koretz doet al ruim dertig jaar onderzoek naar het gebruik van gestandaardiseerde toetsen in het onderwijs en hij is er een voorstander van. De leraar beschikt daarmee over een objectieve, landelijke maat, die gebruikt wordt naast de eigen toetsen om zo tot een evenwichtige beoordeling van leerlingen te komen.

Maar dit samenspel met oordelen wordt ruw verstoord zodra de politiek de uitslagen van gestandaardiseerde toetsen gebruikt om scholen af te rekenen, aldus Koretz, die zijn onderzoek vooral richt op wat er achter de schoolpoort gebeurt.

Deze ingreep van de politiek corrumpeert al heel snel het idee van goed lesgeven. Leraren gaan leerlingen op deze toetsen voorbereiden, wat natuurlijk niet verkeerd is, maar zij doen dat op een doortrapte manier. Lesstofonderwerpen die niet getoetst worden, slaan ze over. Onderdelen van een lesstofonderwerp, die in de toets niet aan bod komen, worden ook genegeerd. En verder leggen leraren uit hoe er wordt getoetst en geven tips. Zij loodsen leerlingen door de toetsen; leerlingen worden afgericht. Cijfers worden productiecijfers. Hoge cijfers worden inflatoir en het onderwijs zelf is zonder waarde. De onderwijswereld weet dit wel maar zwijgt erover. Er is een bedrieglijke cultuur ontstaan. Of zoals Blauw schrijft: “Cijfers hebben de werkelijkheid vervangen.”  

Cijfers op hun plaats

Hoe kan de omgang met cijfers beter? Koretz zegt daar negen principes voor te hebben. 

  1. Schenk aandacht aan andere belangrijke lesstof. Weet dat gestandaardiseerde toetsen betrekking hebben op slechts enkele domeinen. De Cito-Eindtoets is een voorbeeld.
  2. Breng meer dan alleen maar leerlingenprestaties in beeld. Wil een verantwoordingssysteem betrouwbaar zijn, zal het betrekking moeten hebben op alle onderwijsaspecten die van belang worden geacht. Breng ze dus in beeld, probeer dat. Echter, zonder dat er negatieve effecten optreden zoals bij het verkeerde gebruik van gestandaardiseerde toetsen.
  3. Stel redelijke doelen. In het verleden stelde een Amsterdamse wethouder als norm dat de basisscholen 20% van hun leerlingen naar het HAVO verwijzen. Voor scholen met veel kinderen uit sociaal-zwakke milieus is zo’n norm onredelijk. Over de kloof tussen hoge en lage presteerders zegt Koretz, dat de oorzaak daarvan veelal buiten het bereik van de leraren ligt.
  4. Stop ermee de hond alsmaar harder te slaan. Het idee dat straf en beloning tot goede resultaten leiden, is belachelijk. Veel leraren zullen daadwerkelijk steun moeten ervaren, wil het niveau van hun leerlingen behoorlijk stijgen.
  5. Verwacht niet dat de school het allemaal wel zal opknappen. De buurt, de ouders, de sociale omstandigheden: het doet er allemaal toe.
  6. Schenk aandacht aan de omstandigheden waarin een school verkeert, denk aan haar context. Waarom gaat het op de ene school beter dan op de andere? Er zijn veel verschillende oorzaken, die allemaal om een speciale benadering vragen.
  7. Accepteer de behoefte aan de beoordelingen van professionals, onder wie leraren. Hun oordelen worden gewantrouwd, maar zijn onvervangbaar. Alleen toetsgegevens gebruiken, volstaat niet.
  8. Zorg ervoor dat prikkels elkaar in evenwicht houden. Denk na over andersoortige prikkels. Koretz zegt: “Ondanks de druk die leraren ervaren, heeft een groot deel van hen zich verzet tegen slecht lesgeven, ondanks eenzijdige prikkels. Maar het zou dom zijn om daar altijd maar op te blijven rekenen.”
  9. Breng in beeld, evalueer en verbeter. Ga niet af op louter toetsgegevens. Maar, waarschuwt Koretz, een bredere benadering is kostbaar, zowel financieel als politiek. Politici zijn geneigd om bochten af te snijden. Dat leraren niet zoveel aan de kloof tussen hoge en lage presteerders kunnen doen, komt ze slecht uit.

Maar het belangrijkst is nog wel wat Koretz schrijft over het beginpunt voor elke goede verantwoording. Dat punt “moet de beslissing zijn wat wij de school vooral willen laten doen, inclusief wat wij willen zien als we een lokaal binnengaan. We moeten een verantwoordingssysteem ontwerpen, dat die zaken honoreert.”

Nieuwe reactie inzenden

Nico Dullemans

adviseur identiteit
0438 74 41 18