Oriënteringsproef: wachten op Godot

Theo Hullebroeck schreef op 28-08-2012, 10:32

Oriëntatieproeven bij de start van hoger onderwijs?

Het is een traditie dat bij de start van het academiejaar goede voornemens worden uitgesproken. Doorgaans wordt daarbij gewezen op het groot aantal mislukkingen in het eerste jaar, worden voorstellen gedaan om daaraan te verhelpen en wordt het invoeren van oriëntatieproeven overwogen. Een goede oriëntatie zou immers zowel voor studenten als voor de samenleving alleen maar voordelen hebben.

Dergelijke (verplichte) proeven werden gedurende twintig jaar (1965-1985) georganiseerd aan de Sociale Hogeschool, opleiding maatschappelijk assistent (KVMW) te Gent, nu Arteveldehogeschool. Het was de bedoeling het niveau van de leergroep te verhogen en het aantal mislukkingen te verminderen. In wat volgt ga ik in op de kenmerken van de kandidaten, de modaliteiten van het advies en de effecten ervan. We beperken ons daarbij tot de laatste acht jaren van deze testen. De wijze waarop de data georganiseerd waren liet alleen rechte tellingen en bivariate analyses toe.

Deze testen waren toentertijd voorwerp van discussie in de staf. De meningsverschillen waren: al dan niet (principieel) tegen oriënteren, studiegericht versus beroepsgericht oriënteren, en de concrete operationalisering en de procedure (welke testen, wat en hoe meten).

In die acht jaar kregen bijna 2000 kandidaten een advies. Iets meer dan 75 % van deze kandidaten had ASO gevolgd (11 % menswetenschappen). Het advies nam de vorm aan van een gepersonaliseerde brief. De eindformulering was echter gestandaardiseerd, er waren daarbij drie mogelijkheden. Ofwel raadde men de studierichting nadrukkelijk af (negatief advies), ofwel raadde men niet af, maar gaf men aan dat de kans reëel was dat zich moeilijkheden zouden voordoen (vraagteken), ofwel gaf men aan dat in normale omstandigheden deze richting tot de mogelijkheden van de kandidaat behoorde mits men de noodzakelijke inspanningen leverde (positief advies). Zoals gebruikelijk werd de studierichting nooit aangeraden. Belangrijk om weten is dat het ‘slechts’ om een advies ging. M.a.w. ook de kandidaten die een negatief advies kregen konden zich toch inschrijven in het eerste jaar.

Deze adviezen kwamen op de volgende wijze tot stand. Van de kandidaten werden vijf psychologische testen afgenomen (intelligentietest, algemene kennistest, twee persoonlijkheidstesten en een concentratietest). Na de testen maakten de kandidaten een motivatieverhandeling. Maturiteit en motivatie beoordelen was ervan de bedoeling. Tevens werd de vooropleiding nagetrokken. Tot slot werd elke kandidaat uitgebreid geïnterviewd en werd een interviewrapport opgemaakt. Hiermee probeerde men zicht te krijgen op de sociale betrokkenheid, de motivatie en de maturiteit én op de verbale en relationele mogelijkheden van de kandidaat. Op basis van al deze gegevens werd door de psycholoog die de testen afnam (doctor) samen met de verschillende interviewers per kandidaat het advies opgesteld.

De verdeling van deze adviezen zag er als volgt uit: 61 % van de kandidaten kreeg een gunstig advies, 27 % een vraagteken en 12 % werd afgeraden. Deze percentages bleven doorheen de verschillende jaren niet constant, zo werden de ‘vraagtekens’ de laatste jaren talrijker, ten nadele van de gunstige adviezen. De samenhang tussen advies en vooropleiding was behoorlijk sterk en nam vooral het karakter aan van een groter aantal negatieve adviezen en vraagstekens bij die kandidaten die niet uit het ASO kwamen (handel en technisch onderwijs, resp. 30 % en 35 %)

Bij het beoordelen van sommige effecten vertrekken we vanuit enkele niet getoetste of niet te toetsen assumpties. De belangrijkste daarbij is wellicht deze dat er geen verschil bestaat tussen studenten die wel of niet inschrijven naargelang het advies dat ze kregen.

Een eerste criterium om het effect van deze adviezen te kunnen evalueren is de mate waarin de kandidaten rekening hielden met het advies, m.a.w. het effect dat het advies had op hun inschrijfgedrag. Van de kandidaten die een gunstig advies kregen schreef 86 % in, van de kandidaten met een vraagteken schreef 65% in en van de kandidaten die werden afgeraden schreef toch nog 29 % in. Het gevolg daarvan was dat de verdeling van de adviezen bij de inschrijvers er als volgt uit zag. Studenten met een positief advies: 69 %, vraagtekens: 25 % en negatief advies: 6 %. Bij de niet inschrijvers was dit respectievelijk 33 %, 37 % en 30 %. Hoewel ook andere zaken konden meespelen, ziet het er toch naar uit dat kandidaten in belangrijke mate met het gekregen advies rekening hielden om uit te maken of ze zouden inschrijven.

Een tweede criterium is de kans op slagen naargelang het advies. Van de ingeschreven studenten met een gunstig advies slaagde 58 %, met een vraagteken 40 %, met een negatief advies 25 %. De ‘geslaagden’ bestonden voor 78 % uit studenten met een gunstig advies, voor 20 % studenten met een vraagteken en voor iets meer dan 2 % uit studenten met een negatief advies. Dit ziet er op het eerste zich nogal indrukwekkend uit, maar evenzeer geldt dat de verdeling van het advies bij de niet-geslaagden er als volgt uit zag: 60% kreeg een gunstig advies, 32 % een vraagteken en 8 % een negatief advies. De voorspellende waarde van deze adviezen (negatieve en gunstige) kan gemakkelijk herleid worden tot één cijfer. Wanneer elke ingeschreven student met een gunstig advies niet geslaagd zou zijn en elke student met een negatief advies wel geslaagd zou zijn dan kregen we de waarde ‘-1’, wanneer het andersom zou zijn kregen we ‘+1’. Voor onze adviezen vonden we een waarde van .34 over de laatste jaren. Toch verschilde de voorspellende waarde van de negatieve adviezen sterk van die van de positieve. Voor de eerste vonden we .55, voor de laatste slechts .16.

Een derde criterium is riskanter en vinden we door te simuleren. We kennen het verband tussen advies en slagen bij ingeschreven studenten. Stel dat de niet-inschrijvers naargelang het advies dat ze gekregen hebben niet zouden verschillen van de inschrijvers, dan kunnen we het virtueel slaagpercentage ramen bij de kandidaten. Dit vanuit de veronderstelling dat geen adviezen meer worden gegeven en de kandidaten dus inschrijvers zijn. Op die manier benaderen we het verschil in slaagpercentage dat teruggaat op de twee condities; het al dan niet geven van adviezen. Deze simulaties geven het volgende resultaat. Vooreerst moeten we weten dat bij het geven van adviezen en het dan toelaten van bv. 200 inschrijvers we 104 geslaagden overhielden. Wanneer geen adviezen zouden gegeven worden en de kandidaten meteen zouden inschrijven dan hielden we 99 geslaagden over. We krijgen ook 104 geslaagden wanneer we zonder advies 210 kandidaten onmiddellijk zouden inschrijven. Stel dat het advies uitsluitend zou bepaald worden door de vooropleiding en aan de categorie met de beste slaagkansen een gunstig advies zouden geven en zo verder, zoals het in werkelijkheid ging. We groeperen daartoe op basis van de slaagkansen per vooropleiding, de vooropleidingen in drie categorieën (ASO zonder menswetenschappen, menswetenschappen, technisch onderwijs). In dat geval zouden we 105 geslaagden krijgen. Een merkwaardige vaststelling, we hadden dan al dat werk (testen, interviews) niet moeten doen, de voorspellende waarde van die eenvoudige procedure is zelfs iets beter. ‘Skimming the cream’ of in dit geval het alleen toelaten van de kandidaten met een positief advies leidt uiteraard tot betere resultaten; bij 200 inschrijvers kunnen 117 geslaagden worden verwacht. Alleen ASO (zonder ‘menswetenschappen) toelaten zou 112 geslaagde studenten opleveren. Het weigeren van negatief geadviseerden zou als resultaat hebben dat we 107 geslaagden overhouden. Dergelijke simulaties zijn uiteraard riskant, niet alleen omwille van de al dan niet bekende assumpties die eraan ten grondslag liggen maar ook -en dit is een algemene kritiek- omdat een algemeen effect niet voor elke kandidaat geldt.

Resultaten Simulatie
Situatie Aantal inschrijvers Aantal geslaagden
Advies zoals het was 200 104
Geen advies geven 200 99
Geen advies geven 210 104
StC°: alleen pos. advies 200 117
StC°: alleen sterke vooropl. 200 112
StC°: geen neg. geadvis. 200 107
° ‘Skimming the Cream’

Tenslotte stelden we in de praktijk vast dat het slaagpercentage bij de eerstejaarsstudenten niet significant veranderde na het afschaffen van de oriëntatietesten.



Op basis van deze beperkte ervaring komen we tot de volgende besluiten.

Kandidaten zijn doorgaans geneigd om dergelijke adviezen ernstig te nemen en houden er sterk rekening mee. De kwaliteit van deze adviezen moet dus groot zijn.

Het is gemakkelijker om te voorspellen dat iemand zal mislukken dan om te voorspellen dat iemand zal slagen. Wanneer men echter niet in staat is om via goede adviezen een behoorlijk deel van de kandidaten af te raden is het globale effect klein.

Het is nuttig om na te trekken of de adviezen die via testen en interviews tot stand komen een hogere voorspellende waarde hebben dan uitsluitend adviseren op vooropleiding.

‘Skimming the cream’ door alleen studenten met welbepaalde vooropleidingen of met een gunstig advies toe te laten, zou hogere slaagkansen opleveren. Toch zou het effect daarvan eerder bescheiden blijven.

De procedure -zoals beschreven- die in die periode bij die opleiding werd toegepast was al bij al niet zo efficiënt. De slaagpercentages stegen erdoor wellicht is slechts geringe mate.



Theo Hullebroeck
Socioloog
Gewezen Lector Arteveldehogeschool.

Data, analyse, resultaten, rapportering en samenvatting: feb. 1984
Beperkte bewerking samenvatting: 27 sept 2010.

Wouter Duyck - voorzitter opleidingscommissie psychologie schreef op 24-08-2012, 12:58

De FPPW werkt aan een dergelijke proef. Vorig jaar reeds eerste heel beperkte pilootversie test. Nu gaat iemand hier fulltime aan werken