Afternoon 1

Nou, we hebben jullie gevraagd of jullie ons mee wilden nemen in wat wij noemen de Designers' Journey, de reis om te ontperken, waar we heel blij van zijn, om te vertellen hoe jullie tot nu toe hebben gelopen, wat er allemaal is gebeurd, om vervolgens met jullie allemaal, het is niet de meest ideale opstelling, maar we hebben al heel veel actieën, actie-recepten, en daar hebben we al vragen over gesteld en daarover in gesprek gedaan en we zijn gewoon heel benieuwd, natuurlijk, dat jij het vanuit de studentenperspectief, wat de ervaringen daarin zijn. Alles mag gezegd worden, alles mag gedeeld worden, het blijft allemaal in deze ruimte, je kan elkaar niets meer roepen, dus we hopen dat het een hele mooie workshop gaat. Zal ik aftrappen? Leuk dat jullie er zijn en wij zijn ook heel blij dat wij ons verhaal mogen doen. Als er vragen zijn tussendoor, steek je hand op en stel de vragen, dat is de juiste bedoeling. We hebben een overzichtje gemaakt vanuit de Constructive Alignment. Met allerlei tips of dilemma's waar wij tegenaan zijn gelopen, maar om dat een beetje te introduceren hebben we eerst heel even kort een klein overzicht van waarom zijn we overgestapt op programmatisch toetsen en hoe ziet dat er bij ons dan uit. Wat net ook al aangegeven is, het is een vrij grootschalige innovatie geweest en dat doen we natuurlijk niet alleen, dus bij deze ons team, Mario Maes, Joost Seger, Conny Mulder, zijn eigenlijk alle docenten van onze opleiding en ook studenten, want die denken heel veel mee, hebben hiermee geholpen. Je was me een klein beetje voor, nee dat geeft niet. Maar als je bent benieuwd, werk je met programmatisch toetsen, om even een beeld te krijgen. Via de mentie mag je even stemmen. Het is mooi om te zien dat de twee grootste groepen, ja net beginnend en nee nog niet, zijn er mensen die nee hebben geantwoord, zijn die wel voornemens om te gaan starten met programmatisch toetsen. Er zijn ook al een aantal mensen al jaren. Wat het programmatisch toetsen is? Ja, daar komen we zo ook wel echt op terug, aan de hand van een plaatje. Maar programmatisch toetsen is dat je het toetsen niet aan het einde, dus als sluitstuk van je onderwijs ziet, maar dat je zowel de leerfunctie van het toetsen als de beslisfunctie gebruikt van het toetsen. En door die beslisfunctie eigenlijk gedurende je leerproces als student verzamel je bewijs. En omdat je meer bewijs op meerdere datapunten verzamelt, is daarmee ook de betrouwbaarheid van de toetsing groter. In een notendop. Ja? Maar we gaan er zo meer op in. Dit is misschien nog wel belangrijk. Wat zou je nou eigenlijk willen leren, wat zou je er vandaag uit willen halen uit deze workshop? Mag kort in een steekwoorden of een vraag. Wat zou je willen halen uit deze workshop? Mag kort in een steekwoord of een vraag. Mag kort in een steekwoord of een vraag. Wat zou je willen halen uit deze workshop? Mag kort in een steekwoord of een vraag. Oké, een name voorbeeld en inspiratie. Dat hopen we jullie te kunnen geven. Maar ook heel veel, ik zag ergens de briljante mislukking. Dat vind ik ook wel erg leuk. Wanneer ging het niet goed. Maar we gaan proberen om zo eerlijk mogelijk te delen waar wij tegenaan zijn gelopen. Zeker ook vanuit studentenperspectief. Oké, dank jullie wel. Zoals ik al zei, kort even de aanleiding. Wij zijn van de opleiding fysiotherapie en onze opleiding was eigenlijk al jaren topopleiding. En ons is vaak de vraag gesteld, waarom ga je het dan helemaal overhoop gooien? Want het gaat eigenlijk al goed. En waarom ga je dan toch een hele grote onderwijs innovatie in? Nou, dat had eigenlijk drie redenen. De inhoud, het curriculum sloot voor ons gevoel niet voldoende aan bij de veranderingen die nu in de zorg gaande zijn. Dus daar hadden we urgentie. De toetsing. Studenten waren toch ontevreden en docenten ook over hoe wij de toetsing hadden ingericht. Je kunt je voorstellen, denk ik, als bij fysiotherapie doen we vaak een performance assessment. Een student krijgt een casus, die leest zich in, ging naar de docent, moest laten zien dat hij dat kon, de performance uitvoeren, kreeg een cijfer en ging weer weg. En als je het geluk had, dat het net iets was met het been en dat had je goed voorbereid, dan had je misschien een 9. Terwijl je andere dingen niet wist, maar andersom ook. De studenten wisten wel heel veel, maar misschien net niet. Die hand of die pols en ze kregen zo'n casus en dan weer spiegelt het cijfer niet wat je nou echt eigenlijk kan. Dus daar waren studenten ontevreden over, wij waren daar ontevreden over. Daarnaast waren er inmiddels nieuwe inzichten over validiteit en betrouwbaarheid van toetsing. En dan in de vorm van het programmatisch toetsen. En er was veel meer mogelijkheid om technologie te gaan gebruiken in je toetsing. En voor de didactiek, wij hadden nog heel veel aanbod gestuurd onderwijs. Wij vonden onszelf daarin niet up-to-date. Het sloot ook niet aan bij een nieuwe vorm van toetsing die wij wilden, waarin ook die leerfunctie heel belangrijk is. We willen juist dat studenten leren van de feedback die je krijgt van het toetsmoment. En wat we zagen is, ik heb een zes, hopelijk vergeet ik het werk, ga naar het volgende vak. En dat is jammer als je die toetsing juist ook wil gebruiken om door te leren. En het samenwerkend leren tussen studenten, maar ook studenten van meerdere en jaarlagen, dat vonden we onvoldoende benut. We wilden juist dat studenten van jaar drie en vier ook samen konden leren met studenten van jaar één en twee. En de technologie, ook hier gebruikten we eigenlijk geen technologie. Voor de toetsing, wat wilden we dan anders? We hadden eerst alleen een beslisfunctie in de toetsing zitten, maar we wilden ook echt naar die leerfunctie toe van toetsing. Dat je een beginmeting hebt in het begin van het blok, kijken welke feedback je erop krijgt en dan gaan kijken hoe je jezelf daarin kan gaan ontwikkelen. Zodat een student echt mooi zijn pad laat zien wat hij doorloopt binnen een blok of binnen een semester. We zijn dus ook niet geïnteresseerd in dat vlakke pad wat je daar links ziet, maar vooral die linksonder. Welke beren ben je nou tegengekomen? En hoe heb je die naar de grond gekregen? Hoe heb je dat nou gedaan? Hoe ben je nou over die moeilijke kuil heen gekomen? Hoe heb je dat nou gedaan? Daar ben je benieuwd naar. Dat gesprek, dat vonden we zo waardevol. Dus van alleen naar het einde, naar continu, van afstraffen eigenlijk ook echt steeds meer naar belonen toe. Meegeven wat goed gaat en vooral ook meegeven wat je nog te leren hebt. En dat doe je aan de hand van heel veel data verzamelen. We hebben aan de hand van ons beroepsprofiel hebben we leeruitkomsten geformuleerd en voor die leeruitkomsten gaat zo'n student feedback verzamelen en bewijs verzamelen door het hele semester heen. En dat bewijs kan binnen ons vak, kan bijvoorbeeld een begingesprek zijn met een patiënt, kan een onderzoek zijn, kan een stukje behandeling zijn, kan een geschreven behandelplan zijn. Dat kan echt van alles zijn. We hebben leeruitkomsten van gemaakt en hij verzamelt gewoon continu bewijs om te laten zien aan de hand van rubriks waar het niveau is te beschrijven van kijk eens, zover ben ik. En dat doet hij het hele blok door, krijgt continu feedback daarop en maakt dus een ontwikkeling door. En al die datapunten, al die losse stukjes feedback en al dat bewijsmateriaal wat ze verzamelen in hun portfolio, dat levert dan een steeds beter beeld op van die student. Jullie kennen waarschijnlijk de Mona Lisa, hetzelfde idee. Je verzamelt pixels en die pixels geven een beeld. En je kunt je altijd afvragen of ik bijvoorbeeld ook echt die moet zien, want ook hier kan ik al zien dat het Super Mario is. Maar ik wil een compleet beeld krijgen van mijn student. Daar draait het eigenlijk om bij ons in de toetsing. En ook voor het curriculum, en dat is voor nu niet zo heel relevant, maar voor de didactiek en voor de leeromgeving hebben we eigenlijk de van-naar geformuleerd voor onze opleiding. Dat zie je ook al staan, bijvoorbeeld van aanbod gestuurd naar vraag gestuurd, van docent gestuurd naar zelf gestuurd. Van vooral instructie geven naar juist meer feedbackmomenten en leren van feedback. Van toetsen en afrekenen naar monitoren en waarderen. En in de leeromgeving hadden we gezegd, ja, we hebben nu heel veel een klas en een docent. Maar als je kijkt naar programmatisch toetsen, dan wil je gevarieerde feedback. Niet alleen van die ene docent van jouw klas, maar van meerdere docenten, maar ook van meerdere studenten uit verschillende leerjaren. En daarom hebben we gezegd, we gaan af van het klas- en docentstructuur naar meer een community of practice. En in die community of practice zitten 130 studenten van verschillende leerjaren door elkaar heen. En daar zit een vaste groep docenten op, die de studenten eigenlijk van leerjaar 1 tot en met leerjaar 4 zien en begeleiden. Iedereen daarin zijn eigen rol. En een student die groeit dus ook van beginnend student, beginnend op de opleiding, tot uiteindelijk in jaar 4 veel meer de coach van de eerste en tweedejaars. En daarnaast on the spot, dus niet alleen maar bij ons leren, maar juist ook meer in de blend. Kan ook thuis, kan ook online. En dat doen we omdat we het belangrijk vinden om ook flexibiliteit en op afstand te kunnen leren en studenten daarin ook vrijheid te geven om je eigen leerroute te plannen en in te richten. We hebben een filmpje gemaakt van, ja dat is misschien handig, van die community of practice. En dat bereikt u niet. Als gezondheidsprofessionel van de toekomst wordt verwacht dat u flexibel bent en constant blijft leren. En dat bereikt u niet alleen maar door in de voorcollegezalen te zitten. Jij betrekt samen met jouw medestudenten en docenten op een leerzame reis om jouw rugzak te tullen. In een groep ga je aan boord. Daar vorm je samen met ouderjaarsstudenten een community of practice. Dit is jouw thuisbasis voor de komende 4 jaar. Je gaat met en van elkaar leren. Zodat je bijvoorbeeld de ruimte om zelfstandig te oefenen als je iets interessants hebt gelezen. Of misschien wil je een patiëntendemonstratie bijwonen. Je kunt ook het gesprek zoeken met jouw medestudenten of studiecoach om te kijken waarom je hetzelfde tegen hetzelfde probleem aanloopt. Iedereen betaalt zijn eigen koers. Wanneer het jou uitkomt kun je het grote schip verlaten. Bijvoorbeeld als je met een kleinere groep wat meer debieten in wilt. Of als je op een andere manier extra uitdagingen zoekt. Ook als wil je dan af en toe fouten maken. Die kleins groepen noemen wij community of learners. Na 4 jaar heb jij jouw rugzak gevuld met unieke ervaringen en kennis. Je bent klaar om de wereld in te gaan als gezondheidsprofessional van de toekomst. Dat is weer een notentop hoe we het onderwijs hebben vormgegeven. Die transitie naar die groep en die community of practice is ontstaan omdat we eerst begonnen met programmatisch toetsen. Gewoon naast ons eigen curriculum. En daarachter kwamen, dat lukt niet er bovenop. Programmatisch toetsen verwacht of vraagt ook om een andere didactische aanpak. En ook een andere organisatie van het onderwijs. En dat hoeft niet op deze manier. Dat kan op veel manieren, maar wel waarin je flexibiliteit geeft aan de student. Ruimte geeft om feedback te vragen, te ontvangen en daarvan te leren. En dat je feedback ook echt ziet als onderwijs. Dat was bij ons denk ik wel een grote transitie, ook bij de docenten. Dat onderwijs niet alleen is het overbrengen van kennis. Maar juist ook in gesprek gaan met de student. Goeie feedback geven. En daar weer over in gesprek gaan. Wat je dan kan doen met die feedback. En wat de vervolgstappen zijn. Dus je rol als docent, die verandert. Je bent ook coach. Je bent ook facilitator van iemands leerproces. En je bent ook de expert. En ja, die transitie is denk ik de grootste transitie geweest binnen ons team. Bregje, jij hebt dit een beetje, of niet een beetje. Jij hebt dit helemaal meegemaakt hè? Kun jij eens jouw perspectief geven? Hoe is het voor jou om te werken in deze setting? Het begon vorig jaar bij ons allemaal. En toen was net de hand hiermee begonnen. Dus dat was voor zowel school als de studenten heel erg zoeken. Hoe moeten wij binnen het onderwijs onszelf vormgeven? En daar is heel veel samen sparring geweest tussen docenten en studenten. Om te kijken hoe we het voor de studenten zo makkelijk mogelijk kunnen maken uiteindelijk. En wat ik hieruit eigenlijk het meest heb geleerd. Is dat je niet, in plaats van wat ik dan van vrienden hoor. Voor bepaalde tentamens in één keer een piekmoment maakt. En dan denkt, oh shit ik moet echt een week van tevoren in één keer heel veel gaan leren. Hier ben je juist eigenlijk de hele periode door alleen maar aan het leren. En doordat je ook feedback geeft aan andere medische studenten. Herhaal je vaak ook stof die jij zelf hebt geleerd. Dus daardoor blijf je eigenlijk gewoon constant bezig met wat ben je aan het doen? Hoe ga ik dit herhalen? Hoe leg je dit ook uit aan anderen? En ik vind het daardoor ook nog gezelliger op school. Want je bent eigenlijk constant gewoon actief bezig met je groepsgenoten. Ook met de ouderjaars leer je ook heel veel nieuwe contacten kennen. En dan ook hun kun je waardevolle feedback vragen. Voor de bovenbouwers is het dan soms dat ze denken, ja we moeten daar tijd voor maken. Maar vaak krijg je ook terug. Wel grappig is dat als zij een tijd een bepaald onderwerp niet hebben gedaan. En de eerste of tweede jaar zijn ermee bezig. Dat zij denken, oh ja dan moet ik me ook even weer opnieuw opfrissen. Dus zelfs voor hun is het soms leerzaam om met ons mee te kijken. Omdat je dan gewoon basisstof aan het herhalen bent. Wat niet altijd gebeurt op elke opleiding. Hetgeen maakt niet, zeg maar. Het is voor sommige studenten wel lastig geweest. Want je bent ook vaak veel zelf actief aan het plannen. Dus je moet ook omdat je heel erg zelfsturend bent. Je eigen leerstand bijhouden. Je eigen planningen bijhouden. Dat is voor veel in het begin lastig. Maar daarvoor is het fijn dat je dus de docenten hebt. In een groep om je heen. Waar je dan eigenlijk altijd op kan terugvallen. Dat jij zegt, ik ben even de draad kwijt. Ik weet niet meer waar ik naartoe moet. Ik heb allemaal dingen gedaan. Maar ik weet niet meer wat ik verder moet doen. Dan kan je ook weer op hun terugvallen. Dus dat is ook fijn. En ook op je medestudenten kan je altijd samenspraken. En kijken, hoe pak jij dit aan? Hoe kan jij het beter doen? Dus dat vind ik eigenlijk wel fijn. Dat je gewoon een soort van onderlinge, constante samenwerking hebt met de groep. Dankjewel. Zijn er tot nu toe vragen? Ja, goede vraag. Leerdoelen. Studenten hebben eigen leerdoelen natuurlijk. Maar wij hebben ons onderwijs ingedeeld in thema's. En dit thema, dat zegt iets over de context. Bijvoorbeeld, de fysiotherapeutische zorg in de wijk is de context. En dat gaat vooral over preventie en leefstijl. De leeruitkomsten, die hebben wij bepaald voor de opleiding. Dus we hebben een set van zes eenheden van leeruitkomsten. Dat gaat bijvoorbeeld over diagnostische werken of de behandeling. Maar ook over professionaliteit van studenten. En die blijven hetzelfde. Het niveau is wel anders, maar die set is gewoon altijd hetzelfde. En de doelen, en dus de context van het thema, bepaalt de inhoud en de vaardigheden en de kennis die studenten moeten vergaren. Dus de start van elk thema is eigenlijk ook altijd, ga goed kijken naar de doelen van het thema en de bedoeling. Bepaal vervolgens, ja, wat moet je daarvoor weten, wat moet je kunnen, hoe ga je dat plannen. En ja, waar wil je feedback op en wat zijn jouw persoonlijke leervragen. Ja, en de student pakt dan ook mee, de feedback die hij uit het vorig blok heeft ontvangen natuurlijk. We vragen eigenlijk het verhaal van Renske. Je hebt ook altijd de studenten lezen terug wat je hebt gekregen. Ik zie soms hele lijstjes langskomen met dat ze de highlights verzamelen en dat ze continu bijhouden. En aan de hand daarvan ga je dan inderdaad een leerplan maken. En dan heb je inderdaad die leerdoelen, leeruitkomsten die erbij zitten. En gewoon je eigen leervragen erbij. Je moet bij ons ook voordat ze feedback vragen, altijd eerst een leervraag formuleren van waar wil je nou, wat wil je nou van mij weten. En daarnaast kijk ik natuurlijk altijd vanuit mijn docentenrol naar die blinde vlek die Renske net zo mooi benoemde. Er zit daar een connectie tussen de leerdoelen en de leeruitkomsten. Dat is wel een mooie kwestie van Renske. Zou dat alleen maar lopen als de leerdoelen los gaan staan? Gaan niet meer in het verstaan. Ik kan me voorstellen dat het juist is. Nee, de leerdoelen die schetsen meer de inhoud van het thema. En de leeruitkomsten, die hangen aan ons beroepsprofiel. Dus wat moet ik uiteindelijk kunnen om een fysiotherapeut te worden? En die leerdoelen zijn wat meer richting de inhoud van het vak ook. Bijvoorbeeld, bij ons is klinisch redeneren heel belangrijk, dat je dat redenatieproces kunt doorlopen. En in een van de thema's waar het gaat om ouderen, geven we dan aan, oké, je kunt dat laten zien bij een cliënt met Parkinson, met een hersenbloeding, noem maar op. Dus dat stuurt voor studenten van, oké, ik hoef niet klinisch te redeneren in het algemeen. Maar dit is de inhoud die ik me tot moet nemen. Want anders, ik weet niet hoe jij dat hebt ervaren, maar ik kan me voorstellen, anders wordt het heel erg groot. Ja, bij ons wordt het gezien als een soort regenparaplu. Dus bovenaan heb je dan het onderwerp waar je op moet verbeteren. Dus bijvoorbeeld klinisch redeneren. Daaronder heb je vervolgens dan het onderwerp binnen het klinisch redeneren waar je op moet focussen. Dus op dat moment is het ouderen. En daaronder heb je dan vervolgens weer nog je eigen leerdoel waar je dan op kan focussen. En van eigenlijk die drie dingen maak je voor jezelf een leerdoel. Dus je maakt eigenlijk een gehele combinatie. Je maakt het leerdoel een soort van steeds kleiner, waarbij je dan eigenlijk probeert te focussen op dat onderwerp. Als u iets op wilt vragen, wacht tot graag. En als het niet lukt, dan kom ik natuurlijk. Zijn er met individuele leerlijnen dan mee? Kan student A van alle studieren studeren? Ja, dat kan. We hebben een portal ontwikkeld. Misschien leuk om even te laten zien, dan krijg je er een beeld van. We hebben eigenlijk nog twee mogelijkheden voor studenten. Het eerste jaar helemaal door elkaar. Dus je ook niet per se aan die thema's houden, maar uiteindelijk na een heel jaar. Laten zien dat je al die doelen die horen bij die thema's hebt behaald. Dat vergt heel veel planningsvaardigheden van studenten. Het is ook de kleinste groep die dat wil doen. En de andere groep die werkt wel binnen die thema's. Dus die thema's zijn volgordelijk. We hebben vier thema's, maar binnen dat thema heb je de vrijheid om te kiezen. In dit geval bijvoorbeeld. Achter al deze deuren wonen cliënten. Je klikt op Bart. Bart zit hier, daar kan je op klikken. Je krijgt de casus van het verhaal van Bart. Bart is een bestaande cliënt ook. Er zijn een aantal leeractiviteiten die daarbij passen. Je hebt ook altijd een checklist hier staan met relevante leerdoelen bij die casussen. Voor studenten om te helpen. Van welke leerdoel kan je nou bij welke leeractiviteit aanwerken. Een heel aantal leerdoelen komen bij alle casustieken weer terug. Dus dat hoef je echt niet acht keer te doen in tien weken. Maar dan ga je kiezen van die anamnese wil ik met name doen bij twee of drie van deze casustieken. Bij de andere doe ik dat dan niet. Daarin zijn studenten zelf in de lead. En helemaal aan het begin van het blog heb je hier het i'tje. En het i'tje geeft eigenlijk de hele context van het thema weer. Met alle leerdoelen, de leeractiviteiten. Dus het geeft een overzicht van wat we verwachten dat er binnen dit thema geleerd wordt. En zelfs een overzicht waarin we de leerdoelen. Hier zijn alle leerdoelen weer gelabeld zijn. Bij welke casus kun je dat doen. En dan zie je bijvoorbeeld dat het eerste of leerdoel zes bij Bart en zowel bij Marijke gehaald kan worden. En dan is het wel binnen. Toch als je de volgorde volgt zoals je hoort. Dan is het nog wel dat iedere student met iets anders vaak bezig is. Want bijvoorbeeld iemand die bij ons van Sios afkomt in het eerste blok. Die is al best wel bekend met trainingsleer. Is al best wel bekend met een anamnese doen. Maar die denkt dat onderzoekje. Dus die heeft alle ruimte om zichzelf te focussen op het onderzoek. Laat een paar keer zien van kijk maar dat kan ik. En als die data dan gewoon goed is en dat is overtuigend. Dan hoef je dat ook niet tien keer aan te gaan tonen. Ga maar werken aan wat jij nodig hebt. En een ander denkt die gespreksvaardigheden vind ik ontzettend lastig. Die gaat daar meer aan werken. Dus zo heb je ook als je de volgorde doet. Heb je wel ruimte dus om te doen wat je wil leren. Dit zijn allemaal mensen uit de praktijk. Die we ook thuis geïnterviewd hebben of in de praktijk. Een paar procent zijn bij ons geweest. Maar we hebben 240 eerstejaars studenten. Dus ze zijn niet allemaal daarheen geweest. Maar nu in het tweede jaar hebben we bijvoorbeeld wel een dagdeel stage in de week. Dat studenten ook daadwerkelijk in de praktijk gaan. En dan in de praktijk ook de leeruitkomsten kunnen aantonen. Dus als wij een patiënt zien die past binnen het thema. En ze doen daar een anamnese mee. Dan kan dat als bewijs in het portfolio. Die leerdoelen zijn allemaal gegeven. Dan krijgen de studenten op kans om hun eigen leerdoelen te formuleren. En misschien een heel onderdeel vergeten of niet doen. Dus je hebt wel ergens die katstok nodig om je curriculum te borgen. Van welk inhoud je wil zien. Dus als studenten hun portfolio inleveren voor dit thema. Dan kan het niet zo zijn dat het vol zit met casuïstieken en bewijzen. Van mensen die net door een enkel zijn gegaan op het sportveld. Omdat dit gaat over ouderen. Heb je een soort paginateur voor een of ander leerdoel? Nee, alle leerdoelen van het thema moeten behaald. Op welke manier daar is een student vrij in. Dus je mag ook een andere casus nemen. Dat hoeft niet deze te zijn. En dat is eigenlijk niet iets vast. Van zoveel procent moet je dit inleveren of dat inleveren. Dat is eigenlijk helemaal aan de student. En het is ook niet dat je met een lijstje aan het einde gaat afvinken. Van heeft hij alles zo precies gedaan. Het is gewoon het overzicht. Heeft hij gewoon binnen het concept van het thema. De leraarkomst ook aangetoond. Ik zie dat er een heel mooie schatje aan de hoek staat. Dus ik zie al een nadeel dat je af van vandaag nog heel veel uitlegging vraagt. Dus dan kan ik ook hier vragen. Zullen we eerst kijken of er nog wat andere vragen zijn? Ja, mevrouw. Wat zijn de onverwachte effecten geweest van uw verandering? Bijgangsgelegenheid, valkuilen. Ja. Eén van de valkuilen was in ieder geval dat we de docenten goed in feedback geletterdheid moesten gaan leren. Bij scholen in ieder geval. Dat was één van de eerste dingen. En daarin ook ons student moesten meenemen. Want ook een student moet je gaan leren wat eigenlijk goed is in feedback en hoe ga je met feedback om. Dus ook daar hebben we onderwijs op gezet. En een andere mooie is ook wel. We waren natuurlijk vooral in de rol van expert bezig. Ik ben zelf fysiotherapeut. Ik kon mooi over mijn vak vertellen. En ineens moest ik ook gaan coachen. En werd ik ook een facilitator. Werd ik ook een evaluator. En dat was wel even schakelen. En wat je zag gebeuren bij ons in het begin was dat iedereen die rol van expert liet vallen. En ging coachen. Dus allemaal even spreken met die studenten. Ik ben wel benieuwd naar jouw ervaring. Ik zie ook een dikke dat je denkt, ja dat herken ik. Kun je er even op inspringen hoe dat voor jou was? Ja, in het begin merkte je wel aan het begin van het jaar dat docenten ook heel erg vaak zijn docenten die ook gestationeerd zijn in een bepaald vakgebied. Dus als je juist iemand had die in het ziekenhuis werkte met een revalidatie. En je ging ernaartoe met, ja ik ben bezig met een casus van een sporter. Dan zat die docent vaak, ja sorry dat is niet mijn vakgebied. Kan ik niet meer helpen. Maar door die tijd heen merk je ook dat zelfs docenten dus nu wat soepeler zijn geworden. En denken, oké ja ik ben er niet te best in dit onderwerp. Maar ik ga nu wel mijn best doen om hier alsnog een beetje verdieping in te geven. En daarnaast met dat coachen merkte je in het begin dat docenten het soms dan lastig vonden om feedback te geven. Dat ze zowel gewoon feedback gaven, maar dan gewoon doorstuurden. En nu is het vaak zo dat docenten ook vragen van, die bespreken dan even de feedback met je wat ze aan jou gaan geven. En zeggen ze, kan jij hier iets mee voordat ze het daaruit opsturen. In plaats van dat ze gewoon feedback geven en zeggen, doe er maar wat mee. Nu wordt er aangekeken en kan je ook zelf zeg maar even erin kijken. En zeggen of je ermee beëend bent of niet. Ja, dus dat stukje feedback geletterdheid. Feedback in dialoog is natuurlijk het krachtigste feedback die je kan geven. Dus we proberen eigenlijk bijna geen feedback meer schriftelijk te geven, maar eigenlijk gewoon alles live te doen. En vaak ook zo dat de rest er ook wat van leert. Dus brengt je een behandelplan, dan zeg ik, nou kom maar hier, misschien zijn er meer die ook spoeien met hun behandelplan. En dan gooien we het gewoon op het boordbehandelplan. En dan mag Bregje eerst even zelf vertellen wat ze ervan vindt. Vervolgens geef ik dan de groep de tijd om erop te reageren. En wat je dan meestal ziet is dat ik als docent al heel weinig mag hebben aan te vullen, want zij kunnen elkaar echt al supergoed feedback geven. Dus daar inderdaad veel in geleerd. En ja, ook die rol van ons als docent, waar we in het begin echt vooral als coach zaten toen we omgingen, merkte we van hey, maar af en toe is die rol als expert nemen, dat van het scaffolding ook af en toe je student even aan de hand nemen, laten zien wat nou eigenlijk de bedoeling is, ook ontzettend belangrijk. Dus daar hebben wij in geleerd. En ja, een derde leerpunt is ook wel om de lat gelijk wel hoog te leggen. Wij begonnen en we dachten van nee, onze studenten moeten hier aan wennen, moeten dit ook leren. Dus we hadden in het begin eigenlijk dat ze alleen maar moesten laten zien dat ze professioneel konden handelen na tien weken. En wat je zag, dat die studenten onderuit gingen zitten en die dachten ja, nou als dat het enige is, dan ga ik een paar keer feedback vragen, meer of niet. En dat hebben we dit jaar al veranderd. We hebben nu gezegd van nee, je moet ook inhoudelijk echt wel gelijk wat aantonen, van zo werken we hier, dan weten jullie ook gelijk wat de bedoeling is. En je ziet dat dat ook gewoon gelijk werkt. Oké, misschien nog een vraag. Heerlijk, als jij nog niet professioneel bent, eigenlijk een heel goed oefeningenvraag. Kan ik het graag beantwoorden bij u? Ja, misschien wel. Misschien wel. Oké, ik dacht, ik weet nog niet zo heel veel. Ik zie dat het aan de kant omhoog is. Oké, heerlijk, nu graag een vraag. Ja, en we zijn aangesluiten. We hebben een aantal vragen achter de camera aangesluiten. En die kunnen misschien kort beantwoord worden. Jullie hebben het over het verzamelen van data uiteindelijk. Dus ook een aantal meetmomenten hebben. Zien we daar een feedback bij volgen? Anders komen die banden ook. Hoe bezame je die? En misschien graag nog net die woorden die je daarna kunt verzamelen. Waar kun je daar antwoorden voor? Of kun je dat anders? En bij de schrijftijd is het om die banden en de summative. Dus hoe gaan jullie dat verbazen? Nee, ik heb die software hier. We kunnen heel snel antwoorden. Ja, we gebruiken daar software voor. Maar dat zal niet... Ik zat erin, maar hij gooit me eruit. Misschien kunnen we dan even de andere vragen. En dan laten we zo even de Scorion zien. Wie sluit u een beetje op aan? Ik vind het niet goed. Ik heb het achteraan niet gestaan. Die vraag sluit u op aan. Ik vroeg me af hoe je de kwaliteit van die data kunt in de gaten houdt. Ik denk dat je meer datapunten hebt dan je beeld is. Maar je kunt niet honderdduizend datapunten gaan beoordelen. Een van onze uitgangspunten in onze visie van de opleiding is gevarieerd. Dat betekent gevarieerd onderwijsaanbod, maar ook gevarieerd bewijs. Dat is zowel gevarieerd in wat voor producten lever je in, als gevarieerd van wie heb jij feedback gekregen. Misschien kan je zeggen hoe je dat doet. Van wie je feedback vraagt en hoe dat gaat. Je kan dus eigenlijk ook aan meestudenten feedback vragen, maar je kan dus ook aan docenten feedback vragen. En je kan ook zelf een zelfreflectie maken. Het is dan de bedoeling, dat vind ik zelf ook fijn, om eigenlijk van alle mensen om je heen minimaal één keer feedback te vragen. Dus ik doe altijd zo'n performance assessment, wat een best wel groot onderdeel is, waarbij je eigenlijk alle kleine onderdelen in één keer behandelt. Dat doe ik vaker met docenten. Daar krijg ik feedbackpunten uit. Dat zijn kleinere punten en die neem ik dan zelf weer mee. En daar vraag ik feedback op van medestudenten. Dus het is de bedoeling dat je eigenlijk van zoveel mogelijk mensen om je heen verschillende feedbackpunten haalt. En als ik het goed ook zeg, dan wordt het tijdens de criteria, tijdens de beoordeling ook wel gekeken of jij wel ook van experts feedback vraagt, omdat die vaak dan toch wel de meest reële kennis daarover hebben. Maar dat wordt eigenlijk van tevoren al aangetoond. Als ik bijvoorbeeld een verbeterpunt heb gemaakt bij mijn eerste PA en ik doe een tweede PA en dat is niet verbeterd, dan kan ik terug gaan kijken van heb ik de kennis dan wel goed meegekregen? En dan kan ik er meer vragen over stellen. Dus op die manier houdt dat dan een beetje bij. Er zitten verschillende producten, verschillende bewijzen, zowel van peers, eerstejaars, tweedejaars en derde en vierdejaars, als van docenten. Dat moet in het portfolio zitten. We hebben ook onderzoek gedaan van is dat nou scorenstudenten vergelijkbaar met docenten? En die score is heel erg overeenkomstig. Dus ook medestudenten geven heel goede feedback en ook dezelfde scoren eigenlijk op feedback voor een manier. Ja, ik heb hier dus... Oh ja, aan de hand van het pallet of schorion even... Ja. Heel snel, ik heb hier schorion. Dit is ons digitaal portfolio waar we mee werken. En de student zet hier eigenlijk de documenten in. De student van wie ik het mag laten zien. Nou, zij heeft hier bijvoorbeeld filmpjes in staan. Dat zijn die bolletjes. Maar ze heeft dus ook dingen uitgewerkt op papier. Dit zijn de dingen eigenlijk vooral. Dit is het bewijs en dit is voor tien weken wat ze hier heeft gemaakt. Nou, zo toont ze dat aan. Ze heeft er ook reflectieve slagen in geschreven. Dus ze heeft een peer assessment gedaan. Ze heeft een reflectie over geschreven. Wat neemt ze erop mee? En zo zullen er meer reflectieve slagen in zitten. En bij formulieren zie je de feedback die ze hebben verzameld. Dit is de feedback wat deze student in tien weken heeft verzameld. Zo ziet dat eruit. In het feedback formulier, dus ook als ik feedback invult, zit een rubrik er altijd in. Dus ik kan altijd zien van, hé, wat is het eindniveau? Wat wil ik uiteindelijk zien? Aan de hand daarvan geven we een score van één tot vijf. En dan is drie van, ja, je bent redelijk op het niveau, maar je hebt echt nog wel veel te leren. Vier is van, nou, dat doe je eigenlijk gewoon ontzettend goed. En vijf is excellent, bijvoorbeeld. Dat is de score die we aanhouden. En vervolgens geven we feedback, onder andere dus, op die niveauspecificaties die we hebben geschreven. Dus de rubriks zijn dat. En dan heb je een dashboard. Ja, en heel belangrijk. Een student heeft altijd een leervraag als hij feedback vraagt. En dat moeten wij ook nog een beetje leren, maar we moeten ook feedback, of onze feedback die wij teruggeven, moeten we ook juist richten op die leervraag. En je ziet niet altijd dat dat gebeurt. In het dashboard lagen zijn heel veel gegevens, maar wat je dadelijk gaat zien is een spinnenweb waarin je heel mooi kan zien waar je student uiteindelijk staat. Maar vooral de lijn is mooi om dadelijk te zien. Daar zie je wat hij heeft gedaan met die scores. En dan zie je, als het goed is, een beetje altijd een grillige lijn waarin je heel mooi kan zien dat hij studentlerende is. Waarin je uiteindelijk ook wil zien, richting het einde van het blok, dat hij dan richting dat drie, vier een beetje gaat. Soms nog een vijf. Daarin kun je zien van, hey, zit hij ook een beetje op niveau uiteindelijk. Maar ja, wat we daarnaast doen, is ook een gesprek met de student waarin hij ook laat zien, wat heb ik nou eigenlijk... Ja, wat heb ik gedaan met alle feedback, wat heb ik geleerd. Dan moet ik eigenlijk deze even... Dan kan ik het lossen, dus per EVL. Het is jammer dat het later al zo lang duurt. Een eenheden van leeruitkomsten. Dat is een leeruitkomst. Ja, dat zijn die zes eenheden van leeruitkomsten die we voor de hele opleiding eigenlijk hebben gemaakt. En een van de punten ook die je net op de padlet zag, was een lien. En ja, als je hier twintig eenheden van leeruitkomsten hebt, dan wordt het een heel onoverzichtelijk geheel. Dus probeer echt te kijken, waar gaat het om in onze opleiding en hoe kan ik dat dan zo overzichtelijk mogelijk en op hoofdlijnen formuleren, dat je daar de leeruitkomsten op formuleert. En hier zie je een heel mooie lijntje. Dit is een lijn van anderhalf jaar, maar we krijgen een optie van Scorion. Ja, dat is ook wel, ja. Maar dit is wel heel mooi wat je wilt zien. Want je ziet, we gaan een niveautje hoger en die student die zakt weer eventjes. En die gaat weer feedback vragen en die ontwikkelt zich weer. Juist dat grillige wil je zien, want dat is leren en ontwikkelen. En hier staat heel mooi onder ook de feedback allemaal die die heeft gekregen. Dus voor mij een heel mooi overzicht van, oké, haalt die er nou de punten uit die ik er ook uit zou halen. Dit doe je niet op het einde allemaal. Heel belangrijk is dat je continu, ik heb acht studenten, hooguit tien altijd onder mij, die ik continu monitor. Dus ik kijk heel vaak met hun in Scorion. Ik geef natuurlijk feedback, maar ik doe dat samen met een hele groep docenten. Ik zit met een team van tien docenten ongeveer op hun. Dus we houden ze allemaal in de gaten. Wij zijn allemaal ook een datapunt, want de één heeft een keer een onderzoek gezien. De ander heeft een keer een performance assessment gedaan. En we monitoren één keer in de drie weken al onze studenten uit de groep. En dan zeggen we van, nou, hoe scoort hij ongeveer? Zit hij op groen, oranje, rood? En rood is we maken zorgen om je. Oranje is, ja, het gaat redelijk, maar moet nog wel wat bijzetten. En groen is, het gaat gewoon goed. En zo score je continu die studenten. En is het eigenlijk de kracht om gewoon je studenten gewoon continu in zicht te hebben. Ja, naar de pers ook. Dan denk ik even naar beneden doen. Brechtje, zou jij willen beginnen met wat feedback voor jou is? Ja, en wat je ermee kunt. Het is, als je als middelbare schoolstudent in één keer op hbo komt, is dat al best wel vaak een verandering. En dan moet je dus ook in één keer met feedback gaan omgaan en daar ook zelf naartoe kunnen handelen. En in het begin kan je je best wel aangevoelen. Want je krijgt heel veel goede punten, maar soms ook wat kritiek. En dat is iets waar in het begin vaak veel studenten soms nog wel last mee ervaren. Want ja, je komt net op een nieuwe school en dan krijg je ook nog te horen dat dingen niet goed gaan. Ja, vaak geeft dat wat onzekerheid. Maar juist doordat je heel veel feedback de hele tijd krijgt, raak je er ook aan gewend. En ik vond het in het begin zelf ook heel lastig om dan met kritiek om te gaan. Dan dacht ik, oh ik doe het niet goed, het gaat helemaal fout. Maar door de tijd heen leer je dat juist die kritiekpunt en die feedback die je krijgt, dat dat het meest waardevolle is. En nu probeer ik juist zo vaak mogelijk, nou niet altijd, maar wat meer op mijn plaat te gaan. Om juist gewoon waardevolle punten mee te krijgen in plaats van de hele tijd denken, nou ik moet het perfect doen, alle punten moeten hoog zijn. Natuurlijk blijft dat een beetje hangen en wil je het altijd goed doen. Maar hiermee leer je er wel beter mee om te gaan. En ik zie daar een vraag. Ja, ik dacht eerst een beetje dat het jouw feedback gebeurt. Want ook voordat je het net vraagt. Nee, ja dat snap ik, dat is in het begin ook een punt. Maar omdat jij ook feedback geeft aan anderen, wordt het een soort balans. Dus jij geeft die feedback aan iemand anders en die geeft dan weer vervolgens feedback aan jou. En ja, sommige leerlingen vinden het juist informatief en leren er hulp van om andere mensen feedback te geven. Omdat ze dan het stof zelf moeten herhalen of juist inzicht krijgen. Stel dat ik ervoor kies om bij een onderwerp in één keer zo'n praktijkassessment te doen waar ik eigenlijk nog helemaal niks mee heb gedaan. Ja, grote kans dat het dan niet helemaal goed gaat. Dan vinden studenten het vaak juist heel informatief om mee te kijken of om patiënten te spelen. Omdat zij dan vervolgens dus wel zien hoe het dus wel kan. En daar krijgen ze dan ook weer inzicht in. Dus het is vaker beleersaam. Dan word je altijd in hetzelfde onderwerp, je moet een beetje geven en nemen. Ja, dat is inderdaad eigenlijk al wat geven en nemen. Je hebt een soort gezellige balans daartussen. Ja. Hoe zorg je daarvoor? Of doe jij dat? Ja, het is in het begin natuurlijk lastig om feedback te leren geven. Maar eigenlijk wat wij, ik weet niet precies hoe dat komt. Maar wat er soms juist werd gezien is dat medestudenten soms strenger zijn voor elkaar dan dat de docenten zijn voor de medestudent. Omdat het makkelijker is om strenger feedback te geven aan je vrienden of vriendinnen. En omdat je zelf heel erg in dat proces zit, in hetzelfde onderwerp als wij zitten, heb je ook een eigen niveau. En jouw niveau, die feedback geef je door. Dus vaak maakt het daardoor juist dat de feedback wat strenger is. En anders dan, als de feedback te licht is geweest, dan zie je dat ook weer terug op het moment dat jij van een docent feedback vraagt. Die zegt, goh, dat gaat nog niet helemaal soepel. Ja, studenten hebben echt een enorme hekel aan watjesfeedback, zoals ze dat noemen. Ja, dus dat geeft je ook niet. Dat was bij ons ook eerst een beetje de angst van, oh ja, dan zegt ze altijd alles vierscoren. En allemaal helemaal perfect. En striktom, en je hebt je portfolio. Maar dat gebeurt echt niet, nee. En wat jij ook al zei, Loes. Tegenwoordig doen we eigenlijk, we deden het ook wel veel achter de computer. En dan kreeg je een video en ging je feedback geven als docent en dan stuurde je het weer terug. Ja, dan heb je dus precies niet wat je wilt bereiken met dit concept. Want je wil juist leren van die feedback. Dus door het in een groep te doen en eerst bijvoorbeeld medestudenten feedback te laten geven en dan daarna nog de docent. Kan je misschien ook juist, als het nodig is, daar nog die extra feedback aan toevoegen. Ja. Ja. Indirect zitten we ook al wel, de vragen passen ook al een beetje bij de pers. Ja. Ik heb deze en deze, maar ik weet niet welke ik moet hebben. Hallo, ik ben Frank en ik heb van Zuid-Hondenschool, International Business School. En bij mij is het ook programmaatstoetsen. En wij werken niet meer met blokken, wij werken gewoon met 9 werelden. En je bent daar 240 keren mee bezig. Dus ook qua tempo is 10 dingen verschillend bezig. Je bent een beetje veropend zonder voorgedefineerde routes. Wij zijn heel erg in zoek naar de uitdagingen. En de hoop dat genoeg subjectiviteit in dat programmaatstoetsen. Dus voor verschillende mensen, in verschillende contexten, verschillende meningen. En ik moet juist iets anders denken dan jij, denk ik. Dus juist de kracht van programmaatstoetsen, veel objectiever daarvoor. Dat dat in het moment van subjectiviteit niet meer nodig is. Dat de feedback loop voldoende is om de kwaliteit en het niveau te boven te komen. Dus hebben jullie daar ideeën over? Ja, die droom van. Ja, die droom. Die droom, ja. Zeker ook wel gesprekken over natuurlijk, inderdaad. Want die beslisfunctie en die leerfunctie. En dat doet ook wat met veiligheid. Dat ik als leercoach... Je wil die veiligheid dat ze altijd bij mij terecht kunnen. En dat ze van mij kunnen leren. En ik heb er ook vertrouwen in. Als je een feedback hebt, dat je gewoon een goede beroepsprofessional wordt uiteindelijk. En dat vertrouwen wil je ze ook gewoon kunnen geven. Dus ja, daar stoeien wij zeker ook gewoon mee. En dat die beslisfunctie er inderdaad dan steeds toch weer even in moet zitten. En dan ga je een beetje naar die viertjes en vijfjes. Terwijl ik denk van, weet je, dat kan gewoon dat je ook af en toe mindere dagen hebt. En je wil niet terug naar tellen van die viertjes en vijfjes. En dat is ook niet wat wij doen. Dus het zou ergens mooi zijn. Van de andere kant zien we ook wel dat het juist ook alweer urgentie geeft. Ergens. Bij sommige studenten die laat op gang komen. Die het lastig vinden om het vorm te geven. Is juist af en toe zo'n high-stake wel nodig om een stukje urgentie te creëren. En zelfs bij studenten die niet een urgentie voelen is het... En misschien gaat dat door de komende jaren heen natuurlijk veranderen. Dat zou heel mooi zijn. Dat zou heel fijn zijn. Maar voor andere studenten is het ook fijn om toch een soort beoordelingsmoment te hebben. Om die voldoening eruit te halen. Dat je denkt, even pieken. En dan heb je daarna een soort rustmoment. En juist zo'n beoordelingsmoment is dan soms juist fijn. Om even toch concreet goed te zien. Zit ik op de juiste weg? En hoe ben ik bezig? En dat zit misschien nog in de jaren. Door de jaren heen is dat bij mensen nog steeds ingeplanteerd. Dat een cijfer aangeeft hoe goed je ergens mee bezig bent. En dat zou fijn zijn als dat weg gaat. Maar momenteel hebben nog heel veel studenten dat ze het gewoon heel fijn vinden. Om soms even toch concreet een cijfer op hun lijst te zien staan. En dan zie je dus dat die high-stake heel belangrijk blijft. Terwijl ik dus wat ik net benoemde als leercoach. Heel vaak met ze in gesprek ben. En heel vaak toch het portfolio even open hebben. Om ze al aan te geven. Je zit op de goede weg. En als zij twijfelen. Want soms twijfelen ze van. Maar wanneer heb ik dan genoeg datapunten? Nou, gooi je portfolio maar open. En dan gaan we met de hele groep kijken. Dan leggen we er ook vaak even een paar naast elkaar. En dan zie je ook dat die groepen er ook heel snel over eens is. Van oh ja, maar dit is genoeg en dit is niet. Nou, dan ga ik natuurlijk doorvragen. Ja, maar hier staat wel genoeg. Maar is het dan ook overtuigend? Dus zo leer je ze. Neem je ze gewoon ook aan de hand mee. Om dat gewoon ook zelf te kunnen. En dan heb ik hier bijna allemaal telefoon. En dan maak ik er gewoon zo'n keer een telefoon van. Ik ga even zien hoe je een CS code maakt. Als je op de tablet bent, kun je eigenlijk vragen om te klikken op bouw je eigen constructieve afstemming. Daar staat een lege tablet met een constructieve afstemming. Dus ik doe het open. En eigenlijk wil ik je even vragen om, want jullie zijn volgens mij een collega samen. Of anders voor jezelf. Even alvast om dingen op te schrijven van de bouwsteen waar volgens mij het structureel om gaat. Want wat naar ons idee een van de aandachtspunten op valkuilen is. En bij de motie zie ik heel vaak dat die drieboek associaat, die drieboek van constructieve afstemming. Ja, top zwaar op de rode kant, op de toekingskant hangt. Terwijl het gaat juist over de samenhang en de balans tussen de doelen en ook de didactiek. En dat merk je ook heel erg in jullie verhaal. Het kan niet zonder de didactiek. Het kan niet zonder dat je goed over die rol van die docent goed nadenkt. En over de verandering van die rol. Dus het is heel erg, soms maakt het ons heel erg een lijf door het instrument. Van oh, we gaan het gewoon aan de slag. En we gaan dit doen en we gaan het zo organiseren. Maar als je niet goed scherp houdt waarom je dit doet, waartoe je dit doet. En hoe dat, die samenhang juist, de balans tussen ook de didactiek en de doelen. Dan kan dat een soort scheepsgroei ontstaan. En dat je niet de effecten die je er juist uit hebt graag mee beoogt. Dus volgens mij is het heel cruciaal, ook als je weer teruggaat naar je eigen instantie. Dit gesprek te voelen. En dat is met elkaar, bouw dus gewoon zelf zo'n pet. Dus bouw hem helemaal uit van je eigen organisatie. In de zinheid van welke dingen doen wij nu, bij welke domeinen. En wat verbreekt er nog in het bouwwerk. En dat, en heel vaak denken we ervan, ja zo'n logisch constructieve afspraak. Ja, daar kom ik het wel mee eens. Maar er zitten zo snel scheepheden in. Als je daar niet heel alert op bent, dan ontstaan er zo snel, nou ja, weefkoude tips. En juist, je moet het goed lichtbaar maken. Waardoor je dat ook kan aanpakken en bespreken met elkaar. Er wordt een onderzoek gedaan. Jij bent de lekkerste. Er wordt een onderzoek gedaan naar kogelmarkten. Dus er zijn er al een paar effecten. Het is heel makkelijk, als het niet zoveel is, maar de kogelmarkten niet is. Hoe ga je dan de situaties tegelijkertijd veranderen in de jaren? Heel goed gevraagd. Er wordt vaak ook een onderzoek gedaan over kogelmarkten. Ja, dat wordt gedaan. Vanuit de kogelmarkten heb ik het zelf heel vaak onderzoek gedaan. Ja, en er zijn ook buitengewoon resultaten die laten zien dat we nog best wel wat gedaan hebben. En dat lijkt me een groot aantastje van de studenten. Dus dat trekt me hier. Heel mooi verteld, hè? Wat kan ik zo doen? Maar we zien ook nog heel veel studenten losselen met van, ja, maar hoe zit ik ook precies met die datapunten? En wat wordt er nou precies voor gebruikt? En hoe veel moet het dan zijn? Dus waar ook nog een hele behoefte zit op de instrumentele invulling. En dat is natuurlijk wel iets om op te nagedenken. Dus ik denk dat het toetsen is dat het heel belangrijk om voortdurend bewust te zijn. Wat moet het uiteindelijk gebruikt worden voor kogelmarktenstudenten? Want wie niet daar, heeft niet de belang bij. De vraag is volgens mij niet beantwoord. Ik heb geen antwoord op dat. Maar de balans tussen kogelmarkten en studenten is niet onbesefbaar. Ik hoor wel dat jullie allemaal zeggen, ja, die kogelmarkten willen eigenlijk ook wel echt werken. Maar wie is er aan het antwoorden? Nee, er is een antwoord als je kijkt naar de literatuur, die hoeveel toetsen ze hebben. Er is een antwoord als je kijkt naar de literatuur, die hoeveel leren en wie dat niet hebben. En ik denk dat programmatisch toetsen nu natuurlijk probeert om een balans te vinden, wat tegelijkertijd misschien met een aantal dingen bij elkaar aan het vermengen is, waarvan we nog niet weten of dat nou de beste optie is in het belang van de studenten. Kijk, ik heb ook een blog geschreven. Dat weet iedereen, daar word ik niet zo zin in over. Waarin de kogelmarkt zoekt een hartstikke krachtig concept, als het gaat om, ik ga niet zwaarwegende beslissingen nemen op momenten en staties. Ik ga niet te snel zwaarwegende beslissingen nemen, overhaupt, want leren en toetsen, zul je zeggen, is grijs. Dus als je te snel tegen een student zegt, je kunt het niet, of nee, dan is het gewoon grijs. Dan ben je gewoon verleerd. En dan zit je de hele tijd met principes achter, waarvan we niet altijd weten of die principes in de uitvoering goed uitkomen. En denk dat we daar, zelfs als student, nog niet de ongeluk vinden, maar ik ga er meer bij als we dan die grote waarde over gaan stellen. En dan ook op de dag samenwerken en dat creëren, om eerst maar te denken van, wat ziet er nou uit, wat gebeurt, en wanneer vinden wij nou dat het geslaagd is. En het gaat verder dan, hoe we daar de punten moeten verzamelen, of wel het systeem gaan gebruiken om al die informatie weg te slaan. Misschien daar, dat is wel echt ook wat we hebben gemerkt, zeker in het begin van de implementatie, onze docenten wisten ook niet zo goed, dus er gebeurde van alles, maar niet de bedoeling. Dus wat we nu ook doen, of wat we net hebben gedaan, is gekeken, doen we eigenlijk wel wat we beogen te doen. Dat is eigenlijk de eerste vraag, voordat we kunnen zeggen, heeft het ook het gewenste effect, want misschien zijn we toch nog niet helemaal aan het doen wat we beogen te doen. En ik denk dat daar heel goed bij past, als je die constructive alignment als team niet heel scherp hebt, dan weet je ook niet precies wat je nou eigenlijk wil doen. Dus dat is echt de basis. En om dat goed neer te zetten, dan te implementeren, en dan pas te kijken, ja, lukt dat, waar moeten we bij stellen, en dan te evalueren. Sjongejonge. Ja, ik ga je een persoonlijke vraag stellen. Ik kan me eerst plekken herinneren waarin jij zei... We don't believe in magic. Ja, sorry. Waarin jij zei, het is eigenlijk gek, als je een feedbackmoment gaat beoordelen, omdat iemand dan een lerende is, en dat neem je uiteindelijk mee in je beoordeling, en dat is wat een datapunt zou kunnen doen, als je dan een datapunt selecteert om te beoordelen. Hoe kijk je daar nu dan naar? Heb je daar een ander inzicht gekomen? Nee, dat is echt een stukje dat veel spannend vindt, aan kwaliteitstukjes. Precies wat Janine hebt gezegd, want er zitten hele mooie uitkomstpunten in, van dat je tot een goede beoordeling wil kunnen komen, of meer data, je wilt de momentname voorkomen, je wilt het leren uitzetten, of zeg maar het bestuurmoment uitzetten. Er zitten heel veel hele mooie uitkomstpunten in, maar dit stukje vindt het zelf heel spannend, want het vermengt heel stukje dingen, en ook dat beoordelen loopt wel meer door elkaar heen, dus je neemt je dat principe mee op het podium, maar eigenlijk was je ook een fout aan het maken, maar toch neem je dat mee, en heb je een heel mooi zinisch vorm, en daardoor krijg je ook zo'n kleur, waarvan zo'n student dan ook al een lange tijd heeft geproceerd, heeft geleerd. Dus dat is raar. Ik vind dat lastig, puur echt op de man als mijn persoon vraagt, ik zou het niet bescheiden, dan is het wel mee, omdat ik denk dat het bescheiden, het fijne is de transparantie, dat de student weet wat er aan de hand is, wanneer mag ik fouten maken, wanneer ben ik aan het leren, wanneer ik daar geen administratie van, aan wanneer staat er wat op het spel, wat wordt er van me verwacht, en dat ik dan frustreren. Maar dat is eigenlijk, ja ook dat is niet, ja deels is er heel veel literatuur achter, en tot en met puten fouten we meer dan elkaar, en het is daar nog een beetje onduidelijk van, wat zijn daar dan de lange termijn effecten van, want daar wordt nu heel hard onderzoek naar gedaan, en jullie met jullie opleiding lopen eigenlijk voor, of zijn dan al wat verder, je hebt daar dan ook nog een plan voor. Maar bij die contacten met de kino's, wordt er ook meer op de palmen gegeven, voor die scheiding, en voor hoe dat in het land van de student, die kijkt daarin, die kunt organiseren. Dus mocht ik energie hebben, dan is het wel gewoon, ik weet het niet, ik kom er niet uit, ik weet het niet. Ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik weet het niet, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit, ik kom er niet uit,