In de snel evoluerende wereld van onderwijstechnologie staat Moodle dankzij gedreven Moodle community ontwikkelaars vooraan bij innovatie. De ‘AI Text Question Type’ plugin, ontwikkelt door Marcus Green en voor het eerst gelanceerd tijdens DACH MoodleMoot in 2024 maakt het mogelijk om open vragen automatisch te laten beoordelen door AI systemen zoals ChatGPT of open source alternatieven zoals Ollama of Groq. Maar terwijl deze technologie fascinerende mogelijkheden biedt, roept het ook belangrijke vragen op over de rol van AI in beoordeling en onderwijs.
Wat is de AI Text Question Type?
De ‘AI Text Question Type’ is een Moodle plugin die tekstantwoorden van studenten naar een extern groot taalmodel (LLM) stuurt voor beoordeling en feedback. Elke vraag kan worden geconfigureerd met specifieke prompts voor zowel feedback als beoordeling. De plugin ondersteunt momenteel verschillende AI-providers:
- ChatGPT via OpenAI’s API
- Google Gemini
- Open source modellen via Ollama
- Groq Cloud
Marcus Green, de ontwikkelaar, werkt sinds zijn eerste versie in september 2024 continu aan verbeteringen en uitbreidingen. De plugin wordt al gebruikt door docenten aan universiteiten wereldwijd, waaronder in Duitsland, Japan, Israël en Turkije.
Huidige status en ontwikkeling
Hoewel de plugin nog niet officieel beschikbaar is in de Moodle plugins database, is deze wel toegankelijk via GitHub. Green heeft aangegeven dat hij de plugin wil indienen voor de officiële database zodra deze voldoende ‘volwassen’ is.
Recent is er gewerkt aan nieuwe functionaliteiten zoals:
- Een ‘expert mode’ voor geavanceerde instellingen
- ‘AISpeek’ functionaliteit, mogelijk voor audio-gebaseerde feedback
- Ondersteuning voor meerdere AI-providers
- Verbeterde backup en restore van voorbeeldantwoorden
Kritische overwegingen
De opkomst van AI-beoordelingssystemen zoals deze roept bij ons belangrijke vragen op. Dat we niet de enige zijn blijk ook uit de discussies op het Moodle forum blijkt dat er zowel enthousiasme als terughoudendheid bestaat over deze technologie.
Beperkingen van AI-beoordeling
De ontwikkelaar zelf erkent dat de beoordelingen door AI-systemen “variabel” kunnen zijn, en dat het soms moeilijk is om het LLM te laten uitleggen waarom het bepaalde punten heeft toegekend [1]. In zijn eigen woorden:
“Yes and No, or not at the moment. Let me explain. The question type illustrated is very much under active development and I am constantly discovering some of the limitations. Most recently I have found that the grading in the sense of awarding marks is quite ‘variable’, and I have problems getting the AI to explain why it has given the marks it has awarded. That may be fixable by better prompting.”
Deze uitspraak is afkomstig uit de Moodle forumpost van Marcus Green in de discussie “AI Text Question Type: (Essay with auto marking” op moodle.org, waarin hij antwoordt op een vraag over het automatisch beoordelen van vragen door AI.
Formatief vs. Summatief
Een belangrijke consensus die uit de forumgesprekken naar voren komt, is dat deze technologie momenteel beter geschikt is voor formatieve beoordeling dan voor summatieve (high-stakes) beoordelingen [2]. Marcus Green stelt duidelijk in de discussie AI Text Question Type: (Essay with auto marking“:
“However I don’t think it should ever be used for any type of high stakes assessment.”
Deze opvatting werd ondersteund door meerdere andere deelnemers aan de discussie. Kortweg: de plugin excelleert in het geven van formatieve feedback en het ondersteunen van het leerproces, maar is mogelijk nog niet betrouwbaar genoeg voor beslissende examens.
AI in onderwijs: Hype of toekomst?
Hoewel jongere professionals doorgaans sneller geneigd zijn om met AI te experimenteren, blijft de kritische vraag of onze onderwijsinstellingen en docenten al klaar zijn om AI op deze wijze in te zetten bij beoordelingen.
Recente ontwikkelingen laten zien dat er wereldwijd al docenten zijn die AI gebruiken voor het beoordelen van essays, maar dit roept ethische vragen op.
- Is een AI werkelijk in staat om de nuance, creativiteit en kritisch denken in studentenwerk te herkennen?
- In hoeverre beïnvloedt de wetenschap dat een AI het werk beoordeelt het schrijfproces van studenten?
Wilfred Rubens wijst in zijn blog op een belangrijk punt: de invloed van AI op nieuwsgierigheid als motor van ontwikkeling. Hij waarschuwt dat we moeten oppassen dat AI niet de prikkel tot verwondering en nieuwsgierigheid vermindert, juist essentiële elementen voor diep leren. In het geval van automatische beoordelingen bestaat het risico dat studenten leren te schrijven ‘voor de AI’ in plaats van werkelijk begrip te ontwikkelen.
Het implementeren van tools zoals de AI Text Question Type vereist daarom niet alleen technische kennis, maar ook een fundamentele discussie over pedagogische visie.
- Wat willen we dat studenten leren?
- Hoe past automatische beoordeling binnen onze onderwijsfilosofie?
- Hoe zorgen we ervoor dat we de menselijke elementen van onderwijs – verbinding, inspiratie en echte betrokkenheid – niet verliezen in ons streven naar efficiëntie?
Een gebalanceerde benadering
De AI Text Question Type vertegenwoordigt een spannende ontwikkeling in de evolutie van beoordelingstools voor onderwijs.
Het potentieel voor efficiëntie, onmiddellijke feedback en schaalbare beoordelingen is aanzienlijk. Tegelijkertijd moeten we realistisch blijven over de huidige beperkingen van AI-technologie.
Voor onderwijsinstellingen die deze technologie overwegen, raden we een gefaseerde implementatie aan:
- Begin met low-stakes formatieve beoordelingen
- Werk met docenten om effectieve prompts te ontwikkelen
- Controleer regelmatig de kwaliteit van AI-beoordelingen
- Behoud menselijke supervisie en mogelijkheid tot overrulen
- Blijf transparant naar studenten over het gebruik van AI in beoordelingen
Zoals Marcus Green zelf opmerkt in het forum:
“The question is not if this stuff gets used, it is when and by who and for what price, and the discussion in this thread should help to highlight the issues.”
De discussie zou moeten gaan over hoe we deze technologie verantwoord kunnen inzetten, niet of we dat moeten doen.
Terwijl de AI Text Question Type verder evolueert en Moodle zijn AI Subsystem uitbreidt, zullen we blijven volgen hoe AI-beoordelingen zich ontwikkelen en hoe ze het beste kunnen worden geïntegreerd in een pedagogisch verantwoorde onderwijsomgeving.
Wil je meer weten over deze plugin of andere AI-ontwikkelingen binnen Moodle? Neem dan met ons contact op.