Observatietool

1.1 Bedenk wie de lesobservaties gaan uitvoeren. De keuze voor een observator kan effecten hebben op een geobserveerde docent, bijvoorbeeld als er een hiërarchische relatie is. Wees je bewust van deze mogelijke effecten.

1.2 Als de lesobservaties onder meerdere observatoren worden verdeeld, dan volgt er eerst een bijeenkomst om af te stemmen over het observatieschema. Het onderliggende observatieinstrument focust zich op een onderwijsvernieuwing met als doel onderwijs-op-maat, differentiatie en keuzevrijheid voor leerlingen te bereiken.

Het doel van deze afstemmingsbijeenkomst is om de interpretatie van de observatieindicatoren met alle observatoren te bespreken. Per indicator stem je met elkaar af wat je invult, zodat alle observatoren dit op dezelfde manier doen. Gebruik hiervoor dit document. Dit is belangrijk voor de betrouwbaarheid van het instrument. Tijdens de afstemmingsbijeenkomst testen de observatoren de observatietool uit bij een videoclip van een les en bespreken ze nadien elkaars antwoorden totdat ze overeenstemming bereiken over hoe ze met het instrument de lessen zullen interpreteren.

In principe pas je het invulschema niet aan, want de tool is wetenschappelijk getoetst. Mogelijke redenen om de tool toch aan te passen:

• Bepaalde aspecten van jouw vernieuwing staan niet in de tool.
• Bepaalde onderdelen of indicatoren sluiten niet aan bij het observatiedoel.
• Over bepaalde onderdelen of indicatoren bereiken de observatoren geen overstemming.

1.3 Bedenk bij welke docenten de lesobservaties worden uitgevoerd.

1.4 Benader de (geselecteerde) docenten en vraag vooraf toestemming voor het observeren van hun les. Leg duidelijk uit wat de doelstelling van de observatie is (d.w.z. niet beoordelen van de docent, maar van de vernieuwing). Geef dan ook aan dat je vertrouwelijk om zult gaan met de gegevens en leg uit dat de lesobservatie vrijwillig is.

1.5 Na toestemming van de leraren kan er een lesobservatie ingepland worden. Let hierbij op de volgende zaken:

• Representativiteit: wanneer bijvoorbeeld de vernieuwing in de gehele onderbouw plaatsvindt, observeer je niet enkel in de brugklas.
• Observeerbaarheid: plan bijvoorbeeld geen observaties tijdens een toetsuur.

1.6 Zorg dat je alle benodigdheden voor de lesobservaties bij de hand hebt. Je kunt hiervoor de geprinte observatieschema’s of een laptop gebruiken. Ook kun je vooraf de gang van zaken met de docent die je gaat observeren afstemmen.

Aantal observaties

Afhankelijk van de schaalgrootte van de onderwijsvernieuwing werken 1 tot alle docenten van de school aan de observaties mee. Bij een kleine groep docenten (< 20 docenten) is het niet nodig om een selectie te maken; dan is het aanbevolen om alle docenten te benaderen voor een lesobservatie. Bij een grotere groep docenten (> 40 docenten) is het wel handig om een selectie te maken (40 tot 50%). Zorg dan vooraf voor een representatieve afspiegeling van docenten wat betreft vak, leservaring en ervaring met de vernieuwing.

Voor een betrouwbaar beeld van de onderwijsvernieuwing zijn er ten minste 2 lesobservaties per docent nodig.

2.1 De observator zoekt een geschikte plek in het klaslokaal. Let hierbij op dat je zicht hebt op het hele klaslokaal en dat je docent en leerlingen niet afleidt.

2.2 Zorg dat de leerlingen een introductie krijgen over de lesobservatie (het doel van de observatie wordt verteld en, indien nodig, stelt de observator zich voor).

2.3 Pak de observatietool erbij. Tijdens de les:

• Start met een contextbeschrijving van de les in het open tekstvak (onderwerp, leerdoelen, sfeer in de klas, etc.).
• Schrijf in steekwoorden per observatiecriterium wat je daarvan hebt geobserveerd.
• Beschrijf bij het observeren zo veel mogelijk observeerbaar gedrag in plaats van eigen interpretaties van gedrag (gedrag = ‘leerlingen kijken op hun device nadat de docent instructie over de taak heeft gegeven’, interpretatie = ‘leerlingen beginnen enthousiast aan de taak op hun device).
• Als leerlingen zelfstandig aan het werk zijn, zorg dan dat je de schermen van leerlingen kunt zien. Beschrijf wat de leerlingen aan het doen zijn en welke rol de docent heeft tijdens het zelfstandig werken van leerlingen.
• Wanneer de les voor 80% voorbij is zorg er dan voor dat het beoordelen van de bolletjes ‘nauwelijks’, ‘een beetje’, ‘sterk’ voor alle criteria is gedaan en vul eventueel de steekwoorden aan per criterium om je oordeel te onderbouwen.

2.4 Na de les:

• Bedank de docent en de leerlingen.
• Wacht niet te lang met het verwerken van de lesobservatie in het Excel-format. Als je de observaties snel verwerkt, kun je meer noteren, omdat je beter weet wat er is gebeurd in de les. Zorg dat je de steekwoorden uitwerkt in zinnen. Een andere docent moet kunnen begrijpen wat jij hebt geobserveerd.

2.5 Sla de lesobservatie op een beveiligde plek op.

Hoe analyseer je de verkregen antwoorden?

De analyses zijn gericht op het beschrijven van de onderwijsvernieuwing door iets te zeggen over de mate waarin leraren differentiëren en waarin er keuzevrijheid wordt geboden aan leerlingen. Daarnaast zegt de analyse iets over de verschillende manieren waarop de onderwijsvernieuwing wordt ingevuld door leraren.

Beschrijving van de mate waarin leraren differentiëren en keuzevrijheid bieden

3.1 Voer de observaties in het Excel-format in bij het tabblad ‘Invoerblad’. Neem hierbij de observaties (niet geobserveerd, nauwelijks, een beetje, sterk) over in het Excel-format.

Hier kun je het Excel-format downloaden.

3.2 De observaties worden in het Excel-format automatisch geanalyseerd. Het Excel-format houdt er rekening mee dat sommige leraren vaker dan anderen zijn geobserveerd. Er wordt eerst een gemiddelde score per docent per observatie-indicator berekend in het tabblad ‘Gemiddelde per docent’. Op het tabblad ‘Resultaten’ staat een overall gemiddelde per indicator (vb. positieve feedback) en een gemiddelde per observatieschaal (vb. feedback).

Indicatoren die samen één onderdeel meten (bijvoorbeeld positieve feedback) noemen we een schaal. In het Excel-format staat ook een gemiddelde per schaal. Verder zijn in het Excel-format de betrouwbaarheid en standaardafwijking van de schalen te bekijken.

Beschrijving van de verschillende manieren waarop leraren de onderwijsvernieuwing invullen.

Hiervoor gebruik je de contextbeschrijving per geobserveerde les (dit is de algemene lesbeschrijving) en de toelichting per observatie-indicator binnen een schaal.

3.3 Kopieer voor elke geobserveerde les de contextbeschrijving naar het format ‘beschrijvingen observatietool’. Plak alle contextbeschrijvingen onder elkaar.

3.4 Doe hetzelfde voor de toelichtingen per observatie-schaal.

3.5 Lees alle contextbeschrijvingen door en arceer stukken tekst die je opvallen omdat het past bij de onderwijsdoelstellingen (differentiatie en keuzevrijheid).

3.6 Lees alle gearceerde stukken van de contextbeschrijvingen nog eens door: welke variaties vallen je op? Kun je er een indeling in maken? Probeer een indeling te maken met de volgende vraag in het achterhoofd: Op welke manieren hebben leraren invulling gegeven aan de onderwijsdoelstellingen?

3.7 Volg dezelfde procedure voor de toelichtingen per observatieschaal (m.n. de schalen individueel leren, activerende en gedifferentieerde instructie en keuzevrijheid).

3.8 Vul de gemaakte indeling op basis van de contextbeschrijvingen (stap 6) aan met de verschillende manieren waarop de docenten de onderwijsvernieuwing hebben gerealiseerd (stap 7). Oftewel zijn er overeenkomsten of verschillen tussen de uitkomsten van stap 6 en 7?

Wat vertellen de resultaten jou?

Stap 1: Check de betrouwbaarheid van de motivatieschalen in het Excel-format. Dit is nodig omdat allerlei aspecten de antwoorden van leerlingen kunnen beïnvloeden. Denk bijvoorbeeld aan facturen als wie de vragenlijst afneemt en de achtergrond van de leerlingen.

Stap 2: Interpreteer de gemiddeldes en standaardafwijkingen van de motivatieschalen. Over het algemeen geldt dat een gemiddelde score van de schalen intrinsieke motivatie, geïdentificeerde motivatie en de externe motivatie boven de 3 en een gemiddelde score van de schaal amotivatie onder de 3 erop duidt dat de leerlingen gemotiveerd zijn voor het onderwijs. De standaardafwijking geeft informatie over de spreiding van de verschillende scores rond het gemiddelde.

Wat kun je vervolgens doen met de resultaten?

1. Het gesprek aangaan met de schoolleiding over de vernieuwing.
2. Het onderwijs aanpassen met als doel de motivatie van leerlingen (verder) te verhogen.
3. Zoeken naar onderliggende redenen voor een eventuele tegenvallende motivatie. Hiervoor kunnen leerlingen en docenten worden geïnterviewd. Bijvoorbeeld met onze interviewtool leraren.

1) Deze tool geeft inzicht in niet alleen de vraag of een onderwijsvernieuwing werkt, maar ook hoe het werkt. Door enkele lessen nauwkeurig te beschrijven geeft dit inzicht in hoe het onderwijsleerproces bijdraagt aan het succes van een onderwijsvernieuwing;

2) De verzamelde informatie is niet afhankelijk van de interpretaties en meningen van de deelnemers aan de onderwijsvernieuwing (docenten en leerlingen).

1) Er zijn meerdere observaties nodig voor een betrouwbaar beeld;

2) De observator dient nauwkeurig en systematisch te werk te gaan om observatie-bias te voorkomen. Hierbij is een consensus onder de observatoren over hoe het observatieinstrument gebruikt wordt belangrijk (zie stap 1b in het stappenplan observatieinstrument).