Werken met de audit trail procedure

Voor kwalitatief onderzoek is het best lastig om de betrouwbaarheid en validiteit van je onderzoek te onderbouwen. Voor gangbaar kwantitatief onderzoek bestaan verschillende gestandaardiseerde procedures, waarmee je de betrouwbaarheid en validiteit van je instrumenten kunt bepalen en hierover kunt rapporteren. Omdat je in kwalitatief onderzoek meestal gebruik maakt van niet-gestandaardiseerde instrumenten, is ook de manier om die betrouwbaarheid te bepalen niet gestandaardiseerd.
Dit probleem bestaat al erg lang, en het is eigenlijk verbazingwekkend dat er pas in 2008 een artikel verscheen, dat een samenhangende en bruikbare procedure beschrijft om dit probleem op te lossen. Het gaat om het artikel Auditing Quality of Research in Social Sciences, geschreven door Sanne Akkerman en collega’s (Akkerman et al, 2008).
Zij beschrijven hierin een zogenaamde ‘audit procedure’, waarmee een onderzoeker door middel van een audit, ofwel externe visitatie van zijn of haar onderzoek, een extern oordeel kan verkrijgen over de kwaliteit van het onderzoek. Uiteraard is dat nog steeds geen harde, objectieve ‘maat’ voor betrouwbaarheid, maar de zorgvuldigheid van de procedure, en de mate waarin in detail wordt gekeken naar de oorspronkelijke data en aantekeningen van de onderzoeker, maakt het wel een heel gedegen aanpak, die meer indruk maakt dan de obligate verwijzing naar een handboek kwalitatieve methodologie.

Ik wil hier niet in detail de procedure bespreken. Die staat in het artikel en is bovendien niet heel bijzonder ingewikkeld. De kracht zit in de toepassing. Onlangs hebben we dat binnen onze onderzoeksgroep van promovendi, die vrijwel allemaal kwalitatief onderzoek doen, gedaan. Een van de onderzoekers was bereid om een concept-paper aan een audit te onderwerpen en deed hiervan verslag.
Voor ik bespreek wat volgens haar de leerpunten waren, wil ik nog wel de criteria noemen, die Akkerman et al. noemen om de stappen die in het onderzoeksproces genomen worden, te beoordelen. Dat zijn de volgende drie:

  • Begrijpelijkheid: is het te volgen, welke stappen je gezet hebt? Heb je het voldoende duidelijk opgeschreven?
  • Zichtbaarheid: is het duidelijk, welke stap je neemt? Ben je voldoende expliciet in belangrijke keuzes in je onderzoek?
  • Acceptabelheid: zijn de keuzes voldoende onderbouwd, en voldoen ze aan gangbare normen voor zorgvuldig en gestructureerd onderzoek doen?

Weer, toegegeven: deze criteria zijn niet spijkerhard. Maar, zoals vandaag bleek, bieden ze wel een heel goede basis om op basis hiervan een onderzoek te beoordelen.

Wat is nu de opbrengst van het laten doen van zo’n auditprocedure voor de onderzoeker? In de eerste plaats: je krijgt er heel waardevolle feedback door van een buitenstaander. Alleen al het eerste doorspreken van het onderzoek, om te bepalen of een audit mogelijk is, zorgt er al voor dat je gedwongen wordt met de blik van een buitenstaander naar je onderzoek te kijken.
Vervolgens wordt je, ook weer door een buitenstaander, gedwongen je data, aantekeningen en concept-teksten heel goed structureren. Het zorgt ervoor dat je het pad terug moet bewandelen: waar haal ik eigenlijk vandaan wat ik opgeschreven heb? Je denkt wel dat je alles goed hebt bijgehouden en gestructureerd, maar dat valt toch wel tegen. Je gaat bovendien nog eens zelf met grote stappen door je onderzoeksproces heen, wat je zelf ook tot nieuwe inzichten brengt: “Alsof je oude foto’s terugkijkt.”
En ook al is het oordeel van de audit (zoals bij deze onderzoeker het geval was) negatief, toch is het een opluchting. Het zeker weten wat niet goed is, voelt beter dan de onzekerheid daarvoor over wat er nog niet goed is.
De criteria die in de audit gebruikt worden, hebben hier erg bij geholpen. In de audit werd zichtbaar, dat er vooral een probleem was rond de zichtbaarheid van de gemaakte keuzes in de tekst. Het verduidelijken van deze keuzes (en als gevolg hiervan aanbrengen van een grotere focus in de analyse), zou de acceptabelheid van de onderzoeksaanpak vergroten.

Tot slot vertelde de onderzoeker die deze ronde ‘proefkonijn’ was, dat het nogal eng is om iemand naar je ruwe data te laten kijken. Maar achteraf heeft het wel heel veel opgeleverd. Ik denk dat het een unieke leerervaring heeft opgeleverd, want zelfs onder gevestigde senior-onderzoekers is het helaas nog lang niet gebruikelijk dat iemand anders naar je ruwe data en aantekeningen kijkt.
In onze promovendigroep smaakt het in ieder geval naar meer en we gaan de procedure vaker inzetten!

         

Geef een reactie

Time limit is exhausted. Please reload CAPTCHA.