Tekst Joost van Elk
Een kijkje in het data-analyse proces bij politiek geweld.
Valkuilen
Onderzoeksinstituut Clingendael heeft in opdracht van de ministeries van Buitenlandse Zaken en Defensie onder de vlag van het strategisch onderzoeksprogramma PROGRESS, recentelijk onderzoek gedaan naar de risico’s van datavergaring en -analyse met betrekking tot politiek geweld (‘geweld door een georganiseerde bewapende actor voor politieke doeleinden’) in conflictgebieden. Er kleven namelijk de nodige valkuilen aan het vergaren en duiden van politiek geweld-gerelateerde data. Volgens Clingendael dienen analytici, onderzoekers en beleidsmedewerkers zich van dergelijke valkuilen bewust te zijn. Om deze bewustwording te vergroten beschrijft het onderzoek acht potentiële valkuilen die men kan tegenkomen tijdens het vergaren, duiden en gebruiken van conflictdata.
Politiek geweld in conflictgebieden heeft implicaties voor data collectie.
Risico's van datavergaring
De eerste vier potentiële valkuilen uit het rapport hebben betrekking op het vergaren van conflictdata:
1. Door selectieve keuzes kunnen belangrijke data buiten beeld blijven, waardoor bepaalde trends worden gemist of verkeerd worden geïnterpreteerd;
2. Noodgedwongen kort verblijf in conflictgebieden leidt veelal tot beperkte datavergaring, waardoor kwantitatieve conclusies lastig worden;
3. Ooggetuigen van gebeurtenissen doen vaak onbedoeld subjectief verslag, waardoor sommige incidenten worden over- of onderbelicht;
4. Data worden vaak gebaseerd op informatie van zogenoemde ‘stadselites’ (die bijvoorbeeld de Engelse taal beheersen), waardoor een vertekend beeld kan ontstaan.
Risico's van data-analyse
De laatste vier valkuilen hebben betrekking op het analyseren en duiden van conflictdata:
5. Betrokken partijen kunnen een conflict opzettelijk ‘framen’ in hun voordeel, wat kan leiden tot misinterpretaties over de ernst en omvang van het conflict;
6. Hoewel moderne informatiebronnen zoals satellietdata, real-time informatie en tekst-mining de kwaliteit van analyses juist kan verbeteren, kan verkeerde duiding of zelfs gebrek aan duiding afbreuk doen aan de geloofwaardigheid en relevantie van informatie;
7. Eenzijdige case studies kunnen leiden tot voorbarige kwantitatieve conclusies en onterechte generalisaties;
8. De definities en omschrijvingen die lokale partijen gebruiken, kunnen verschillen per database en dat kan leiden tot invalide conclusies.
Aanpak
Clingendael biedt per genoemde valkuil een aantal handvatten voor professionals om deze valkuilen te vermijden, zowel in de rol van onderzoeker als in de rol van aanbesteder van een onderzoek. Rode draad bij deze aanbevelingen is het raadplegen van verschillende bronnen, het maken van bewuste keuzes ten aanzien van onderzoeksmethodiek en –uitvoering en het afstemmen van de onderzoeksvragen en beschikbare tijd met de onderzoekers. Lees voor meer informatie het uitgebreide rapport en de lijst met aanbevelingen.
