Na recente kritische berichtgeving van Follow the Money over de toepassing van het Risicotaxatie Instrument Geweld (RTI-G), stopt de politie per direct met het gebruik van dit algoritme. Marc Schuilenburg, hoogleraar Digital Surveillance aan Erasmus School of Law, kreeg inzage in de documenten over de onderbouwing van het algoritme en uitte tegenover Follow the Money zijn zorgen over dit opsporingsinstrument. Niet alleen is de effectiviteit ervan niet ge毛valueerd door de politie, ook de risico鈥檚 die het gebruik ervan met zich meebrengen zijn erg hoog. Bovendien vormen ethische en juridische zorgen volgens Schuilenburg belangrijke kritiekpunten.
Sinds 2015 gebruikt de Nederlandse politie een algoritme om op individueel niveau te voorspellen of iemand in de toekomst geweld gaat gebruiken. Daarbij kregen personen met een Antilliaanse, Marokkaanse of Somalische achtergrond tot midden 2017 altijd een hogere score dan personen van andere origines, volgens onderzoek van Follow the Money. Ondanks het feit dat de politie deze instelling uit het algoritme zou hebben gehaald, kan zo鈥檔 algoritme alleen maar tot problemen leiden, zegt Schuilenburg.
Ernstige tekortkomingen
De hoogleraar is zeer kritisch op RTI-G: 鈥淓r zitten enorme risico鈥檚 aan.鈥 Ten eerste omdat het op gebiedsniveau al erg moeilijk is om tot betrouwbare misdaadvoorspellingen te komen, dus op individueel niveau is de kans van slagen al helemaal laag, ziet Schuilenburg: 鈥淒it is nog vele malen ingewikkelder. Er spelen oneindig veel factoren een rol. Ieder mens is verschillend.鈥
Iemand aanmerken als persoon met een risicoprofiel, geeft de politie allerlei ingrijpende opsporingsbevoegdheden, zoals preventief fouilleren en het doorzoeken van de auto van desbetreffend persoon. Wanneer de politie de vrijheid van een burger zo ernstig wil beperken, moet hier gedegen verantwoording over worden afgelegd. Volgens Schuilenburg voldoet de onderbouwing in het verantwoordingsdocument van het algoritme niet: 鈥渄e input, de verwerking en de output. Het schiet allemaal tekort.鈥 Volgens Schuilenburg ontbreekt de juiste informatie over de gebruikte data, de selectie van de risicofactoren, de weging, hoe het model is gevalideerd en de controle op vooringenomenheid. Ook is er geen tussentijdse evaluatie terug te vinden in het document: 鈥淒e risicofactoren in dit instrument zijn tien jaar geleden bedacht, maar er is nooit meer naar gekeken. Het kan echt niet op deze manier.鈥
Voorzorgmaatschappij
Schuilenburg onderzoekt waarom de overheid dit soort voorspellende algoritmes gebruikt en hoe ze werken: 鈥淚n de politiek en de samenleving gaat het om het voorkomen van potenti毛le risico鈥檚. Vroeger was er eerst een verdenking en dan pas surveillance. Nu is er eerst surveillance en dan pas een verdenking.鈥
Instrumenten zoals dit algoritme van de politie kunnen volgens Schuilenburg ontstaan, omdat veiligheid, effectiviteit en effici毛ntie binnen onze samenleving zwaarder wegen dan transparantie, non-discriminatie en algoritmische verantwoording. Zodoende ontstaat er zoiets als RTI-G: 鈥淒it moet je niet willen. Niet alleen ethisch gezien, maar ook juridisch. Dit risicomodel valt in alle opzichten onder de definitie van 鈥榟oogrisico鈥 in de toekomstige verordening Artifici毛le Intelligentie van de Europese Unie. Het botst met de vereisten die daarin staan.鈥
Marc Schuilenburg is verheugd dat de politie stopt met het gebruiken van RTI-G. Er zijn twijfels of het instrument nut heeft, en het is niet duidelijk of agenten er 眉berhaupt nog gebruik van maakten, zegt een politiewoordvoerster na berichtgeving van Follow The Money.
- Professor
- Meer informatie
Klik voor het hele onderzoek naar RTI-G door Follow the Money.
Klik voor het bericht van Follow the Money over het afschaffen van RTI-G door de politie.
