De financiële consument in het big-datatijdperk: een juridische verkenning van profiling, machine learning en geautomatiseerde besluitvorming
Prijs vergelijk ADSL, kabel, glasvezel aanbieders en bespaar geld door over te stappen!
In de financiële sector wordt steeds meer gebruikgemaakt van nieuwe data-gedreven technieken als machine learning, profiling en geautomatiseerde besluitvorming.
Sommige toepassingen van deze technieken hebben relatief weinig impact. Zo gebruikt Danske Bank machine learningtechnieken om te bepalen hoe een klant het liefst benaderd wil worden (per telefoon, e-mail of brief).1 Meer impactvol is het echter al dat Danske Bank deze technieken ook gebruikt om te bepalen, wanneer welke producten voor een klant relevant kunnen zijn. Zo wordt machine learning door Danske Bank gebruikt om te achterhalen wanneer de klant van baan wisselt en dus behoefte zal hebben aan financieel advies. Een volgend niveau bereikt het crowdfundingbedrijf Funding Circle dat mede afhankelijk van hoe de klant Funding Circle benadert (via welk medium en welk tijdstip) het risiconiveau van een lening die verstrekt wordt aan deze klant inschat en op basis van deze inschatting het renteniveau van deze lening bepaalt.2
Dit artikel verkent de diverse juridische implicaties van en discussiepunten bij toepassing van machine learning, profiling en/of geautomatiseerde besluitvorming binnen de financiële sector. Daarmee beoogt dit artikel een aanzet te geven tot discussie en relevant te zijn voor juristen in de financiële sector en wetenschappers, beleidsmakers en toezichthouders die zich op de financiële sector richten.
2. Opzet van dit artikel
Dit artikel betreft de financiële sector. Met financiële sector bedoel ik die ondernemingen die vanwege hun activiteiten onder toezicht staan van DNB en AFM.3 Dit zijn onder meer banken en verzekeraars en ondernemingen die adviseren over en bemiddelen in financiële producten. Hoewel de nieuwe technieken ook worden toegepast buiten de financiële sector, verdient de financiële sector bijzondere aandacht vanwege de grote hoeveelheden data die financiële ondernemingen van hun klanten hebben en de bijzondere – aan een nutsfunctie grenzende – maatschappelijke rol van de financiële sector.
Binnen de financiële sector zijn er doorgaans twee (of drie) actoren bij een transactie betrokken. Naast de klant gaat het doorgaans om de aanbieder (en eventueel een adviseur of bemiddelaar). De klant is diegene die een financieel product afneemt. De aanbieder is diegene die als wederpartij van de klant optreedt. Zo kan een klant een krediet afsluiten bij een bank. De bank is hierbij de contractuele wederpartij van de klant. De bank verstrekt een krediet aan de klant. De klant betaalt rente en aflossing aan de bank. De klant kan ervoor kiezen zich te laten bijstaan door een adviseur (of bemiddelaar). Deze persoon helpt de klant en treedt juist niet op als wederpartij. Behalve dat de klant de adviseur betaalt voor zijn advies en de adviseur een deugdelijk advies verstrekt, hebben adviseur en klant geen verplichtingen jegens elkaar.
In dit artikel spreek ik over klanten. Dit zijn de personen die door de aangehaalde regelgeving beschermd worden. Ik gebruik bewust de juridisch niet gedefinieerde term klant, omdat het beschermingsbereik van de verschillende hierna te bespreken soorten regelgeving verschilt. Zo beschermt de Algemene verordening gegevensbescherming (AVG) natuurlijke personen, onafhankelijk van het feit of zij in de uitoefening van bedrijf of beroep handelen,4 terwijl de Europese gedragsregels bij kredietverlening alleen van toepassing zijn op het aanbieden van krediet aan niet in de uitoefening van hun bedrijf of beroep handelende natuurlijke personen (consumenten).5 De cliëntenprotectie bij de verkoop van verzekeringen of dienstverlening met betrekking tot beleggingen strekt zich weer uit tot alle klanten, ook tot bedrijven.
Dit artikel kent (vanaf hier) de volgende opbouw. In paragraaf 3 zet ik de relevante technische begrippen uiteen. Ik leg hier uit wat bedoeld wordt met profiling, machine learning en geautomatiseerde besluitvorming. Daarna verken ik de diverse complicaties die spelen bij toepassing van deze technieken door financiële ondernemingen bij relaties met hun klanten.
De eerste complicatie, die ik bespreek in paragraaf 4, bestaat erin dat deze nieuwe technieken berusten op correlatie (toevallige samenhang) in plaats van causaliteit (noodzakelijke samenhang). Ik illustreer dat het Nederlandse recht er niet op is toegerust dat beslissingen ten aanzien van klanten worden genomen op basis van correlatie, in plaats van causaliteit.
In paragraaf 5 bespreek ik hoe beoordeeld dient te worden of een financiële onderneming die gebruikmaakt van machine learning of geautomatiseerde besluitvorming aansprakelijk is voor onjuiste besluiten. Het probleem dat ik hier adresseer is, dat rechtsregels zijn opgesteld in een tijd dat mensen bedachten wat er gebeurde en besluiten namen. Deze rechtsregels voorzien niet in antwoorden wat mag worden verwacht van een computer die bepaalt hoe wordt gehandeld.
In paragraaf 6 bespreek ik aan welke voorwaarden moet worden voldaan op grond van de AVG, wil geautomatiseerde besluitvorming zijn toegestaan. Ik bespreek ook welke praktische implicaties de AVG heeft voor de mogelijke verdienmodellen van financiële ondernemingen.
In paragraaf 7 ga ik in op prijsdiscriminatie. Als de klant door toepassing van de nieuwe technieken beter gekend wordt, dan is dat niet altijd in zijn voordeel. De financiële onderneming kan proberen sommige klanten meer te laten betalen of sommige klanten weigeren. In de economische literatuur wordt dit aangeduid als prijsdiscriminatie.
In paragraaf 8 bespreek ik wanneer sprake is van verboden discriminatie in juridische zin (bijv. op basis van ras) bij geautomatiseerde besluitvorming. In essentie is de vraag hier: hoe kan worden vastgesteld dat een computer discrimineert?
In paragraaf 9 ga ik kort in op de vraag wat het betekent voor het in het consumentenrecht vaak gebruikte begrip ‘gemiddelde consument’, als de financiële onderneming in staat is door middel van profiling specifieke klantsegmenten aan te spreken.
In paragraaf 10 sluit ik af met een samenvatting.
3. Relevante begrippen
In deze paragraaf zet ik de relevante begrippen uiteen.
3.1. Wat is profiling?
De AVG definieert profiling als volgt:6
‘elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen.’
Volgens de Artikel 29-werkgroep (de vergadering van alle dataprotectieautoriteiten van de lidstaten van de Europese Unie en die van de Europese Unie zelf) gaat het bij profiling in essentie om het volgende:7
1. er wordt informatie verzameld over een individu; 2. zijn eigenschappen en gedragspatronen worden geanalyseerd;
3. het individu wordt in een groep/categorie van vergelijkbare individuen geplaatst;
4. op basis hiervan worden zijn capaciteiten beoordeeld of voorspellingen gedaan.
De gedachte is dat mensen op elkaar lijken. Als individu X op eigenschap A, B en C overeenkomt met individu Y, dan is aannemelijk dat als individu Y eigenschap D heeft individu X eveneens deze eigenschap D zal vertonen. Een concreet voorbeeld: als u boek A, B en C heeft gekocht bij bol.com, en een andere klant kocht boek A, B, C en D, dan is het aannemelijk dat ook u boek D leuk zult vinden. Bol.com kan dan besluiten u dit boek D aan te raden. Een voor de klant minder prettig voorbeeld is: klant X heeft eigenschappen A, B en C. Klant Y had ook deze eigenschappen A, B en C en kon op enig moment de rente op zijn lening niet meer betalen. Klant X krijgt geen lening van zijn bank.8 Afhankelijk van hoe profiling wordt ingezet, kan het dus meer of minder impactvol zijn voor de klant.
3.2. Wat is machine learning?
Machine learning is een techniek om de computer patronen te laten vinden in big data.9 De computer kan aan de hand van de door hem ontdekte patronen in de data vragen beantwoorden, voorspellingen doen of beslissingen nemen. Een bekend voorbeeld is dat de computer kan vaststellen of op een plaatje een kat staat. De computer heeft dit geleerd door heel veel plaatjes waarvan door mensen is aangegeven dat hierop een kat staat te bestuderen. Vervolgens kan de computer ook plaatjes van een kat herkennen zonder dat dit erbij wordt vermeld. Een computer hoeft niet van tevoren verteld te worden, waarnaar hij moet zoeken, maar kan dit zelf leren. Zo kan een mens beredeneren dat de kans dat een klant zijn hypotheekrente niet meer gaat betalen, groter wordt naarmate de hoeveelheid spaargeld terugloopt. Hij kan de computer dan laten zoeken naar klanten met een spaarrekening waarvan het saldo terugloopt. Dit is automatiseren, maar niet machine learning. De computer voert slechts van tevoren volledig door de mens bedachte handelingen uit. Een mens kan de computer echter ook een grote hoeveelheid data over klanten geven. De computer kan daarin dan patronen ontdekken waar een mens niet direct op komt. Zo zou de computer kunnen ontdekken dat als het aantal maandelijks terugkerende betalingen afneemt, de klant een jaar later in de problemen komt met de aflossing van zijn lening. Of eventuele nog onverwachtere verbanden, die ik u dus ook niet kan mededelen. Dan leert de computer dus nieuwe dingen en verrast de mens. Machine learning en profiling gaan vaak samen, maar dat hoeft niet. Zo kan door middel van machine learning ook het verband worden onderzocht tussen bijv. de dag van de week, het weer, diverse andere variabelen en het optreden van files. Omdat er geen conclusies worden getrokken over mensen is geen sprake van profiling.
3.3. Wat is geautomatiseerde besluitvorming?
Geautomatiseerde besluitvorming wordt niet gedefinieerd in de AVG zelf. Wel wordt deze definitie toegelicht door de Artikel 29-werkgroep.10 In essentie gaat het om elke beslissing waarbij geen mens te pas komt en die is gebaseerd op gegevens die een natuurlijke persoon betreffen. Dit kan een simpele beslissing zijn. Zo is het proces waarbij een burger een boete krijgt als hij te hard langs een flitspaal is gereden, volledig geautomatiseerd. Deze geautomatiseerde besluitvorming kan echter ook gebaseerd zijn op profiling of machine learning. Een voorbeeld van geautomatiseerde besluitvorming gebaseerd op profiling is: een verzekeraar krijgt toegang tot de data van de flitspalen, de computer krijgt opdracht elke klant met meer dan drie verkeersboetes automatisch af te wijzen voor een overlijdensrisicoverzekering, want onderzoek wijst uit dat mensen die agressief rijden vaak ook ander onwenselijk gedrag vertonen, waardoor zij eerder doodgaan. Een voorbeeld van geautomatiseerde besluitvorming gebaseerd op machine learning is: een bank krijgt toegang tot de data van de flitspalen, deze worden toegevoegd aan de andere data om het kredietrisico van de klant te bepalen. Op basis van onder meer deze data bepaalt de computer het kredietrisico van de klant en de rente die de klant betaalt.
4. De huidige normen voor informatiewinning door financiële ondernemingen schuren met beslissingen die zijn genomen op basis van machine learning en profiling
Een eerste juridische complicatie bij machine learning en profiling bestaat eruit, dat de normen voor informatiewinning in het kader van ken-uw-cliëntverplichtingen uitgaan van causale verbanden. De essentie van profiling en machine learning is echter correlatie. Dit betekent dat adviezen die zijn verstrekt en beslissingen die zijn genomen op basis van profiling en machine learning mogelijk niet voldoen aan de huidige normen in de Wet op het financieel toezicht (Wft). Tevens zullen civiele rechters die in het kader van de zorgplicht moeten beoordelen of de ken-uw-cliëntverplichtingen zijn nagekomen zich moeten verdiepen in deze nieuwe technieken. Ik licht dit toe.
4.1. Wat is het verschil tussen causaliteit en correlatie?
De FSB legt het onderscheid tussen causaliteit en correlatie als volgt uit:11
‘In general, machine learning deals with (automated) optimisation, prediction, and categorisation, not with causal inference. In other words, classifying whether the debt of a company will be investment grade or high yield one year from now could be done with machine learning. However, determining what factors have driven the level of bond yields would likely not be done using machine learning.’
Bij een causaal verband bestaat er een logische (causale) relatie tussen A en B. Een voorbeeld van een causale relatie: als de bestuurder op het gaspedaal drukt (oorzaak A) gaat de auto rijden (gevolg B). Bij correlatie komen A en B vaak gelijktijdig voor, maar is niet duidelijk dat A B veroorzaakt. Een bekend voorbeeld ter verduidelijking van correlatie: Google kan met behulp van machine learning voorspellen wanneer een griepgolf uitbreekt. Dit is namelijk het geval als er in Google meer gezocht wordt op het woord griep. Eenieder zal echter begrijpen dat deze zoekopdrachten niet deze griepepidemie veroorzaken. Als u elke dag het woord griep googelt, krijgt u daar geen griep van. Met andere woorden: gegoogel op het woord griep (fenomeen A) en een griepepidemie (fenomeen B) komen vaak gelijktijdig voor (wel correlatie dus), maar A veroorzaakt B niet (geen causaliteit dus).
Een concreet voorbeeld van op correlatie gebaseerde profiling uit de financiële sector wordt genoemd door de CEO van het crowdfundingbedrijf Funding Circle. Ik citeer:12 ‘We hebben geleerd dat er verschil is tussen de risicoprofielen van mensen die via e-mail, Facebook of LinkedIn bij ons komen. Het tijdstip van de dag waarop het aanvraagformulier wordt ingezonden, vertelt ons ook wat, net als de tijd die de ondernemer besteedt aan het invullen van het formulier.’ Eenieder zal begrijpen dat het feit dat een ondernemer ervoor kiest zijn formulier ’s middags en niet ’s avonds in te vullen niet het ondernemingssucces bepaalt. Een ondernemer die kennis heeft genomen van het beleid van Funding Circle en besluit alsnog het formulier ’s avonds in te vullen, heeft daardoor geen grotere kans op succes van zijn onderneming. Blijkbaar is het echter wel zo dat ondernemers die op een bepaald tijdstip hun kredietverzoek indienen over het algemeen bepaalde eigenschappen hebben die maken dat zij succesvoller zijn dan andere ondernemers. Er is dus wel een correlatie tussen het moment waarop ondernemers hun aanvraag invullen en het ondernemingssucces, maar geen causaal verband.
4.2. Staat de Wft informatiewinning gebaseerd op correlaties toe?
Naar mijn oordeel faciliteert de publiekrechtelijke regelgeving in de Wft vaak niet dat een financiële onderneming bij de nakoming van zijn ken-uw-cliëntverplichtingen alternatieve informatiebronnen ten grondslag legt aan besluiten en adviezen. Zo schrijft de Wft dwingend voor (bijvoorbeeld bij financieel advies en de toets ter voorkoming van overkreditering) welke informatie bij de klant moet worden ingewonnen en dat de dienstverlening op deze informatie moet worden gebaseerd.13 Het is partijen niet toegestaan zich louter op basis van andere informatie een beeld te vormen van de klant. In een zaak waar de financiële onderneming het standpunt innam geen onderzoek te hoeven doen naar de financiële positie, doelstellingen, risicobereidheid etc. van iedere individuele klant, omdat zijn klantengroep (beroepsmilitairen) homogeen was, oordeelde (de AFM en) de voorzieningenrechter van de Rechtbank Rotterdam als volgt:14
‘Dat verzoekster tevoren een onderzoek heeft gedaan naar een – naar zij stelt – homogene doelgroep, ontslaat haar niet van de verplichting om een op de cliënt toegesneden advies te geven en daartoe de nodige informatie te vergaren. Informatievergaring door specifieke vragen aan een bepaalde cliënt, kan naar voorlopig oordeel slechts achterwege blijven indien die informatie noodzakelijkerwijze voortvloeit uit andere informatie omtrent de betrokken cliënt waarnaar al wel navraag is gedaan. Aldus is dan immers feitelijk alle relevante informatie beschikbaar. Die specifieke informatievergaring kan derhalve niet achterwege blijven in gevallen waarin een product “vrijwel steeds” aan de wensen van een bepaalde categorie cliënten tegemoet komt, noch als aangenomen kan worden dat bepaalde omstandigheden zich bij hen “gewoonlijk” voordoen: een advies dat gewoonlijk goed is, is in uitzonderingsgevallen onjuist.’
Ook recent heeft de AFM zich nog op het standpunt gesteld, dat het is toegestaan aannames te doen over de klant (omdat deze tot een bepaalde (doel)groep) behoort, maar dat deze aannames altijd moeten worden voorgelegd aan de klant.15 De essentie van profiling (zie paragraaf 3.1) is echter dat aannames worden gedaan zonder al de onderliggende feiten uit te vragen. Deze visie van de AFM belemmert innovatie in de wijze waarop informatie wordt ingewonnen over de klant en dit is niet altijd in het belang van de klant. Individuele informatie-inwinning van de thans verplicht voorgeschreven informatie kan namelijk zo duur zijn dat het alternatief is, dat de klant van financiële dienstverlening verstoken blijft. Ik roep de AFM dus op voor het gebruik van aannames open te staan. Uiteraard dient de financiële dienstverlener wel een zekere mate van transparantie over het gebruik van aannames te geven, waarover meer in paragraaf 6.2, maar dit is iets anders dan dat elke aanname bij de klant moet worden geverifieerd.
4.3. Staat het civiele recht informatiewinning gebaseerd op correlaties toe?
Ook de civiele rechter zal zijn werkwijze moeten aanpassen als de ken-uw-cliëntverplichtingen bij financiële dienstverlening door middel van profiling en machine learning worden nagekomen.
Thans wordt een rechter die moet vaststellen of een klant al dan niet is overgekrediteerd of dat een financieel advies deugt, alleen gevraagd informatie te beoordelen die de menselijke geest gemakkelijk begrijpt, zoals informatie over inkomen, financiële verplichtingen, gezinssamenstelling, schulden etc. Een rechter begrijpt welke conclusies over de kredietwaardigheid van de klant uit deze informatie kunnen worden getrokken. Hij begrijpt dat als een klant nu weinig inkomen heeft (oorzaak A) dit vaak er causaal toe leidt dat de klant over een jaar zijn lening niet kan betalen (gevolg B).
Correlaties kan een rechter moeilijker doorgronden. Kan een rechter tot de conclusie komen dat geen sprake is van overkreditering, omdat de klant in een welvarende postcode woonde, zijn aanvraag ’s ochtends indiende, er geen spelfouten zaten in de aanvraag en de LinkedIn-vrienden van de klant goede banen hadden? Het causaal verband tussen deze informatie en kredietwaardigheid is minder sterk (of zelfs geheel afwezig), maar mogelijk is deze informatie in de praktijk een betere voorspeller van de mate waarin de klant zijn rekeningen ook in de toekomst prettig kan betalen, dan zijn huidige inkomen en financiële situatie.
Ik meen dat de civiele rechter open moeten staan voor alternatieve methoden om de klant te evalueren, zelfs als de rechter op basis van zijn menselijk bevattingsvermogen de logica niet begrijpt en geen causale verbanden in de werkwijze kan ontdekken. Voorwaarde is wel dat de onderneming kan aantonen, dat deze alternatieve methodes over het algemeen even goed de klant in beeld brengen als de gangbare methodes. Ik accepteer dat in een individueel geval de alternatieve methode de klant slechter in beeld brengt dan de gangbare methode zou hebben gedaan. Immers, ook de gangbare methode is, indien vergeleken met de alternatieve methode, niet foutenvrij en zal sommige klanten slechter in beeld brengen dan de alternatieve methode.
5. Hoe wordt aansprakelijkheid beoordeeld bij toepassing van machine learning en geautomatiseerde besluitvorming?
Een tweede complicatie bij besluiten die mede worden genomen op basis van machine learning en geautomatiseerde besluitvorming is: hoe wordt de aansprakelijkheid bepaald bij fouten? Net zoals de mens kan een algoritme fouten maken, althans tot onjuiste uitkomsten leiden.
Naar mijn oordeel staat buiten discussie dat diegene die een algoritme gebruikt om een dienst te leveren verantwoordelijk en daarmee aansprakelijk is voor dit algoritme.16 Een financiële onderneming die zijn personeel van vlees en bloed vervangt door een algoritme is aansprakelijk voor dit algoritme net zoals voor zijn personeel. Het feit dat een algoritme zelfstandig beslissingen neemt, maakt de onderneming die dit algoritme inzet niet minder verantwoordelijk.
Een veel moeilijker vraag is: hoe moet worden beoordeeld of, indien een algoritme tot een onjuiste uitkomst heeft geleid, daarmee ook onrechtmatig is gehandeld?
Thans zijn er twee wijzen waarop een financiële onderneming aansprakelijk kan zijn. Soms wordt simpelweg geoordeeld dat een financiële onderneming anders had moeten handelen zonder te beoordelen of van een individuele beroepsbeoefenaar of besluitvormer anders handelen mocht worden verwacht. Denk aan de effectenleasezaken waarbij de financiële onderneming aansprakelijk is, omdat zij een product in de markt heeft gezet zonder daarbij aan bepaalde eisen te voldoen.17 In dit type zaak wordt simpelweg een norm vastgesteld die is geschonden door de financiële onderneming. Hoe de financiële onderneming tot de normschending komt – door een algoritme of door een menselijke beslissing – is dan niet relevant. Fout is fout.
Bij een tweede soort zaak wordt echter beoordeeld of een individuele beroepsoefenaar of medewerker anders had moeten handelen. Had een redelijk handelend adviseur andere beleggingen moeten adviseren18 en had de bankmedewerker moeten opmerken dat sprake was van transacties met een illegale beleggingsonderneming?19 Deze rechtspraak gaat impliciet uit van mensen die fouten maken. De vraag is steeds of van een mens in een concrete situatie anders handelen mocht worden verwacht. Wat echter als dergelijke handelingen door algoritmes in plaats van door mensen worden verricht? Ik bespreek nu hoe naar mijn oordeel moet worden omgegaan met (vermeende) fouten van algoritmes in soortgelijke situaties.
Net als bij menselijk handelen, betekent niet elke onjuiste uitkomst dat onrechtmatig is gehandeld. Naar mijn oordeel zijn vier elementen relevant bij de beoordeling van de aansprakelijkheid bij onjuiste uitkomsten bij algoritmes.
i. De norm van de redelijk bekwaam en redelijk handelend beroepsbeoefenaar.20 Zo zal een menselijke arts af en toe een ziekte onjuist diagnosticeren en zal een menselijke beleggingsadviseur af en toe een beleggingsadvies geven dat achteraf gezien ongunstig uitpakt. Zolang zij echter hebben gehandeld zoals een bekwaam en redelijk handelend arts of beleggingsadviseur betaamt, is hun handelen niet onrechtmatig.
ii. Ik wijs op de klassieke, maar nog steeds geldende, Kelderluik-criteria.21 Conform deze criteria is de omvang van de zorgplicht onder meer afhankelijk van de bezwaarlijkheid van de te nemen veiligheidsmaatregelen.
iii. Het is niet redelijk om van een volledig geautomatiseerde financiële dienstverlener te verwachten dat deze aan exact dezelfde normen voldoet als een mens van vlees en bloed die dezelfde functie vervult.22 Andersom is dit immers ook niet het geval. Een mens van vlees en bloed handelt niet automatisch onrechtmatig, als deze een fout maakt die een algoritme dat dezelfde functie vervult niet zou hebben gemaakt.
iv. Het is naar mijn oordeel niet redelijk als een onderneming ervoor zou kunnen kiezen zich door middel van disclaimers volledig te onttrekken aan de normen die voor de natuurlijke persoon gelden die een vergelijkbare dienst verleent. De reden hiervoor is het grote belang van financiële dienstverlening voor de maatschappij, wat ook de reden is deze dienstverlening publiekrechtelijk (in de Wft) te reguleren.
Ik kom tot de volgende synthese bij financiële diensten waarbij een algoritme wordt ingezet.
i. De financiële onderneming moet bij het ontwerp en het onderhoud van een algoritme voldoende gekwalificeerde computerprogrammeurs en financieel professionals inzetten.23 Dit betekent dus niet dat het algoritme zelf moet worden getoetst aan de norm van een redelijk handelend financieel professional die live advies geeft. De vraag is slechts of van een financiële onderneming had mogen worden verwacht dat zij beter gekwalificeerd personeel had ingezet en dat van dit personeel had mogen worden verwacht dat het zou regelen dat het algoritme anders werkte.
ii. Bij de beantwoording van de vraag wat van een financiële onderneming mag worden vereist, moet worden gekeken naar de prijs van een dienst en de stand van de techniek. Vaak wordt over het hoofd gezien, dat het programmeren van IT veel geld kost. Wordt te veel vereist van een algoritme, dan kan dit algoritme niet meer kostenefficiënt worden aangeboden en is vaak het resultaat dat de klant van elke dienstverlening verstoken blijft. Dienstverlening door een mens met dezelfde kwaliteit is immers sowieso duur.
iii. Een financiële onderneming die een gecomputeriseerde dienst aanbiedt die op bepaalde aspecten significant slechter scoort dan de menselijke variant, dient de verwachtingen van de klant bij te stellen door expliciet duidelijk te maken wat wel en niet verwacht kan worden. Dit mag echter niet te ver gaan. Een financiële onderneming mag geen gecomputeriseerde dienst aanbieden die duidelijk onderdoet voor de menselijke variant of niet voldoet aan de publiekrechtelijke normen in de Wft. Dan voldoet deze niet aan de verwachtingen die de klant mag hebben en wat wij als maatschappij acceptabel vinden van financiële dienstverlening.
Naar mijn oordeel dient deze logica ook de andere kant op te gelden. Van de klassieke financiële onderneming mag worden verwacht dat deze zich van de noodzakelijke IT-capaciteiten voorziet om een goede dienst te kunnen verlenen. Ook hier geldt uiteraard weer dat men oog moet hebben voor het feit dat niet alle IT-capaciteiten die theoretisch gezien gebouwd kunnen worden, kostenefficiënt zijn.
De essentie is dus dat voor het algoritme de norm van de redelijk handelend algoritmeprogrammeur dient te gelden en voor de mens de norm van de redelijk handelend beroepsbeoefenaar. Dit zijn normen die tot andere uitkomsten kunnen leiden. Wanneer echter dezelfde diensten zowel door mensen als door middel van algoritmen worden verleend, kunnen deze normen niet té ver uiteenlopen, omdat het ook onredelijk is om een algoritme in te zetten als de mens duidelijk beter presteert en vice versa.
Deze overwegingen zijn ook belangrijk bij de beantwoording van de vraag in hoeverre van financiële ondernemingen verwacht mag worden dat zij klantgedrag monitoren. Er zijn veel zaken waarbij de financiële onderneming in essentie wordt verweten dat zij het klantgedrag beter had moeten monitoren.24 De huidige stand van de privaatrechtelijke jurisprudentie is dat een financiële onderneming geen verplichting heeft om haar IT-infrastructuur zo in te richten dat zij het betalingsverkeer kan monitoren op ongebruikelijke transacties (anders dan in het specifieke kader van de verplichting conform de Wwft om witwassen en financiering van terrorisme te voorkomen)25 of om binnen execution-onlyrelaties (waarbij de klant zelfstandig beslissingen neemt) voortdurend het klantgedrag te monitoren.26 De reden hiervoor is dat ogenschijnlijk eenvoudige wijzigingen in de IT-infrastructuur zeer kostbaar kunnen zijn en bedrijfsprocessen kunnen verstoren.27 Anderzijds en dat is m.i. belangrijk zich te realiseren, zal als de kosten van het monitoren naar beneden gaan door betere IT-mogelijkheden waaronder met name machine learning, de rechtspraak op dit punt wel eens kunnen gaan schuiven.28 Dit volgt uit de logica van het Kelderluik-arrest, dat immers een afweging eist van de kosten en de baten van beschermende maatregelen. Gaan de kosten omlaag, dan zijn maatregelen eerder vereist.
6. Toepassing van de voorwaarden voor toepassing van geautomatiseerde besluitvorming uit de AVG binnen de financiële sector
De AVG stelt voorwaarden voor de toepassing van geautomatiseerde besluitvorming. Ik bespreek in paragraaf 6.1 eerst wanneer deze voorwaarden van toepassing zijn. In paragraaf 6.2 bespreek ik deze voorwaarden en ga ik in op knelpunten die in de praktijk in de financiële sector te verwachten zijn.
6.1. Wanneer zijn de voorwaarden in de AVG voor geautomatiseerde besluitvorming van toepassing?
De AVG verbindt strikte voorwaarden aan geautomatiseerde besluitvorming als aan twee hierna te bespreken omstandigheden is voldaan. Ontbreken deze omstandigheden dan gelden de hierna in paragraaf 6.2 besproken voorwaarden niet.
i) Rechtsgevolgen of aanmerkelijke andere gevolgen voor de klant
De eerste omstandigheid is dat aan deze besluitvorming rechtsgevolgen zijn verbonden of als deze automatische besluitvorming de klant anderszins in aanmerkelijke mate treft.29 Wanneer een besluit de klant nu precies in aanzienlijke mate treft, is niet zonder meer de duidelijk. In de preambule wordt slechts als voorbeeld genoemd ‘de automatische weigering van een online ingediende kredietaanvraag’.30 Naar mijn oordeel zal een klant met name in aanmerkelijke mate worden getroffen door een besluit indien de financiële onderneming als wederpartij van de klant optreedt, dus onder meer bij besluiten over het verlenen van krediet en verkopen van betaalrekeningen en verzekeringen.31 Een besluit van een financiële onderneming om een financieel product niet of alleen tegen een ongunstige prijs te leveren, kan betekenen dat de klant uiteindelijk meer betaalt of het financiële product überhaupt niet kan afnemen. Als echter de financiële onderneming als adviseur of bemiddelaar namens de klant optreedt, zal de klant niet snel in aanmerkelijke mate getroffen worden door automatische besluitvorming. Een klant kan immers altijd ervoor kiezen een advies in de wind te slaan of een andere bemiddelaar te zoeken. Dit wordt pas anders indien niet één bemiddelaar meer met een klant zaken zou willen doen, bijvoorbeeld vanwege het vermeende criminele verleden van een klant. Bovendien lopen de belangen van een bemiddelaar/adviseur meestal parallel aan die van de klant (zeker na invoering van het provisieverbod), terwijl een partij die een product aan de klant verkoopt een tegenstrijdig belang kan hebben. Mijn conclusie is daarom dat onderstaande regels over geautomatiseerde besluitvorming meestal niet van toepassing zijn als de financiële onderneming in een advies- of bemiddelaarsrol verkeert, maar vaak wel indien deze een financieel product als wederpartij aan de klant aanbiedt. Daarbij geldt wel dat niet elke beslissing ten aanzien van een product een significante impact op de klant heeft. Een beslissing om een iets duurdere reisverzekering aan te bieden is van een andere orde dan de beslissing om 0,5% extra hypotheekrente te rekenen.
ii) Geen menselijke betrokkenheid
De tweede omstandigheid is dat geen mens is betrokken bij de besluitvorming. Is er wel een mens die de beslissing neemt dan is geen sprake van geautomatiseerde besluitvorming. Louter formele betrokkenheid van een mens bij een beslissing is echter onvoldoende.32 Een onderneming is dus alleen van de verplichtingen die horen bij geautomatiseerde besluitvorming uitgesloten, als de beslissingen van de computer door een persoon worden bekrachtigd die daadwerkelijk een eigen beoordeling doet. Om deze beoordeling te kunnen doen zal de mens dus ook eventuele adviezen van de computer moeten kunnen doorgronden, wat bij beslissingen gebaseerd op machine learning niet altijd eenvoudig is (zie nader paragraaf 6.2 onder ( iii)).
6.2. Aan welke voorwaarden moet worden voldaan bij geautomatiseerde besluitvorming?
Als de twee bovenstaande omstandigheden spelen, dan is geautomatiseerde besluitvorming alleen geoorloofd, indien aan alle hierna besproken vier voorwaarden is voldaan.33
i) Valide grond voor toepassing geautomatiseerde besluitvorming
Er moet een valide grond zijn om geautomatiseerde besluitvorming te mogen toepassen. De AVG kent drie gronden:
a. het besluit is noodzakelijk voor de totstandkoming
of de uitvoering van een overeenkomst tussen de betrokkene en een verwerkingsverantwoordelijke Aan deze grond is niet snel voldaan. De reden hiervoor is dat noodzakelijkheid strikt geïnterpreteerd wordt.34 Met name geldt dat een geringe efficiëntiewinst op zichzelf niet voldoet om aan het noodzakelijkheidsvereiste te voldoen.35 Er zal dus op zijn minst een grote efficiëntiewinst moeten zijn, wil de financiële onderneming zich op deze grond kunnen beroepen.
b. het besluit is toegestaan bij een Unierechtelijke of lidstaatrechtelijke bepaling die op de verwerkingsverantwoordelijke van toepassing is en die ook voorziet in passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene
Deze grond speelt met name als publiekrechtelijke plichten eisen dat een financiële onderneming automatische besluitvorming toepast. Voor een financiële onderneming zou dit met name het geval kunnen zijn als transacties automatisch worden opgeschort om witwassen of financiering van terrorisme te voorkomen.
c. het besluit berust op de uitdrukkelijke toestemming van de betrokkene
Ook uitdrukkelijke toestemming kan de financiële onderneming niet makkelijk krijgen. Feit is namelijk dat toestemming niet alleen expliciet moet zijn, maar ook in vrijheid gegeven. Toestemming wordt niet geacht in vrijheid te zijn gegeven, als de klant geen reële keuze heeft om van toestemming af te zien. Deze reële keuze ontbreekt, als de klant die toestemming weigert het product of de dienst dan in het geheel niet of alleen duurder kan afnemen.36
Als de onderneming aan niet een van deze gronden kan voldoen, dan is geautomatiseerde besluitvorming niet toegestaan.
ii) Geen gebruik bijzondere datacategorieën
De geautomatiseerde besluitvorming mag niet gebaseerd zijn op bijzondere categorieën van persoonsgegevens (de AVG noemt: ras of etnische afkomst, politieke opvattingen, religieuze of levensbeschouwelijke overtuigingen, het lidmaatschap van een vakbond, genetische gegevens, biometrische gegevens met het oog op de unieke identificatie van een persoon, of gegevens over gezondheid, of gegevens met betrekking tot iemands seksueel gedrag of seksuele gerichtheid). Hierop is weer een uitzondering mogelijk, indien de klant expliciet instemt met verwerking van deze bijzondere categorieën van persoonsgegevens of vanwege redenen van zwaarwegend algemeen belang. Ook als toestemming wordt verkregen, dan mag deze informatie niet worden gebruikt om ongerechtvaardigd te discrimineren, waarover meer in paragraaf 8.
iii) Voldoende transparantie naar de klant
Er moet nuttige informatie over de onderliggende logica, alsmede het belang en de verwachte gevolgen van die verwerking voor de klant worden verstrekt.37 Het kan ingewikkeld zijn om de logica van geautomatiseerde besluiten uit te leggen aan de klant, maar dit is naar het oordeel van de Artikel 29-werkgroep geen excuus om dit achterwege te laten.38 De Artikel 29-werkgroep verwijst naar de Raad van Europa die overweegt dat deze uitleg bedoeld is, om klanten in staat te stellen de uitkomst van een beslissing te betwisten. De Artikel 29-werkgroep geeft als voorbeeld de uitleg die een onderneming die een kredietaanvraag afwijst dient te verstrekken. Ik citeer:
‘The controller explains that this process helps them make fair and responsible lending decisions. It provides details of the main characteristics considered in reaching the decision, the source of this information and the relevance. This may include, for example:
● the information provided by the data subject on the application form;
● information about previous account conduct, including any payment arrears; and
● official public records information such as fraud record information and insolvency records.’
De mate van detail van deze uitlegplicht kan praktische problemen opleveren doordat het de praktische bruikbaarheid van bepaalde modellen ondergraaft. Dit gaat om op correlatie (in plaats van op causaliteit) gebaseerde modellen. Ik licht dit toe. In het in de inleiding genoemde voorbeeld gaf crowdfunder Funding Circle aan bij zijn kredietbeslissing rekening te houden met wanneer de klant een formulier invult en met via welk acquisitiekanaal deze klant bij Funding Circle terechtkomt. Een klant die dit eenmaal weet, zal echter gemakkelijk dit gedrag kunnen aanpassen en aldus het systeem kunnen gamen. Hij zal alsnog via LinkedIn doorklikken naar de website van Funding Circle in plaats van telegraaf.nl en ’s morgens het formulier invullen in plaats van ’s avonds. Hij wordt hier echter geen betere ondernemer van. Met andere woorden: bepaalde systemen zijn waardeloos als de klant precies weet wat zij doen. Dit is anders dan bij op causaliteit gebaseerde modellen. Zo zal een verzekeringnemer die begrijpt dat hij minder premie betaalt als hij stopt met roken en zijn gedrag aanpast, terecht minder betalen (het risico op een claim onder de overlijdensrisicoverzekering is immers kleiner geworden). Het leidt dus niet tot praktische problemen als een verzekeringnemer op de hoogte is van het exacte verband tussen zijn rookgedrag en de prijs van zijn verzekering.
iv) Recht op menselijke tussenkomst en mogelijkheid tot aanvechten besluit
De onderneming moet passende maatregelen treffen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de klant, waaronder ten minste het recht op menselijke tussenkomst bij de besluitvorming, het recht om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten. Ik zie hier twee complicaties.
Ten eerste is er de feitelijke complicatie dat bij besluiten die zijn gebaseerd op machine learning de doorslaggevende factor voor een besluit niet altijd eenvoudig is te achterhalen, omdat de logica voor de mens moeilijk te doorgronden kan zijn. Dit kan een significante inspanning van de financiële onderneming vragen om alsnog inzichtelijk te maken welke factoren bij de klant tot een bepaald besluit hebben geleid.39
Ten tweede is het recht om een beslissing inhoudelijk aan te vechten vergaand, indien vergeleken met beslissingen die niet door de computer worden genomen. Zo oordeelde de Commissie van Beroep van het Kifid dat het een financiële onderneming vrijstaat zelf zijn rentebeleid te bepalen en daarbij zelf te beslissen met welke omstandigheden zij rekening wil houden bij het bepalen van de rente.40 (Voor de volledigheid merk ik op dat de Wft – behalve een maximumrente – niet voorschrijft welke omstandigheden in ogenschouw moeten worden genomen bij het bepalen van de rente.) Ik citeer:
‘Het stond de Bank vrij om op de wijze zoals zij heeft gedaan – derhalve: op basis van de door haar vooraf aan Belanghebbende kenbaar gemaakte voorwaarden – een aanbod te doen aan Belanghebbende met betrekking tot de hoogte en samenstelling van de rente voor de nieuwe rentevastperiode. Het feit dat de Bank ervoor heeft gekozen de risico-opslag te bepalen aan de hand van een objectieve indeling in tariefklassen en niet aan de hand van een meer individuele beoordeling behoort tot haar beleidsvrijheid en is niet in strijd met enige op de Bank rustende verplichting.’
Stel nu dat dezelfde beslissing niet door een medewerker zou zijn genomen, maar door de computer, zou de bank nu opeens zijn beslissing uitvoeriger moeten onderbouwen en meer data bij haar oordeel moeten betrekken? De Artikel 29-werkgroep lijkt van oordeel te zijn dat dit het geval is. Ik citeer:41
‘Human intervention is a key element. Any review must be carried out by someone who has the appropriate authority and capability to change the decision. The reviewer should undertake a thorough assessment of all the relevant data, including any additional information provided by the data subject.’
Naar mijn verwachting kan het recht zich in de praktijk op twee wijzen ontwikkelen. Hetzij het recht om een beslissing aan te vechten stelt weinig voor. Een financiële onderneming hoeft slechts uit te leggen hoe deze tot een beslissing is gekomen. De gedachte is dat de klant hiermee voor hem negatieve fouten of onvolledigheden in de algoritmen kan ontdekken en bij de financiële onderneming onder de aandacht kan brengen. De klant moet echter de beleidsvrijheid van de financiële onderneming om bepaalde informatie niet in ogenschouw te nemen respecteren. De andere mogelijkheid is dat van financiële ondernemingen zal worden verwacht dat zij ook een besluit kunnen onderbouwen en kunnen uitleggen waarom dit gerechtvaardigd is.42 De beleidsvrijheid van de financiële onderneming om bijvoorbeeld haar prijs te bepalen of te bepalen welke klant zij wel of niet accepteert, zal worden beperkt. In dat laatste geval zal deze ontwikkeling naar mijn verwachting niet beperkt blijven tot geautomatiseerde besluiten. Het is immers vreemd dat als een besluit door een mens wordt genomen in plaats van de computer, het besluit daardoor ook inhoudelijk anders zou mogen luiden.
7. Is prijsdiscriminatie en dienstweigering op basis van profiling toegestaan?
Een volgend aspect aan profiling dat bijzondere aandacht behoeft is de vergaande mogelijkheid om aan prijsdiscriminatie te doen. Profiling maakt het namelijk mogelijk de klant beter te leren kennen en daarmee een specifiek op hem toegesneden prijs te rekenen voor een financieel product.43 De financiële onderneming hoeft klanten niet expliciet te weigeren of verschillende klanten een eigen aanbieding te doen. Door op profiling gebaseerde marketing kan een onderneming een specifieke klantengroep met name aantrekken.
Dit kan (te) ver gaan. ESMA heeft reeds zijn zorgen hierover uitgesproken, ik citeer:44
‘The increased granularity of the segmentation of markets could lead to restrictions with respect to the access of services for certain consumers of financial services classified as “undesirable”. The collection and analysis of behavioural data could also lead to firms charging different prices for similar services to customers in the same target group (e.g. their inertia to changing providers or their ability to pay a higher fee).’
Dit kan naar het oordeel van de ESA’s in strijd komen met de algemene verplichting van financiële ondernemingen om rekening te houden met het belang van hun klant. Ik citeer:45
‘Firms’ price adjustments based on consumer features and behaviour-based factors could go against financial institutions’ overarching obligation to treat customers in a fair and nondiscriminatory manner. This could be particularly the case when insufficient transparency and disclosure measures about the pricing and segmentation criteria as well as the data sources used by financial institutions when profiling customers are in place.’
Een geval van prijsdiscriminatie dat door EBA expliciet als risico is genoemd, is dat financiële ondernemingen terechte klachten afwijzen, omdat zij op basis van profiling hebben bepaald dat een klant de klacht waarschijnlijk toch niet doorzet.46
Er zijn twee soorten van prijsdiscriminatie die allebei hun eigen juridische aandachtspunten hebben.
7.1. Prijsdiscriminatie op basis van wat de klant over heeft voor het product
Bij de eerste soort van prijsdiscriminatie kost het een onderneming evenveel om een product aan te bieden onafhankelijk van wie de klant is, maar rekent de onderneming toch verschillende prijzen. Ik licht dit toe. Bij een normale markt zijn er klanten die bereid zijn meer te betalen voor een product – deze willen het liever hebben of zijn niet op de hoogte van de goedkopere alternatieven – en prijsgevoelige klanten die slechts weinig willen betalen. Als alle klanten hetzelfde betalen voor een product, dan profiteren de klanten die bereid zijn meer te betalen van de prijsdruk die wordt uitgeoefend door de prijsgevoelige klanten. Een voorbeeld ter verduidelijking: bij AH betaalt elke klant hetzelfde voor een pak melk, bijvoorbeeld € 1,10. Er zullen best klanten bereid zijn € 1,30 te betalen voor dit pak melk. Pas bij € 2 wordt het hen te gortig en rijden zij verder naar de Aldi. Een deel van de klanten echter zal bij een kleine prijsverhoging omrijden naar de Aldi. Omdat AH deze prijsbewuste klanten niet wil verliezen en elke klant hetzelfde betaalt voor zijn pak melk, profiteren de minder prijsbewuste klanten mee van de prijsdruk die wordt uitgeoefend door de prijsbewuste klanten.
De onderneming kan echter proberen elke klant dat te rekenen wat deze maximaal wil betalen. Dit betekent dat elke klant zijn individuele prijs krijgt en dat door de klant zo goed mogelijk te kennen de onderneming precies dat rekent wat de klant bereid is te betalen. In het voorbeeld van AH hierboven: sommige klanten blijven € 1,10 betalen, omdat zij anders naar de Aldi dreigen te gaan; andere klanten gaan echter € 1,30 betalen, omdat deze groep ook bij deze prijs nog niet naar de Aldi gaat. In veel markten vindt deze prijsdiscriminatie al plaats. Zo betalen klanten vaak verschillende bedragen voor dezelfde auto. In onderhandelingen probeert de dealer erachter te komen waar de pijngrens ligt, die maakt dat de klant naar een andere dealer gaat of geen auto koopt. Ook de diverse bonussystemen, kortingskaarten, uitverkopen, etc. proberen onderscheid te maken tussen de prijsgevoelige klant en de kwistige klant. Zo zal de prijsgevoelige klant meedoen met specifieke bonnetjes- en kortingsacties, terwijl de kwistige klant koopt wat hem uitkomt en niet de moeite neemt zegels te plakken en kortingsbonnen te knippen. De vraag is echter, gegeven de uitspraken van de ESA’s en de bijzondere rol in de maatschappij van financiële ondernemingen, of de maatschappij dit ook van financiële ondernemingen accepteert.
7.2. Prijsdiscriminatie waarbij de productiekosten verschillen afhankelijk van de eigenschappen van de klant
Bij de tweede soort van prijsdiscriminatie hangen de productiekosten van een product of dienst af van wie de klant is. Zo is een overlijdensrisicoverzekering kostbaarder voor een verzekeringsmaatschappij bij een roker, aangezien rokers over het algemeen eerder doodgaan. Reeds nu betalen rokers in Nederland meer dan niet-rokers voor een overlijdensrisicoverzekering. Er zijn in Zuid-Afrika echter al ziektekostenverzekeraars die een koppeling maken tussen de boodschappen die de klant doet en de verzekeringspremie.47 Daarnaast is het mogelijk allerlei databestanden te koppelen. Stel nu dat een verzekeraar weet dat werkelozen over het algemeen meer gezondheidsproblemen hebben dan werkenden. U verliest uw baan en verandert uw status op LinkedIn naar ‘op zoek naar een nieuwe baan’. Vervolgens wordt u geweigerd als u een aanvullende ziektekostenverzekering wil sluiten. Dit voorbeeld illustreert dat als verzekeraars meer weten over de klant de solidariteit tussen klanten onder druk kan komen te staan,48 hetgeen in het meest extreme geval kan uitmonden in een weigering om een klant een dienst te verlenen.49 De vraag is niet alleen in hoeverre dit onderscheid juridisch is toegestaan (waarover meer in paragraaf 8 hierna), maar ook of dergelijk onderscheid en gebruik van data door financiële ondernemingen maatschappelijk acceptabel is.50
8. Het verbod op discriminatie op grond van ras, geslacht, geloof etc. toegepast op machine learning
Naast de hiervoor besproken mogelijkheid tot prijsdiscriminatie leiden machine learning en profiling ook tot het risico op discriminatie zoals juristen dit doorgaans bedoelen. De essentie van het discriminatieverbod is, dat bepaalde eigenschappen van een persoon (onder meer ras of religie), tenzij in een bijzonder geval gerechtvaardigd,51 geen invloed mogen hebben op hoe deze persoon behandeld wordt.52 Hetzelfde geldt voor maatregelen met een vergelijkbaar effect. Het is belangrijk zich te realiseren dat ook een algoritme kan discrimineren.
8.1. Discriminatie door een algoritme vanwege fouten bij het inschakelen van het algoritme
Een algoritme kan discrimineren door de dataset die het krijgt gevoerd en de wijze waarop het algoritme leert.53 Zo benoemt de FSB ‘supervised learning’.54 Bij deze trainingsmethode krijgt het algoritme data gevoed met daaraan de labels goed en fout (althans de gewenste opvolging). Zo kan een algoritme de data krijgen van aanvragen voor leningen met daarbij vermeld of de menselijke beoordelaar de lening heeft goedgekeurd of afgekeurd. Het algoritme herkent de impliciete patronen en regels van de menselijke beoordelaar. Stel nou echter dat de menselijke beoordelaar – al dan niet onderbewust – onwenselijke patronen heeft en keuzes maakt. De menselijke beoordelaar wijst kredietaanvragen van mensen met een buitenlands uiterlijk sneller af. Het algoritme zal dit vooroordeel overnemen. Dit risico bestaat zelfs indien in de dataset niet expliciet vermeld staat of iemand er buitenlands uitziet. Zo zullen mensen met een buitenlands uiterlijk vaker in bepaalde postcodes wonen, vaker in het buitenland geboren zijn en buitenlandse namen hebben. Het buitenlandse uiterlijk is een verborgen variabele die samenvalt met deze variabelen die wel bekend zijn. Het algoritme leert dan dat het de kredietaanvragen van mensen met deze eigenschappen moet afwijzen. Dit staat ook wel bekend als de interactiebias.55 Dit is verboden discriminatie en dient een financiële onderneming te voorkomen.
8.2. Discriminatie door een algoritme doordat bepaalde groepen inderdaad statistisch bepaalde eigenschappen hebben
Het is echter ook mogelijk dat in bepaalde groepen inderdaad bepaalde eigenschappen méér voorkomen. Stel dat het algoritme uitvindt dat mensen met bepaalde achternamen over het algemeen hun kredieten slechter betalen, mag het algoritme hierop acteren? Achternamen hangen immers vaak samen met afkomst, zodat discriminatie van bepaalde achternamen in de praktijk vaak discriminatie op ras zal inhouden. Waar indirecte discriminatie via achternamen nog eenvoudig te achterhalen en daarmee desgewenst te bestrijden is, zal een algoritme ook minder voor de hand liggende proxies voor bijvoorbeeld ras, religie, gezondheid of seksuele geaardheid kunnen oppikken en hier conclusies aan verbinden. Een voorbeeld is dat aan de hand van Facebook-data (likes) met 88% zekerheid kan worden voorspeld of iemand op mannen of vrouwen valt en met 95% zekerheid of iemand blank of donker is, ook als dit niet expliciet door de gebruiker op zijn profiel is aangegeven.56 Met andere woorden: zonder de achterliggende verboden variabele te gebruiken, kan een algoritme door andere variabelen te gebruiken die voldoende gecorreleerd zijn met de verboden variabele alsnog discrimineren. Hiermee wordt eenzelfde uitkomst gecreëerd als wanneer de verboden achterliggende variabele zou zijn gebruikt. Dit is verboden.
Het is ook mogelijk dat de uitkomst van een algoritme een bepaalde groep bijzonder treft en daarmee indirect discriminerend is, maar zonder dat sprake is van verboden discriminatie. Ik licht dit toe aan de hand van een voorbeeld. In januari 2014 heeft het College voor de Rechten van de Mens een advies gegeven aan Dazure B.V. inzake de Finvita overlijdensrisicoverzekering.57 Dazure bepaalde de premie aan de hand van postcodes. Klanten uit arme postcodes betaalden meer premie (deze gaan namelijk over het algemeen eerder dood). In arme postcodes wonen echter ook meer mensen uit etnische minderheden. Het college adviseerde als volgt:
‘Het vaststellen van de hoogte van de premie op basis van de postcode van de verzekerde leidt tot indirect onderscheid op grond van afkomst, maar dat is niet verboden omdat er een objectieve rechtvaardiging is voor dit onderscheid. Geen discriminatie van mensen met een laag inkomen en/of van mensen van niet-westerse afkomst.’
De reden voor dit advies is naar mijn oordeel gelegen in de volgende constatering van het college:
‘Dazure B.V. gebruikt de postcode van de verzekerde niet om groepen mensen uit te sluiten, maar om informatie te krijgen over het inkomen en daarmee over het overlijdensrisico.’
Essentieel is naar mijn oordeel dat de postcode geen manier was om een bepaalde etnische groep te vinden, maar dat de postcode een manier was om een bepaalde inkomensgroep te vinden. Selectie op etnische groep zou juist slechter werken, aangezien etnische groep een lagere correlatie heeft met welvaart en daarmee levensverwachting dan postcode. Met andere woorden: de etniciteit van de klant was niet een achterliggende variabele en dan is geen sprake van verboden discriminatie.
Zelflerende algoritmen kunnen impliciete discriminerende conclusies trekken zonder dat de eigenaren van de algoritmen dit weten.58 De Artikel 29-werkgroep geeft daarom als aanbeveling dat ondernemingen hun algoritmen regelmatig (statistisch) testen om te voorkomen dat deze discrimineren.59
9. Heeft profiling gevolgen voor de definitie van gemiddelde consument in consumenten- beschermingsregels?
Profiling speelt ook een rol bij invulling van het begrip ‘gemiddelde consument’, zoals dat in veel consumenten- beschermingsregels voorkomt. Financiële ondernemingen kunnen door middel van profiling specifieke groepen aanspreken of benaderen. Er wordt dan dus uit de grote populatie van consumenten een subgroep gefilterd en benaderd. De gemiddelde consument waarmee in de regelgeving met betrekking tot consumentenbescherming rekening moet worden gehouden, is de gemiddelde consument uit de groep die de financiële onderneming opzoekt.60 Ook bij de vraag of een automatische besluitvorming de klant in aanmerkelijke mate treft, moet rekening worden gehouden met de specifieke eigenschappen van de groep die wordt bediend of opgezocht.61 Als een financiële onderneming door middel van profiling een specifieke groep opzoekt en benadert, dan moet zij bij de nakoming van de consumentenbeschermingsregels dus ook met de bijzondere eigenschappen van deze groep rekening houden.
10. Conclusie
In dit artikel introduceerde ik enkele technische concepten, zoals profiling, machine learning en geautomatiseerde besluitvorming. Ik verkende welke juridische implicaties toepassing van deze technieken heeft. Toepassing van deze technieken leidt niet alleen tot toepasselijkheid van diverse soorten regelgeving (met name uit de AVG en discriminatieregelgeving), maar ook dat bestaande concepten zoals de aansprakelijkheid van beroepsbeoefenaars, oorzakelijk verband en discriminatie opnieuw moeten worden ingevuld. Juristen zullen hiertoe deze technische concepten moeten doorgronden. Beleidsmakers zullen moeten invullen welke toepassingen van deze nieuwe technieken – en onder welke voorwaarden – zij acceptabel vinden. De toezichthouders (AFM en Autoriteit Persoonsgegevens) zullen deze nieuwe concepten in hun toezichtstrategieën moeten inpassen. Voldoende stof voor vervolgonderzoek dus. Gegeven de snelheid van de ontwikkelingen en het belang voor ondernemingen en consumenten, kan hiermee niet te lang worden gewacht.
1. nordic.businessinsider.com/denmarks-largest-bank-is-using-machine-learning-to-predict-the-customers-behavior–and-they-like-it- 2017-11, 1 november 2017.
2. Het Financieele Dagblad 6 november 2017, p. 15. Interview met Funding Circle CEO Samir Desai.
3. Dit zijn alle ondernemingen die vallen onder de definitie van financiële onderneming in art. 1:1 Wft. Er zijn echter enkele ondernemingen die niet onder de definitie van financiële onderneming vallen, maar zich toch kunnen verheugen in de interesse van DBN en AFM. Dit zijn onder meer crowdfunders ingevolge art. 2a Bgfo en centrale tegenpartijen ingevolge het Besluit uitvoering EU-verordeningen financiële markten.
4. Art. 4 sub 1 Verordening (EU) 2016/679 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van na- tuurlijke personen in verband met de verwerking van persoonsgegevens en betreffende het vrije verkeer van die gegevens en tot intrekking van Richtlijn 95/46/EG (Algemene verordening gegevensbescherming).
5. Art. 1:1 Wft, definitie van aanbieden.
6. Art. 4 Verordening (EU) 2016/679 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens en betreffende het vrije verkeer van die gegevens en tot intrekking van Richtlijn 95/46/EG (Algemene verordening gegevensbescherming).
7. Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679, 3 oktober 2017, p. 7.
8. Zie voor voorbeelden Federal Trade Commission, Big Data. A Tool for Inclusion or Exclusion, Understanding the Issues, januari 2016, p. 9.
9. Zie uitvoerig Information Commissioner’s Office, Big data, artificial intelligence, machine learning and data protection, september 2017, p. 6.
10. Guidelines on Automated individual decision-making, p. 8.
11. FSB,Artificial intelligence and machine learning in financial services. Market developments and financial stability implications,1november 2017, p. 5.
12. Het Financieele Dagblad 6 november 2017, p. 15. Interview met Funding Circle CEO Samir Desai.
13. Art. 4:23 Wft jo. art. 80a, 80b en 80c Bgfo en art. 4:34 Wft jo. art. 115 Bgfo en de Tijdelijke regeling hypothecair krediet.
14. Rb. Rotterdam 19 december 2008, JOR 2009/43 (Burghthuys/AFM).
15. AFM, Dienstverlening op maat, juli 2013, p. 19 en AFM, Leidraad invulling van de zorgplicht bij (semi)automatisch vermogensbeheer, 15 maart 2018, p. 26.
16. InzelfdezinGedelegeerdeVerordening(EU)2017/565vandeCommissievan25april2016houdendeaanvullingvanRichtlijn2014/65/EU van het Europees Parlement en de Raad wat betreft de door beleggingsondernemingen in acht te nemen organisatorische eisen en voor- waarden voor de bedrijfsuitoefening en wat betreft de definitie van begrippen voor de toepassing van genoemde richtlijn, art. 54 lid 1 t.a.v. geautomatiseerd beleggingsadvies of vermogensbeheer.
17. Zie bijv. HR 5 juni 2009, ECLI:NL:HR:2009:BH2811, ECLI:NL:HR:2009:BH2815, ECLI:NL:HR:2009:BH2822.
18. Zie bijv. Hof Amsterdam 8 maart 2011, JOR 2011/124.
19. Hof Den Haag 18 maart 2014, r.o. 44 e.v., JOR 2014/136, m.nt. C.W.M. Lieverse en M.H.C. Sinninghe Damsté.
20. Zie uitvoerig Asser/Tjong Tjin Tai 7-IV 2014/200.
21. HR 5 november 1965, NJ 1966/136.
22. AndersAFM,Leidraad invulling van de zorgplicht bij (semi)automatisch vermogensbeheer,15maart2018,p.9 waarbij de AFM aangeeft dat voor de invulling van de zorgplicht de huidige lat van beleggersbescherming bij traditioneel vermogensbeheer niet verschilt van
(semi)automatisch vermogensbeheer.
23. Zie inzelfde zin ESMA,ConsultationPaperGuidelinesoncertainaspectsoftheMiFIDIIsuitabilityrequirements,13juli2017,ESMA35-
43-748 p. 65 en AFM, Leidraad invulling van de zorgplicht bij (semi)automatisch vermogensbeheer, 15 maart 2018, p. 12.
24. Zie bijv. Rb. Amsterdam 13 februari 2008, ECLI:NL:RBAMS:2008:BC5573, r.o. 4.10 en 4.11; Hof Den Haag 18 maart 2014, JOR 2014/136; Rb. Amsterdam 10 september 2014, ECLI:NL:RBAMS:2014:8275, r.o. 4.2; Rb. Amsterdam 8 oktober 2014, ECLI:NL:RBAMS:2014:6318; Geschillencommissie Kifid 5 juli 2017, 2017-476, m.nt. C.W.M. Lieverse en M.H.C. Sinninghe Damsté en Geschillencommissie Kifid 4 april 2018, 2018-222.
25. R.E. van Esch, ‘Monitoring van betaalopdrachten: rechtsplicht jegens betaaldienstgebruikers of middel/control?’, FR 2017, p. 384.
26. Zie nader E.J. van Praag, ‘De retailklant in de FinTech wereld: een juridische verkenning’, Ondernemingsrecht 2016, p. 508.
27. Zie in zelfde zin R.E. van Esch, ‘Monitoring van betaalopdrachten: rechtsplicht jegens betaaldienstgebruikers of middel/control?’, FR
2017, p. 385.
28. Ook publiekrechtelijk wordt een monitoringsplicht op frauduleuze betalingstransacties geïntroduceerd in Gedelegeerde Verordening
(EU) 2018/389 van de Commissie van 27 november 2017 tot aanvulling van Richtlijn (EU) 2015/2366 van het Europees Parlement en de Raad wat betreft technische reguleringsnormen voor sterke cliëntauthenticatie en gemeenschappelijke en veilige open communicatie- standaarden.
29. Art. 22 AVG. Overigens ook als geautomatiseerde besluitvorming de klant niet in aanmerkelijke mate treft, dan nog zijn diverse trans- parantieverplichtingen op de financiële onderneming van toepassing. Zie Guidelines on Automated individual decision-making, p. 23.
30. Overweging 71 AVG.
31. Zie voor nadere duiding tevens Guidelines on Automated individual decision-making, p. 11 en Article 29 Data Protection Working Party, Guidelines for identifying a controller or processor’s lead supervisory authority, 5 april 2017, p. 3-4.
32. Guidelines on Automated individual decision-making, p. 10.
33. Art. 22 AVG.
34. Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of
Regulation 2016/679, 3 oktober 2017, p. 12 en Information Commissioner’s Office, Big data, artificial intelligence, machine learning
and data protection, september 2017, p. 35.
35. Article 29 Data Protection Working Party, Opinion 3/2012 on developments in biometric technologies, 27 april 2012, p. 8.
36. Zie Guidelines on Automated individual decision-making, p. 20 en Article 29 Data Protection working Party, Guidelines on Consent
under Regulation 2016/679, 28 november 2017, p. 10.
37. Art.14lid2subgAVG.
38. Article 29 Data protection Working Party, Opinion 3/2012 on developments in biometric technologies, 27 april 2012, p. 8.
39. Zie uitvoerig Finale Doshi-Veleze.a.,Accountability of AI Under the Law: The Role of Explanation,2017,geraadpleegd op 17december
2017 op arxiv.org/abs/1711.01134, p. 7 en Information Commissioner’s Office, Big data, artificial intelligence, machine learning and
data protection, september 2017, p. 54.
40. Commissie van Beroep Kifid 12 september 2017, 2017-029, r.o. 3.6.
41. Guidelines on Automated individual decision-making, p. 15 en 24.
42. ZieoverdezetrendnaderE.J.vanPraag,‘Financiëleonderneming,kenuwkostprijs!Prijsreguleringinhetfinancieeltoezichtrecht’,FR 2017, p. 477-489.
43. Zie uitvoerig Executive Office of the US President, Big Data and Differential Pricing, februari 2015 en F. Zuiderveen Borgesius & J. Poort, ‘Online Price Discrimination and EU Data Privacy Law’, J Consum Policy 2017, p. 347-366.
44. ESMA response to the Commission Consultation Paper on Fintech: A more competitive and innovative financial sector, 7 juni 2017, ESMA50-158-457, p. 2.
45. Joint Committee Discussion Paper on the Use of Big Data by Financial Institutions, 19 december 2016, JC/2016/86, p. 22 en Joint Committee Final Report on Big Data, 15 maart 2018, JC/2018/04, p. 30 en 33.
46. Discussion Paper on the EBA’s approach to financial technology (FinTech), 4 augustus 2017, EBA/DP/2017/02, p. 48.
47. Zienaderwww.discovery.co.za/portal/individual/medical-aid-quote-start-1eninAmerikawww.johnhancockinsurance.com/life/John- Hancock-Vitality-Program.aspx.
48. Het Verbond van Verzekeraars onderkent dat dit soort ontwikkelingen de solidariteit onder druk kunnen zetten. Zonder zich nu reeds een oordeel te vormen over welke mate van solidariteit tussen verzekerden gewenst is, heeft het Verbond van Verzekeraars wel besloten de solidariteit te gaan meten. Verbond van Verzekeraars, Grip op data, Green Paper Big Data, april 2016, p. 20, geraadpleegd op www.verzekeraars.nl/actueel/nieuwsberichten/Paginas/Verzekeraars-lanceren-Solidariteitsmonitor.aspx.
49. Zie nader The Financial Conduct Authority, Call for Inputs, Big Data in retail general insurance, november 2015, p. 11 e.v.
50. Zie in zelfde zin European Banking Authority, ‘Discussion Paper on innovative uses of consumer data by financial institutions’, 4 mei 2016, EBA/DP/2016/01, p. 12 en J.P. van Schoonhoven, ‘Big Financials, Big Data? Over wetstoepassing en morele oordeelsvorming’,
TvCo 2014, p. 291.
51. Zie voor een voorbeeld waarbij discriminatie wel gerechtvaardigd kon worden: CRM 5 juli 2017, 2017-84 (SRLEV N.V.).
52. Art. 1 Grondwet, art. 21 Handvest van de Grondrechten van de Europese Unie en overweging 71 AVG.
53. Zie voor voorbeelden van andere soorten onbewuste discriminatie door algoritmes:InformationCommissioner’sOffice,Bigdata,arti-
ficial intelligence, machine learning and data protection, september 2017, p. 44.
54. FSB,Artificial intelligence and machine learning in financial services. Market developments and financial stability implications,1november
2017, p. 5.
55. ‘De computer is racistisch’, NRC 19 september 2017, www.nrc.nl/nieuws/2017/09/19/de-computer-is-racistisch-13070987-a1573906.
56. MichaelKosinski,DavidStilwell&ThoreGraepel,‘Private traits and attributes are predictable from digital records of human behaviour’, Proceedings of the National Academy of Sciences of the United States of America, www.pnas.org/content/110/15/5802.full.pdf, geraadpleegd op 17 december 2017.
57. Geraadpleegd op 17 december 2017 op www.mensenrechten.nl/publicaties/detail/19173.
58. Zie ‘Fixing Discrimination in online Marketplaces’, Harvard Business Review december 2016, , p. 89-95 en Discussion Paper on the
EBA’s approach to financial technology (FinTech), 4 augustus 2017, EBA/DP/2017/02, p. 48.
59. Guidelines on Automated individual decision-making,p.30.Statistisch bewijs van discriminatie is expliciet toegestaan(HvJEU19april 2012, C-415/10, r.o. 43).
60. Art. 5 lid 2 sub b en overweging 18 en19 Richtlijn 2005/29/EG van het Europees Parlement en de Raad van 11 mei 2005 betreffende
oneerlijke handelspraktijken van ondernemingen jegens consumenten op de interne markt (Richtlijn oneerlijke handelspraktijken). Zie nader Commission Staff Working Document Guidance on the Implementation/Application of Directive 2005/29/EC On Unfair Com- mercial Practices, p. 41-51.
61. Zie Guidelines on Automated individual decision-making, p. 11.
Dit artikel verscheen eerder in Tijdschrift voor Consumentenrecht en handelspraktijken.