CIP Podcast - Captains of Privacy II, afl. 3 – Isabel Barberá

‘We moeten meer samenwerken en met een meer holistische blik naar het gebruik en verwerking van gegevens kijken’, zegt Isabel Barberá. Deze recente winnaar van de ‘Most Responsible AI leader’ award bekijkt privacy ook vanuit een technologische en ethische optiek. Dat is zó interessant dat Isabel ook internationaal actief is, onder meer voor ENISA en de EDPB. In deze podcast is ze in gesprek met Walter van Wijk (CIP) en Robin Rotman (host). Daarin vertelt ze onder meer over haar online bibliotheek met risico’s rondom AI. Want veiligheid vindt ook zij belangrijk.

Transcript

Isabel Barberá: Ik merk dat er nog steeds heel weinig kennis is. Een beetje wat ik ook zei: het werken in silo's en niet de holistic approach, dat maakt het lastig voor iedereen.

Robin Rotman: Welkom bij Captains of Privacy, een podcastserie van het Centrum Informatiebeveiliging en Privacybescherming. Samen met Walter van Wijk van het CIP, bespreek ik met inspirerende professionals de stand van privacyland aan de hand van hun visie en ervaringen.

Isabel Barberá: Als we samenwerken, als wij elkaar beter kunnen begrijpen, dat maakt het ook minder moeilijk.

Walter van Wijk: Vandaag hebben we te gast Isabel Barberá. Zij is medeoprichter van Rhite, The Privacy Engineering Hub. Ze heeft een achtergrond in privacy, ethiek, techniek. Ze is een gepassioneerde duizendpoot, ook actief voor ENISA en voor de European Data Protection Board. En ze heeft recent een award gewonnen voor most responsible woman in AI. The most responsible woman in AI, hoe voelt dat?

Isabel Barberá: Het klinkt een beetje anders dan wat het is, want het is responsible AI-leader, dus niet echt responsible woman. Maar inderdaad, ik voel me ook een responsible woman.

Robin Rotman: Waarom is privacy zo belangrijk voor jou?

Isabel Barberá: Ik vind privacy een belangrijke waarde. Het geeft je onafhankelijkheid als persoon, je eigen autonomie. Het is belangrijk voor je eigen intimiteit, het helpt je om jezelf te leren kennen. Op de één of andere manier heeft het te maken met je eigen veiligheidsgevoel. Er zijn heel veel verschillende waarden die op zich heel belangrijk zijn. Misschien heb ik persoonlijk een hele sterke moreel: wat is goed, wat is slecht en heel veel empathie. Dat alles samen zijn waarden die maken dat voor mij het beschermen van mensenrechten, van privacy, heel belangrijk is.

Robin Rotman: Daar gaan we natuurlijk deze podcast over doorpraten, Walter heeft een paar stellingen voor je meegenomen. Maar om deze kennismaking eerst nog een klein beetje te voltooien; jij werkt veel aan privacy by design en responsible design. Even een tipje van de sluier, hoe zou je dat omschrijven?

Isabel Barberá: Voor mij persoonlijk is het een manier om je bewust te zijn van wat je aan het doen bent en goed te kijken naar wat fout kan gaan, tijdens het ontwikkelingsproces. En niet alleen maar ontwikkeling, op zich kan alles wat je doet een impact hebben. Dus bewust zijn wat de impact kan zijn, de keuzes die je maakt. En uiteindelijk een holistische visie, dus niet alleen privacy, maar ook andere risico's die ook impact kunnen hebben.

Robin Rotman: En jij hebt jouw werk ervan gemaakt om andere partijen, overheden, bedrijven te helpen om dit in het design mee te nemen en om dat inzichtelijk te maken. Heb ik dat goed?

Isabel Barberá: Ja.

Robin Rotman: Wat is jouw eerste stelling, Walter?

Walter van Wijk: Ik haak even in op wat jij net zei, waarom jij privacy belangrijk vindt. Daar hoor ik allerlei dingen in als veiligheid. En de stelling is eigenlijk: de grootste bedreiging voor onze privacy is kunstmatige intelligentie.

Isabel Barberá: Nee. Ik denk dat dit iets is wat wij zeker het laatste halfjaar zien, sinds de ChatGPT en de nieuwe vooruitgang in de AI. Ik zou zeggen: vanuit mijn perspectief, is ook de gierigheid van bedrijven een bedreiging op zich. Maar ook hoe publieke instellingen omgaan met gegevens; wat ze echt willen doen, wat ze willen bereiken, hoe ze dat doen. En ook hoe wij als mensen omgaan met technologie. Dus dit is in samenhang met hoe wij zijn als mensen, wat wij willen doen. En wat bedrijven, die zoveel macht hebben door alle persoonsgegevens die zij verzamelen, maar ook wat ik zei: publieke instellingen.

Walter van Wijk: Dus ondanks al die technologische ontwikkelingen, is de menselijke kant nog steeds heel belangrijk?

Isabel Barberá: Ja.

Robin Rotman: Dus AI op zichzelf is niet de grote bedreiging voor onze privacy?

Isabel Barberá: Het is op zich een middel, het is een technologie. Door het grote aantal gegevens dat wordt verzameld, kunnen sommige risico's misschien groter worden, een grotere impact op de maatschappij hebben. Maar het verhaal op zich verandert niet; wij als mensen, wat wij doen, wat wij willen doen, wat wij kunnen doen.

Robin Rotman: Je hebt een databank opgericht. En daarin verzamel jij eigenlijk de bedreigingen voor onze privacy door AI: Plot for AI.

Isabel Barberá: Plot for AI is een bibliotheek van risico's die ik tijdens drie jaar onderzoek heb verzameld. Het bevat niet alleen maar privacyrisico's. Het verhaal begon ermee dat ik een bibliotheek wilde met de focus op privacy. Maar ik merkte tijdens mijn onderzoek dat er zo veel fout kan gaan met AI. Dus wat ik heb gedaan, is alle risico's inventariseren om in een catalogus te doen.

Robin Rotman: Neem mij een beetje mee. Wat zijn dat dan concreet? Heb je voorbeelden waarvan je zegt: dat zit allemaal in die bibliotheek. Als je daarheen gaat, je gaat er een beetje doorheen scrollen en je gaat snuffelen, dan kom je dit allemaal tegen. Om ons een beetje een indruk te geven.

Isabel Barberá: De bibliotheek bevat op dit moment 86 risico's en die zijn geclassificeerd in 8 verschillende categorieën. Dus je hebt risico's die te maken hebben met beveiliging bijvoorbeeld, maar ook met security meer specifiek gericht op AI. Maar ook risico's of bedreigingen die puur een impact hebben op mensenrechten, ook op compliance. Dus ze hebben een beetje van alles, ook van de techniek en niet alleen de techniek van AI. Het zijn ook gewoon processtappen, dingen waar je vaak niet over nadenkt.

Robin Rotman: Even dat we het goed begrijpen; zijn dat vooral de technische risico's, of ook de toepassing van die techniek als risico?

Isabel Barberá: Alles, dat is het mooie van Plot for AI, want je hebt echt een beetje van alles. Zelfs ook over het ontwerp, over aansprakelijkheid.

Robin Rotman: Vandaar die classificatie in categorieën?

Isabel Barberá: Ja, dus alles is geclassificeerd. En dan blijft het een bedreiging. Dus als je merkt tijdens de ontwikkeling van een AI-systeem dat je kwetsbaar kan zijn voor die specifieke bedreiging, dan kan je zeggen: daar heb ik waarschijnlijk een risico, wil ik iets doen om dat op te lossen?

Walter van Wijk: Wie had jij in gedachte als gebruikers van die databank, die library, toen je hem oprichtte of vulde?

Isabel Barberá: In principe is het niet alleen maar gericht op data scientists of engineers, maar wel op teams die AI ontwikkelen. Dat was voor mij de gedachte, zeker met mijn werk als privacy engineer. Ik zit heel vaak in development teams en ik merkte dat het iets wat wij nodig hebben. Deze methodologie bestaat al, dat heet threat modeling. Het is een manier om risico's te identificeren tijdens de development fase, de ontwerpfase, het moment dat je het systeem gaat ontwikkelen. Dus in de verschillende fases van die ontwikkeling, kan je de threat modeling doen. Je gaat door de bibliotheek van bedreigingen en gaat samen met een groep van verschillende stakeholders - dus niet alleen maar de data scientists, maar ook product owners, soms ook gebruikers zelfs - ga je door bepaalde vragen van de bibliotheek. En ga je op die manier ontdekken of er iets fout kan gaan.

Walter van Wijk: Jij werkt voor ENISA, je zit in de European Data Protection Board. Is dit ook een library die voor internationaal gebruik bedoeld is?

Isabel Barberá: Ja, het is Engelstalig. Dat komt ook omdat alle bronnen van informatie die ik voor mijn onderzoek heb gebruikt om te analyseren, in het Engels zijn.

Walter van Wijk: Heeft het de focus op Europa, op het werkingsterrein van het GDPR?

Isabel Barberá: Ja, op dit moment wel. De bibliotheek is ook helemaal open source. Alle bronnen en referenties staan ook in de tool. Maar omdat het een open source-karakter heeft - ik zeg dat ook op de website - het is allemaal gefocust op de GDPR, de AVG, maar het kan op zich ook uitgebreid worden naar andere landen. Dus dat is mogelijk. We hebben een Plot for AI community, heel veel mensen zijn nu bezig met de vertalingen. Het wordt ook wereldwijd aanbevolen door de OECD, ook door de French data protection autority.

Walter van Wijk: De timing is eigenlijk hartstikke goed. Kunstmatige intelligentie komt er al een paar jaar aan, het wordt al heel veel toegepast. Het laatste jaar lijkt het een soort doorbraak te bereiken, in de publieke opinie op zijn minst, dankzij ChatGPT, je noemde het net zelf al. Iedereen lijkt nu inmiddels een beetje door te krijgen, wat voor impact AI kan hebben op de samenleving. Zie je dat zelf ook dat je denkt: de timing is goed? Want al die partijen die nu gaan ontwikkelen, die ermee aan de slag gaan, die kunnen nu dankzij mijn database verantwoordelijker met dat spul omgaan.

Isabel Barberá: Op dit moment is er denk ik geen tool op de markt die je tijdens de ontwikkeling van een systeem helpt, om bedreigingen en potentiële risico's te ontdekken. Er is wel tooling voor andere specifieke problematiek, maar Plot for AI is op dit moment de enige die het spelenderwijs doet, bijvoorbeeld met een kaartspel. Risicosessies zijn meestal heel saai en vinden we niet echt leuk, maar de manier waarop het spel is gemaakt, dat helpt. Ik hoor ook van - ik ga geen bedrijven benoemen - maar het wordt wereldwijd gebruikt in heel veel ontwikkelingsteams. Dus ik hoop dat we wat verbeteringen gaan terugzien.

Robin Rotman: Ik zei in de introductie al: je hebt een achtergrond in privacy, maar ook in techniek, en ethiek. Plot for AI, jouw library, gaat niet alleen maar over privacy. Jij kijkt er holistischer naar.

Isabel Barberá: Ja, dat is voor mij heel belangrijk. Ik denk dat als je alleen maar specifiek kijkt naar, in dit geval privacy; wat ik in de praktijk zie, is dat er een enorme relatie zit tussen privacy, security, compliance, soms safety, de manier waarop wij de systemen willen ontwerpen, designen, de front- en de back-end. Het maakt het makkelijker voor teams als wij naar alles op een holistische manier kunnen kijken. En niet alleen maar specifiek naar privacy of naar compliance. Dat heb ik ook geprobeerd te bereiken met Plot for AI.

Walter van Wijk: Want dat doet iets met de impact?

Isabel Barberá: Je hoeft minder tijd te investeren om dingen te corrigeren. Je kan meteen het ontwerp doen, op een manier waarvan je merkt dat alles samen een grotere impact kan hebben, dan wanneer we kleine features aanpassen. Het één heeft misschien iets te maken met compliance, het andere met iets anders, maar samen kunnen we een beter ontwerp maken, dat globaal de impact op de mensen beschermt.

Walter van Wijk: Het is veiliger, beter en nog efficiënter ook.

Isabel Barberá: Efficiënter, maar wat ik ook zei: het bewustzijn. Het helpt je om meer bewust te zijn - dat klinkt soms misschien een beetje abstract - maar als je goed begrijpt wat een bedreiging kan zijn, alle kleine features die een probleem kunnen zijn, dan kan je een ontwerp beter creëren. Dus op een bewuste manier, waarvan je tenminste in eerste instantie denkt, dat het de negatieve impact kan verminderen.

Robin Rotman: Design, daar gaat de tweede stelling over.

Walter van Wijk: Je hebt het over bewustzijn. Veel mensen, ook bestuurders en zeker privacy professionals, hebben het over privacy by design. Dat willen ze allemaal, zeggen ze, maar in de praktijk valt dat nogal eens tegen, omdat het zo ingewikkeld is. Wat zijn nou de hordes die partijen tegenkomen, om dat ook echt te gaan toepassen? Wat kom jij tegen in de praktijk?

Isabel Barberá: Wat jij zegt klopt inderdaad denk ik. Ik merk dat er nog steeds heel weinig kennis is. Een beetje wat ik ook zei: het werken in silo's en niet de holistic approach, dat maakt het lastig voor iedereen. Ik denk dat als wij samenwerken, als wij elkaar beter kunnen begrijpen, dan maakt dat het ook minder moeilijk.

Walter van Wijk: Je zegt: weinig kennis. Gaat het dan over kennis over die andere silo's, over die andere gebieden, of ook specifieke privacy kennis waar het aan ontbreekt?

Isabel Barberá: Ook specifieke privacy kennis, dat zie ik ook in de praktijk.

Walter van Wijk: Noem eens een voorbeeld daarvan. Waar hebben mensen vaak een blinde vlek voor?

Isabel Barberá: Op het moment dat je in privacy werkt, is het belangrijk dat je de technologie goed begrijpt, en niet alleen maar op het vlak van de technologie. Er komt een moment, bijvoorbeeld in een contract dat je hebt met een derde partij die zegt: ik ben de processor, maar ik wil toch jouw gegevens gebruiken op een gegeven manier. Dan kan je misschien als jurist zeggen: nee, dat gaan wij niet doen, maar als je ook een beetje begrijpt hoe de technologie werkt, kan je ook de juiste vragen stellen aan die partij en misschien op een andere manier een balans vinden. Dus het is een manier om een balans te vinden tussen innovatie en privacy rechten. Ik denk dat als je de technische kennis niet hebt en je alleen maar focust op de wetgeving, dan is dat op dit moment lastig.

Robin Rotman: Dus jij zegt eigenlijk: het ontbreekt bij veel partijen aan een soort fundamentele kennis. Met wat voor technologie ben ik eigenlijk aan het werk? Ik kan me voorstellen dat er in die bibliotheek van jou allemaal elementen zitten die je dus mee kan nemen. Als je daar goed doorheen gaat, dan zitten daar natuurlijk allerlei elementen bij. Jij bent natuurlijk ook consultant. Dus jij gaat bedrijven, misschien overheden adviseren over: hoe doe je dat? Heb jij wat concrete tips? Je staat voor een bepaald project, je team heeft iets bedacht; dat is een creatief proces. Je gaat AI inzetten en je wil dat proces zo inrichten, dat privacy aan de voorkant... Hoe pak je dat aan? Wat is in dat proces het stappenplan dat je krijgt, als je Isabel uitnodigt?

Isabel Barberá: Als privacy professional kijk je niet alleen maar naar de wetgeving, maar je leert ook de engineerstaal. Dus je zit in het proces, de manier hoe engineers werken, bijvoorbeeld met scrum. Je moet ook een beetje draaien in het systeem, dat maakt het ook makkelijker. En als we samenwerken, beslissen we ook samen. Voor mij werkt het heel goed als ik samen met de engineers dingen ga beslissen. Voor bepaalde privacy issues gaan we samen goed begrijpen wat het issue kan zijn en hoe we dat op een technische manier kunnen oplossen. Of soms is het niet technisch, soms moet je gewoon andere stappen zetten. Eén van de dingen die belangrijk zijn vanuit mijn oogpunt, zijn de dataflows; heel goed begrijpen waar je gegevens zijn. Dus: welke gegevens wil je gebruiken, wat heb je echt nodig en wat zijn echt de integraties met andere partijen? De hele supply chain. En dit is niet alleen belangrijk voor security, maar het is voor privacy heel belangrijk en het is iets wat wij heel vaak vergeten. En dat maakt het hele plaatje van privacy by design duidelijker.

Robin Rotman: Dus als ik je mag samenvatten, je zegt eigenlijk: pas nou op voordat je zomaar als een kip zonder kop allerlei AI gaat toepassen. Je zegt eigenlijk: ik kom bij jou en we gaan fileren wat jullie aan het doen zijn; welke data, welke partijen, welke processen, hoe haakt het aan bij andere processen? En dan gaan we pas samen kijken hoe we het gaan doen. Dus dat is eerst heel analytisch en daarna komt er een soort creatief proces op gang.

Isabel Barberá: Ja, soms doe je het een beetje samen, maar dat is ook, denk ik, het ding van de holistische approach. Zeker binnen AI merk ik heel vaak dat er ideeën of opdrachten komen van bepaalde afdelingen en dan gaat het naar de uitvoeringspartij, de data scientist. Terwijl ik meer van samenwerken ben, dus we gaan samen beslissen; does it make sense? Moeten we dat op een andere manier doen? Of welke soort oplossingen kunnen we gebruiken? Je merkt ook heel vaak dat het werken in silo's misschien mooi is, zeker als data scientist om lekker te experimenteren. Maar als we niet samen gaan kijken wat we echt willen bereiken en zeker met AI-systemen, is het belangrijk om te bedenken wat we echt willen bereiken. Wat gaan we eigenlijk met de output van zo'n systeem doen? Welke soort interventies gaan we echt doen? Heeft dat echt de impact die we willen bereiken? En ook voor de betrokkenen, want heel vaak vergeten we echt de impact op hoe de andere partij nadenkt over wat wij willen doen.

Walter van Wijk: Ik wil er even een level hoger over praten. Ik bedoel, privacy was nog niet zo heel lang geleden vooral een juridisch onderwerp, de AVG en daarvoor de Wet Persoonsgegevens, maar het wordt steeds meer technologisch: biometrie, camera's, AI, privacy enhancing technologies. Jij zit op dat snijvlak, jij adviseert organisaties daarover, maar welke stappen moeten die organisatie zelf intern zetten, om de komende vijf jaar op een peil te zijn dat ze daar zelf adequaat mee kunnen omgaan? Heb je het dan over Privacy Technology Officers, wat is jouw idee daarbij? Welke stappen moeten ze zetten?

Isabel Barberá: Het maakt ook een verschil of je als een derde partij, als een soort supplier leverancier, een nieuw systeem intern gaat gebruiken, of dat je intern iets gaat ontwikkelen. Dan heb jij natuurlijk andere regels, andere stappen die je moet zetten. Maar in ieder geval zou ik zeggen, je begint zeker met het idee: wat heb ik echt nodig en waarom? En is dat proportioneel en niet alleen maar voor de hype gewoon allerlei coole, nieuwe technologieën inzetten? Wat kan de impact zijn, ook voor mijn eigen medewerkers? Hoe denken wij er met zijn allen samen over, is dit echt wat wij willen? Dat is misschien meer gerelateerd aan de kant van de ethiek. Technisch gezien is het natuurlijk afhankelijk van de use case, maar je moet sowieso kijken naar de robuustheid van het systeem. Dus dat het veilig is, dat de leveranciers echt te vertrouwen zijn, dat je op de juiste manier gaat bouwen. Het is zo afhankelijk van de use case, maar je moet sowieso heel veel verschillende stappen zetten.

Walter van Wijk: Er zijn ieder geval heel ontwikkelingen in privacyland, rondom technologie en de combinatie met de privacywetgeving. Hoe kan jij, Isabel, nou de meeste impact hebben om die verandering te stimuleren? De politiek in gaan, blijven adviseren, boeken schrijven?

Isabel Barberá: De politiek is iets dat ik nooit... Maar wie weet. Consultancy is iets dat ik echt leuk vind om te doen. Het geeft mij de vrijheid om mijn praktische kant te gebruiken. Ik houd van luisteren, begrijpen wat het probleem is. En dan probeer je samen, afhankelijk van hoe de cultuur van het bedrijf, van de organisatie is: hoe kunnen wij dit probleem oplossen? En ik houd ook heel veel van anderen leren wat ik kan.

Walter van Wijk: Je traint anderen?

Isabel Barberá: Ja, zodat organisaties intern ook het beste uit hun eigen medewerkers kunnen halen. Dan gaat het niet alleen maar om een externe consultant die hier alles komt oplossen en dan weer weggaat. En boeken schrijven is op zich een goed idee. Misschien als ik een beetje meer vrije tijd heb, kan ik beginnen wat stappen te zetten.

Robin Rotman: Jij volgt het fenomeen privacy en de technologieën die daarmee te maken hebben natuurlijk al jaren. Als jij naar die toekomst kijkt, een jaartje of twintig vooruit, bestaat privacy dan nog en hoe denken wij daar dan over? Heb jij een benul daarvan, heb jij een idee?

Isabel Barberá: Dertig jaar is misschien een beetje te ver, als ik er dan nog ben, maar ik hoop sowieso mijn kinderen. Wat ik nu al zie is dat we een beetje richting autonomie gaan, de autonomie van onze eigen gegevens. Dus we willen meer gegevens delen, we zien ook het potentieel om gegevens te delen. Want het kan sowieso voor misschien de gezondheidssector, de klimaatsector, heel positief zijn. Maar ik zie ook dat we meer richting onze eigen - zoals we de laatste tijd horen, onze digitale identiteit - de autonomie over je eigen gegevens gaan. Dat vraagt ook vertrouwen. Vertrouwen in de bedrijven, vertrouwen in de overheid. Gaat dat gebeuren?

Robin Rotman: En over tien, twintig jaar, denk je dat we dan echt stappen hebben gezet, dat we dat helderder hebben uitgekristalliseerd, hoe we dat willen hebben?

Isabel Barberá: Ik denk dat het niet verandert hoe wij dat willen hebben. Want ik denk dat de mens zelf gewoon vertrouwen wil hebben. Dus we willen innovatie, we willen vooruitgang, we willen de technologie omarmen. Maar we willen ook kunnen vertrouwen op publieke instellingen en bedrijven. En niet alleen maar grote bedrijven, maar iedereen waarvan je weet dat ze te maken hebben met jouw eigen persoonsgegevens. Dat is lastig. We zien hoe wij zijn als mens, dus het is niet dat we kunnen zeggen: over dertig jaar worden wij zeker beter. Ik hoop sowieso dat er meer vooruitgang is qua technologie, met quantumcomputers - for good or for bad, dat weten we niet - met encryptische anonimiseringstechnieken. Dus in de ideale wereld, kunnen we vertrouwen in de technologie, kunnen we vertrouwen op de instanties die voor ons moeten zorgen. En zo kunnen we blijven dromen.

Robin Rotman: Heb je er vertrouwen in dat we de goede kant op gaan met zijn allen?

Isabel Barberá: Ik zou het heel graag willen.

Walter van Wijk: Het blijft in de lucht hangen als een cliffhanger.

Robin Rotman: We spreken je over tien jaar nog een keertje en kijken hoe het is afgelopen. Isabel Barberá, dank je wel voor dit gesprek. Hopelijk heeft het geïnspireerd, mij in ieder geval wel. Je kan natuurlijk ook de andere afleveringen van Captains of Privacy terugluisteren. Walter, waar kunnen onze luisteraars dat doen?

Walter van Wijk: Gewoon in je eigen favoriete podcast-app of anders op cip-overheid.nl/uitgelegd.

Robin Rotman: Dank je wel.

Isabel Barberá: Graag gedaan.