S06E31 - Standaardisatie in AI: een broodnodige richtlijn - Willy Tadema en Nelleke Groen

In deze aflevering van AIToday Live verkennen we met Willy Tadema en Nelleke Groen de impact van standaardisatie op de ontwikkeling en implementatie van AI. Aan de hand van hun expertise bespreken we de noodzaak van gestandaardiseerde richtlijnen en de uitdagingen die hierbij komen kijken, vooral in het licht van snel evoluerende AI-technologieën.

Het gesprek belicht ook de invloed van toekomstige regelgeving zoals de EU AI Act en de rol van standaardisatie bij het bevorderen van innovatie binnen het AI-domein. Deze dialoog biedt inzicht in hoe standaarden kunnen bijdragen aan een verantwoorde integratie van AI in de samenleving.

Links

• Normcommissie: Artificial Intelligence en Big Data (https://www.nen.nl/normcommissie-artificial-intelligence-en-big-data)
• Eu ai act: Artificial Intelligence Act (https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138_EN.html)
• Website: CEN-CENELEC (https://www.cencenelec.eu)
• Website: Rijks ICT Gilde: Tech consultants voor het Nederland van morgen (https://www.rijksorganisatieodi.nl/rijks-ict-gilde)

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:06,720
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live.

2
00:00:06,720 --> 00:00:13,080
We gaan het vandaag hebben over standaardisatie in AI met Willy Tadema en Nelleke Groen.

3
00:00:13,080 --> 00:00:14,000
Leuk dat jullie er zijn.

4
00:00:14,000 --> 00:00:17,120
Mijn naam Joop Snijder, CTO bij Aigency.

5
00:00:17,120 --> 00:00:19,600
Mijn naam Niels Naglé, Area Lead, Data & AI.

6
00:00:19,600 --> 00:00:24,800
Ja Willy en Nelleke, geweldig dat jullie wilden komen bij ons in de studio.

7
00:00:24,800 --> 00:00:26,320
Dankjewel.

8
00:00:26,320 --> 00:00:34,520
Willy jij op doorreis, we hebben al wel eens iemand gehad die vanuit Finland onze studio binnen is gekomen en doorgegaan is.

9
00:00:34,520 --> 00:00:38,040
Maar jij bent eigenlijk op weg naar iets.

10
00:00:38,040 --> 00:00:42,280
Ja nou van Groningen, pitstop hier in Veenendaal en dan door naar Berlijn.

11
00:00:42,280 --> 00:00:44,280
Ja, dat is een mooie U-bocht.

12
00:00:44,280 --> 00:00:45,280
Ja leuk.

13
00:00:45,280 --> 00:00:50,800
Voordat we beginnen, zou je jezelf willen voorstellen, laten we beginnen bij jou Willy.

14
00:00:50,800 --> 00:00:56,800
Mijn naam is Willy Tadema en ik werk bij Binnenlandse Zaken bij het Rijk ICT Gilde.

15
00:00:56,800 --> 00:01:02,400
Dat is eigenlijk een pool van technische experts die overal binnen het Rijk worden ingezet.

16
00:01:02,400 --> 00:01:08,480
Onder andere softwareontwikkelaars, security experts en ook specialist op het gebied van AI en data.

17
00:01:08,480 --> 00:01:14,200
Daar hoor ik ook bij, ik ben adviseur op het gebied van verantwoord inzet van AI.

18
00:01:14,200 --> 00:01:15,200
Mooi.

19
00:01:15,200 --> 00:01:21,280
Klopt en ik doe nu een opdracht bij digitale samenleving en daar gaan we het volgens mij ook over hebben.

20
00:01:21,280 --> 00:01:23,280
Het dossier waar ik daar mee bezig ben.

21
00:01:23,280 --> 00:01:24,280
Jazeker.

22
00:01:24,280 --> 00:01:25,280
Jij Nelleke?

23
00:01:25,280 --> 00:01:29,560
Ik werk ook bij het Rijk, niet bij Binnenlandse Zaken, bij Rijkswaterstaat.

24
00:01:29,560 --> 00:01:38,600
Ik ben daar jurist en ik ben sinds twee jaar of zo meer tech-jurist op het gebied van cybersecurity data.

25
00:01:38,600 --> 00:01:42,160
Hiervoor deed ik privacy, dus dat heeft op zich wel met elkaar te maken.

26
00:01:42,160 --> 00:01:48,520
Maar nu iets meer specifiek richting de techniek dan op de gegevensbescherming.

27
00:01:48,520 --> 00:01:53,000
En dat is sinds anderhalf, twee jaar eigenlijk alleen maar AI.

28
00:01:53,000 --> 00:01:57,520
Maar er ging iets doen met algoritmes en toen kwam er een ChatGPT en toen zei iedereen

29
00:01:57,520 --> 00:02:02,360
"ja we deden al heel veel met AI, want we doen echt heel veel met AI, dus we gaan nu

30
00:02:02,360 --> 00:02:04,480
nog meer er mee doen en wat vind jij ervan?"

31
00:02:04,480 --> 00:02:06,800
Dat vroegen ze niet, ik zei "ik vind er wat van".

32
00:02:06,800 --> 00:02:07,800
Dat kon draaien.

33
00:02:08,800 --> 00:02:11,800
Mogen we meteen vragen om "wat vond je ervan?"

34
00:02:11,800 --> 00:02:12,800
Wat vond je ervan?

35
00:02:12,800 --> 00:02:14,800
Ik vind er heel veel van.

36
00:02:14,800 --> 00:02:23,800
We zitten, even kijken, november 22, het jaar GPT en toen had ik al gesprekken met onze

37
00:02:23,800 --> 00:02:24,800
IV-afdeling.

38
00:02:24,800 --> 00:02:27,800
We hebben een dienstonderdeel dat gaat echt over IV.

39
00:02:27,800 --> 00:02:28,800
Wat is IV?

40
00:02:28,800 --> 00:02:32,800
Centrale Informatievoorziening is wat ze dat noemen.

41
00:02:32,800 --> 00:02:38,800
Dus dat gaat zowel over IT als IA, industriële automatisering, als meer kantoor IT.

42
00:02:38,800 --> 00:02:40,800
En cybersecurity zit er in.

43
00:02:40,800 --> 00:02:43,800
Dat is eigenlijk voor alles wat RWS doet.

44
00:02:43,800 --> 00:02:48,800
In Rijkswaterstaat verzorgen zij de digitale kant en het digitale denken en het digitale

45
00:02:48,800 --> 00:02:49,800
maken.

46
00:02:49,800 --> 00:02:53,800
Daar zijn zij mee bezig.

47
00:02:53,800 --> 00:02:57,800
Ik kreeg dus vragen over AI.

48
00:02:57,800 --> 00:03:01,800
Ik had die gesprekken al wel een beetje, want ik ging dingen doen met algoritme, dus ik

49
00:03:01,800 --> 00:03:03,800
ging daar eens vragen van "Goh, waar hebben we die eigenlijk?"

50
00:03:03,800 --> 00:03:04,800
"Waar dan?

51
00:03:04,800 --> 00:03:05,800
En hoe ziet het eruit?

52
00:03:05,800 --> 00:03:07,800
En wat schrijven we daar eigenlijk over op?"

53
00:03:07,800 --> 00:03:10,800
Omdat er ook een algoritmeregister zou gaan komen.

54
00:03:10,800 --> 00:03:15,800
En toen hebben we eigenlijk met een paar mensen, onder andere iemand van Datalab en iemand

55
00:03:15,800 --> 00:03:20,800
van Ciovis en iemand van Strategie die heel erg geïnteresseerd was in AI, een clubje gevormd.

56
00:03:20,800 --> 00:03:22,800
Omdat ik zei "Ja, ik heb casussen nodig.

57
00:03:22,800 --> 00:03:24,800
Ik weet helemaal niet wat ik hier juridisch van vind.

58
00:03:24,800 --> 00:03:29,800
Er komt een wet aan en ik kan van alles bedenken, maar ik moet als jurist wel iets hebben om

59
00:03:29,800 --> 00:03:30,800
te toetsen."

60
00:03:30,800 --> 00:03:33,800
Dus toen zijn we bij elkaar gaan zitten en dat doen we eigenlijk sinds die tijd wekelijks.

61
00:03:33,800 --> 00:03:35,800
En we zien elkaar tussendoor ook nog wel.

62
00:03:35,800 --> 00:03:38,800
Puur om elkaar op de hoogte te houden en wat speelt er aan ontwikkelingen.

63
00:03:38,800 --> 00:03:45,800
En we zien dus dat er wel toepassingen bedacht worden en ook wel uitgerold of in pilot gebracht

64
00:03:45,800 --> 00:03:47,800
worden, maar echt opschalen, dat is lastig nog.

65
00:03:47,800 --> 00:03:51,800
Dus we zijn aan het onderzoeken.

66
00:03:51,800 --> 00:03:55,800
En wat ik ervan vind, ik vind dat er dus een juridische component aan zit.

67
00:03:55,800 --> 00:04:02,800
En dat is altijd lastig als je als jurist bij IT'ers aanklopt en zegt "Nou, ik vind ook wel wat."

68
00:04:02,800 --> 00:04:07,800
De meeste juristen vinden hele gedetailleerde dingen, ik niet zo heel erg.

69
00:04:07,800 --> 00:04:13,800
En ik ben vooral eigenlijk ook omdat de AI-act nu zeg maar, ja, hij is klaar, maar nu komt

70
00:04:13,800 --> 00:04:16,800
de ontwikkeling van wat betekent het nou echt.

71
00:04:16,800 --> 00:04:20,800
Ik ben vooral heel erg nieuwsgierig en bezig met wat voor recht moeten we vormen.

72
00:04:20,800 --> 00:04:23,800
Er is al recht en wat moet daarbij komen?

73
00:04:23,800 --> 00:04:28,800
Specifiek voor AI, om te zorgen dat dit daadwerkelijk goed landt in de samenleving.

74
00:04:28,800 --> 00:04:35,800
Dat we een human-centered AI hebben, dat we responsible en mensgerichte AI krijgen, wat

75
00:04:35,800 --> 00:04:37,800
allemaal de buzzwords zijn.

76
00:04:37,800 --> 00:04:42,800
Maar dat is er niet omdat je bedenkt dat je dat wil, dat is er omdat je erover nadenkt

77
00:04:42,800 --> 00:04:43,800
hoe dat er dan uitziet.

78
00:04:43,800 --> 00:04:48,800
En dat is eigenlijk voor een deel, vind ik, mijn taak als jurist.

79
00:04:48,800 --> 00:04:50,800
Je hebt ze ook ethici.

80
00:04:50,800 --> 00:04:54,800
En is dat ook de link naar jou, die responsible AI?

81
00:04:54,800 --> 00:04:57,800
Nou ja, ik kom echt vanuit de praktijk.

82
00:04:57,800 --> 00:05:03,800
Ik ben data scientist en ik heb de afgelopen zes jaar op heel veel verschillende plekken

83
00:05:03,800 --> 00:05:05,800
binnen de overheid gezeten in data- en AI-teams.

84
00:05:05,800 --> 00:05:09,800
En eigenlijk daar raken Nelleke en ik elkaar, denk ik.

85
00:05:09,800 --> 00:05:14,800
Daar was het ook eigenlijk mijn werk om te kijken van die prototypes die we hebben, hoe

86
00:05:14,800 --> 00:05:15,800
kunnen we die opschalen?

87
00:05:15,800 --> 00:05:19,800
Want wat je ziet is dat er toch veel prototypes zijn, veel experimenten.

88
00:05:19,800 --> 00:05:24,800
Maar in mijn beleving toch nog relatief weinig wat echt in productie komt.

89
00:05:24,800 --> 00:05:29,800
En het hele interessante wat ik ontdekte, in ieder geval in mijn werk, was dat eigenlijk

90
00:05:29,800 --> 00:05:32,800
het trainen van modellen is het probleem niet.

91
00:05:32,800 --> 00:05:36,800
Het zijn juist die juridische en die ethische en die organisatorische randvoorwaarden waar

92
00:05:36,800 --> 00:05:37,800
het eigenlijk aan ontbreekt.

93
00:05:37,800 --> 00:05:42,800
En toen heb ik me eigenlijk, vijf jaar geleden, heb ik besloten om me daar helemaal op toe

94
00:05:42,800 --> 00:05:44,800
te leggen, me daarin te specialiseren.

95
00:05:44,800 --> 00:05:47,800
En ik niet alleen, we hebben dus een heel team van 30 mensen.

96
00:05:47,800 --> 00:05:54,800
En nou ja, wat ik ook merkte in die teams, of in de landen, als ik dan in die AI- en data-teams

97
00:05:54,800 --> 00:05:59,800
zat, was dat we soms best wel heel erg gefrustreerd waren over wat er nu weer over ons uit werd

98
00:05:59,800 --> 00:06:04,800
gestort vanuit Den Haag aan instrumenten of beleid of zoals nu dan die wetgeving.

99
00:06:04,800 --> 00:06:09,800
Dus vorig jaar om deze tijd dacht ik van, ook geïnspireerd door bijvoorbeeld Brenno

100
00:06:09,800 --> 00:06:12,800
de Winter en Ronald Damhof, ik moet naar Den Haag.

101
00:06:12,800 --> 00:06:19,800
Dan moet er toch iemand naar Den Haag om ook die stem vanuit de praktijk te laten horen.

102
00:06:19,800 --> 00:06:20,800
Wat goed.

103
00:06:20,800 --> 00:06:23,800
Ja, ik vond het ook wel spannend, moet ik eerlijk zeggen.

104
00:06:23,800 --> 00:06:33,800
Want dan zit je dan als techneut in zo'n team direct onder de staatssecretaris en mee

105
00:06:33,800 --> 00:06:36,800
te praten over nieuwe wetgeving, over nieuw beleid.

106
00:06:36,800 --> 00:06:39,800
Maar ook super leerzaam en interessant.

107
00:06:39,800 --> 00:06:46,800
En dat is eigenlijk wat mij motiveert, precies wat jij zegt Nelleke, hoe gaan we dit nou operationaliseren?

108
00:06:46,800 --> 00:06:48,800
Hoe laten we dit werken in de praktijk?

109
00:06:48,800 --> 00:06:53,800
En die doelstellingen van die wetgeving en dat beleid, hoezo ervoor dat het ook echt

110
00:06:53,800 --> 00:06:55,800
die resultaten op gaat leven?

111
00:06:55,800 --> 00:07:03,800
Het lijkt me best wel lastig als je daar als, want je zou jezelf kunnen classificeren als

112
00:07:03,800 --> 00:07:05,800
techneut, als data-scientist.

113
00:07:05,800 --> 00:07:09,800
Dan is dat misschien best wel een grote stap naar Den Haag, staatssecretaris.

114
00:07:09,800 --> 00:07:13,800
Hoe ziet dat gat eruit en hoe heb je dat overbrugt?

115
00:07:13,800 --> 00:07:15,800
Hoe ziet dat gat eruit?

116
00:07:15,800 --> 00:07:24,800
Nou ja, in het begin ook vooral, het is gewoon ook alleen al het vocabulaire.

117
00:07:24,800 --> 00:07:26,800
Ja, dat is heel anders.

118
00:07:26,800 --> 00:07:31,800
Ja, dat is al, dat vond ik al heel bijzonder.

119
00:07:31,800 --> 00:07:34,800
Dan leer je eigenlijk hoe belangrijk woorden zijn.

120
00:07:34,800 --> 00:07:39,800
Hoe lang je het met elkaar kan, dat je kan denken dat je het over hetzelfde hebt, maar

121
00:07:39,800 --> 00:07:43,800
ondertussen toch verschillende betekenissen toekent.

122
00:07:43,800 --> 00:07:45,800
Of bijvoorbeeld op verschillende abstractieniveaus.

123
00:07:45,800 --> 00:07:49,800
Daar had ik zelf in het begin last van.

124
00:07:49,800 --> 00:07:54,800
Dat het toch, bijvoorbeeld wetgeving is noodzakelijkerwijs, toch op een hoger abstractieniveau.

125
00:07:54,800 --> 00:07:56,800
Dat kan ook niet anders, dat moet ook.

126
00:07:56,800 --> 00:08:01,800
Terwijl ik vanuit de praktijk natuurlijk wil weten, ja maar hoe dan?

127
00:08:01,800 --> 00:08:05,800
Wat betekent het dan om bijvoorbeeld te voldoen aan zo'n AI-act?

128
00:08:05,800 --> 00:08:08,800
Dus dat was heel erg zoeken voor mij in het begin.

129
00:08:08,800 --> 00:08:12,800
En ik denk dat ik daarom ook op dat verhaal van die standaarden ben uitgekomen.

130
00:08:12,800 --> 00:08:15,800
Omdat dat is wat we proberen te doen met die standaarden.

131
00:08:15,800 --> 00:08:22,800
Is eigenlijk te kijken van, oké, dat juridische kader, hoe kunnen we dat vertalen naar een technisch kader?

132
00:08:22,800 --> 00:08:25,800
Wat je ook echt kan operationaliseren.

133
00:08:25,800 --> 00:08:29,800
Wat je gewoon gaat vertellen, wat moet ik dan doen? Hoe dan?

134
00:08:29,800 --> 00:08:33,800
Ja, en ik merk dat de standaarden ook echt nog die tussenstap daarin zijn.

135
00:08:33,800 --> 00:08:36,800
Want uiteindelijk ga je producten maken, je gaat dingen doen.

136
00:08:36,800 --> 00:08:40,800
En als jurist kijk je ook naar de dingen die je doet.

137
00:08:40,800 --> 00:08:43,800
En dan vertel je dat weer terug naar de wet, dan binnen het juridische raamwerk.

138
00:08:43,800 --> 00:08:46,800
En die standaarden zijn eigenlijk zo'n zijpad daarnaast.

139
00:08:46,800 --> 00:08:50,800
Waarbij je dus diezelfde route loopt, maar dan met technische eisen.

140
00:08:50,800 --> 00:08:54,800
Dus niet zozeer met een juridisch blauw verhaal, maar met technische eisen.

141
00:08:54,800 --> 00:08:59,800
En die twee stukken samenbrengen vind ik echt nog een enorme uitdaging.

142
00:08:59,800 --> 00:09:02,800
Je ziet in de standaardisatie ook nog weinig juristen lopen.

143
00:09:02,800 --> 00:09:09,800
En dat is best jammer. Ik denk dat het heel goed is dat we dat meer opzoeken.

144
00:09:09,800 --> 00:09:13,800
Het is alleen echt heel moeilijk. Ik vind het ook echt wel heel ingewikkeld om steeds te zoeken naar...

145
00:09:13,800 --> 00:09:16,800
Wat is dan het abstractieniveau waar jij nu technisch op te praten bent?

146
00:09:16,800 --> 00:09:18,800
En wat zijn dan de vergelijkbare abstractieniveaus aan juridisch?

147
00:09:18,800 --> 00:09:22,800
Zijn die woorden dan hetzelfde? Moeten we dan op zoek naar andere woorden?

148
00:09:22,800 --> 00:09:27,800
Wat zijn de begrippen die we allebei nastreven?

149
00:09:27,800 --> 00:09:34,800
En halen we die? Hebben we een technische benchmark voor bias? Hoe ziet dat eruit?

150
00:09:34,800 --> 00:09:41,800
We gaan dat naar 0,0 zoveel. Dan maken we een grafiek.

151
00:09:41,800 --> 00:09:43,800
En dan ga ik bedenken, oké, maar als ik zeg...

152
00:09:43,800 --> 00:09:49,800
Er mag geen ongeoorloofde onderscheid zijn.

153
00:09:49,800 --> 00:09:54,800
Is dat er dan nog? Of niet? Want het is er wel, maar is dit zo klein?

154
00:09:54,800 --> 00:09:59,800
En dat soort vertalingen, dat is super interessant, maar heel ingewikkeld nog.

155
00:09:59,800 --> 00:10:02,800
En ook heel moeilijk om op één lijn te komen.

156
00:10:02,800 --> 00:10:08,800
Ja, precies. Want gaat die standaardisatie dan ook over de definitie van termen?

157
00:10:08,800 --> 00:10:11,800
Of gaat het nog verder ook in standaardisatie van processen?

158
00:10:11,800 --> 00:10:14,800
Ja, ik denk dat we... Ja, daar zijn we echt nog heel erg over in de spiegel.

159
00:10:14,800 --> 00:10:19,800
Nou ja, je moet eigenlijk ook wat meer weten over de AI-Act.

160
00:10:19,800 --> 00:10:21,800
Ja, laten we daar eens mee beginnen.

161
00:10:21,800 --> 00:10:24,800
Misschien kan ik eerst een vraag stellen aan jullie.

162
00:10:24,800 --> 00:10:28,800
Dus straks is die AI-Act van kracht.

163
00:10:28,800 --> 00:10:35,800
En wat zou dan de overeenstemming zijn tussen een stukje houten speelgoed,

164
00:10:35,800 --> 00:10:39,800
een elektrisch apparaat, een koffiezetapparaat bijvoorbeeld,

165
00:10:39,800 --> 00:10:45,800
en een medicinale zalm voor eczeem?

166
00:10:45,800 --> 00:10:48,800
En een hoog risico AI-systeem. Dus die vier dingen.

167
00:10:48,800 --> 00:10:54,800
Speelgoed, elektrisch apparaat, medicijnen en een hoog risico AI-systeem.

168
00:10:54,800 --> 00:10:56,800
Wat is de overeenkomst?

169
00:10:56,800 --> 00:10:58,800
Zal ik beginnen?

170
00:10:58,800 --> 00:11:04,800
Dat kan ik nog even nadenken. Want ik heb vier plaatjes voor me en ik zie die plaatjes en ik weet niet...

171
00:11:04,800 --> 00:11:07,800
Ik zie Niels echt als een konijn in de kop lampen kijken.

172
00:11:07,800 --> 00:11:14,800
Nou, ik zie zeg maar overeenkomsten is dat je denkt aan veiligheid, aan impact.

173
00:11:14,800 --> 00:11:20,800
Dus als je het hebt over het speelgoed, dat je na moet gaan denken over hoe veilig is dat voor kinderen,

174
00:11:20,800 --> 00:11:26,800
hoe gaat dat gebruikt worden en wat zouden negatieve consequenties daarvan kunnen zijn.

175
00:11:26,800 --> 00:11:28,800
Welke had je nou nog meer?

176
00:11:28,800 --> 00:11:31,800
Speelgoed, elektrisch apparaat en medicijnen.

177
00:11:31,800 --> 00:11:37,800
Elektrische apparaten hebben natuurlijk een andere type van veiligheid.

178
00:11:37,800 --> 00:11:41,800
Dus dan heb je de technische veiligheid en ik denk ook qua gebruik.

179
00:11:41,800 --> 00:11:48,800
Dus dan moet ook een soort van handleiding omheen van waar mag je het wel voor gebruiken, waarvoor niet.

180
00:11:48,800 --> 00:11:53,800
En hoe gebruik je het vooral veilig?

181
00:11:53,800 --> 00:12:01,800
En medicijnen, moet je aantonen dat er geen bijwerkingen zijn die een dusdanige negatieve impact hebben,

182
00:12:01,800 --> 00:12:09,800
dat dat kan leiden tot ernstige andere aandoeningen of misschien zelfs dat je daar aan komt komen overlijden.

183
00:12:09,800 --> 00:12:12,800
Ja, hartstikke goed.

184
00:12:12,800 --> 00:12:14,800
Dank je wel.

185
00:12:14,800 --> 00:12:19,800
Je kan het eigenlijk... Je kunt nog een stapje verder gaan.

186
00:12:19,800 --> 00:12:23,800
Die drie dingen die ik noemde, dat speelgoed, dat elektrisch apparaat en die medicijnen,

187
00:12:23,800 --> 00:12:25,800
die hebben allemaal een CE-markering.

188
00:12:25,800 --> 00:12:27,800
Dat heb je vast wel een keer gezien.

189
00:12:27,800 --> 00:12:31,800
CE-markering, dat staat voor conformité européenne, volgens mij.

190
00:12:31,800 --> 00:12:37,800
En wat het interessante is, dat straks een hoog risico AI-systeem ook een CE-markering moet hebben.

191
00:12:37,800 --> 00:12:42,800
En dat heeft alles te maken met productveiligheid, precies wat je zegt.

192
00:12:42,800 --> 00:12:47,800
En Nelleke is jurist, dus die kan het nog beter uitleggen dan jij.

193
00:12:47,800 --> 00:12:52,800
En het is wel leuk, want je noemde bij de verschillende categorieën verschillende dingen waar je aan denkt.

194
00:12:52,800 --> 00:12:57,800
En ik denk dat bij een hoog risico AI, zitten al die dingen erin.

195
00:12:57,800 --> 00:13:01,800
Dus het is intended use en hoe zou het abused kunnen worden?

196
00:13:01,800 --> 00:13:04,800
Of hoe zou je kunnen vergissen in de use?

197
00:13:04,800 --> 00:13:08,800
Hoe zou je... Nou ja, als je kijkt naar de medicijnen, wat is een overdosering in die AI?

198
00:13:08,800 --> 00:13:12,800
Dat klinkt een beetje raar en tegelijkertijd zijn jullie echte techneuten.

199
00:13:12,800 --> 00:13:16,800
En qua data en bias kun je je voorstellen hoe dat eruit ziet.

200
00:13:16,800 --> 00:13:19,800
En dat is ook een van de dingen waar ik heel erg aan denk.

201
00:13:19,800 --> 00:13:23,800
Want ik denk dat het ook een heel belangrijk onderwerp is.

202
00:13:23,800 --> 00:13:26,800
En dat is ook een van de dingen waar ik heel erg aan denk.

203
00:25:50,800 --> 00:25:53,800
Dat zijn dus heel andere dingen.

204
00:25:53,800 --> 00:25:56,800
Dus je bent naar heel andere dingen aan het kijken,

205
00:25:56,800 --> 00:25:59,800
waardoor je zegt, ja, dit is trustworthy.

206
00:25:59,800 --> 00:26:03,800
En je kijkt dus ook net als eerlijk,

207
00:26:03,800 --> 00:26:05,800
of de morele dilemma's.

208
00:26:05,800 --> 00:26:07,800
We maken dus een product.

209
00:26:07,800 --> 00:26:09,800
Laten we niet een koekenpan nemen,

210
00:26:09,800 --> 00:26:11,800
maar laten we een AI-achtig ding,

211
00:26:11,800 --> 00:26:14,800
wat qua impact de mitrailleur is, nemen.

212
00:26:14,800 --> 00:26:16,800
Die gaan we maken, die doet vette, coole dingen.

213
00:26:16,800 --> 00:26:19,800
Dat kan allemaal best, maar FTF kan ook een hele grote impact hebben

214
00:26:19,800 --> 00:26:21,800
en kan ook best wel rottig gebruikt worden.

215
00:26:21,800 --> 00:26:24,800
Maar wij gebruiken hem alleen maar voor goede dingen in ons bedrijf.

216
00:26:24,800 --> 00:26:25,800
Maar wij gebruiken hem alleen maar voor goede dingen in ons bedrijf.

217
00:26:25,800 --> 00:26:28,800
Maar wij gebruiken hem alleen maar voor goede dingen in ons bedrijf.

218
00:26:28,800 --> 00:26:34,800
Wie is dan degene die bepaalt of dat goed genoeg is?

219
00:26:34,800 --> 00:26:38,800
Of het inderdaad voldoende afgeschermd is van de maatschappij

220
00:26:38,800 --> 00:26:43,800
om niet zomaar gekocht te worden door mijn elfjarige zoon.

221
00:26:43,800 --> 00:26:48,800
Omdat het internet helemaal niet checkt of hij wel echt 18 is.

222
00:26:48,800 --> 00:26:51,800
En hij met mijn creditcard een heel eind komt.

223
00:26:51,800 --> 00:26:53,800
Of mijn gedeelde Apple Pay, whatever.

224
00:26:53,800 --> 00:26:57,800
Wie beslist daarover?

225
00:26:57,800 --> 00:27:00,800
Is dat dan een procedureeis die we in standaard opschrijven?

226
00:27:00,800 --> 00:27:02,800
Of komt daar norm voor?

227
00:27:02,800 --> 00:27:05,800
Je moet het openbaar publiceren op een plakkaat.

228
00:27:05,800 --> 00:27:07,800
Ik verzint ze maar wat je allemaal kan doen hoor.

229
00:27:07,800 --> 00:27:10,800
Is dat dan de board van dat bedrijf?

230
00:27:10,800 --> 00:27:12,800
Of is het het hele bedrijf? Zijn het techneuten?

231
00:27:12,800 --> 00:27:16,800
Moet er een klankbordgroep zijn? Met wie dan?

232
00:27:16,800 --> 00:27:21,800
Dat zijn ook dingen waar ook qua praktische manier van werken

233
00:27:21,800 --> 00:27:26,800
nog zoveel zoeken is van wat zou werkbaar zijn?

234
00:27:26,800 --> 00:27:29,800
Terwijl ik als jurist, want dat is dan weer mijn...

235
00:27:29,800 --> 00:27:32,800
Ik kan overal best wel weer punten en komma's zetten.

236
00:27:32,800 --> 00:27:33,800
Maar als je dit doet...

237
00:27:33,800 --> 00:27:35,800
Ik kan heel goed advocaat van de duivel spelen.

238
00:27:35,800 --> 00:27:38,800
Dat is ook heel irritant, maar ook een meerwaarde.

239
00:27:38,800 --> 00:27:40,800
Want door het van verschillende kanten te bekijken

240
00:27:40,800 --> 00:27:41,800
komen al die vragen op.

241
00:27:41,800 --> 00:27:44,800
En uiteindelijk wil ik ook niet een product wat niet werkt

242
00:27:44,800 --> 00:27:49,800
of wat te moeilijk is, maar wel een product dat voldoet

243
00:27:49,800 --> 00:27:53,800
aan wat veilig is.

244
00:27:53,800 --> 00:27:56,800
Ik zit nog even over lift en koekenpan.

245
00:27:56,800 --> 00:28:00,800
Dat zijn andere dingen die wel afkomen.

246
00:28:00,800 --> 00:28:02,800
En wat mij afvraagt is zo'n lift.

247
00:28:02,800 --> 00:28:05,800
Daar heb je bepaalde slijtage, je hebt er zoveel gebruik.

248
00:28:05,800 --> 00:28:08,800
En daar zal een x-periode van of een jaar of een half jaar

249
00:28:08,800 --> 00:28:10,800
voor nodig zijn om weer een extra toetsing te doen.

250
00:28:10,800 --> 00:28:12,800
Doet die nog wat die moet doen?

251
00:28:12,800 --> 00:28:14,800
Dat is een heel grote vraag.

252
00:28:14,800 --> 00:28:17,800
Maar dat is wel de opdracht die we hebben gekregen

253
00:28:17,800 --> 00:28:18,800
van de Europese Commissie.

254
00:28:18,800 --> 00:28:23,800
En wil die AI-act gaan werken, moeten die standaarden er wel komen.

255
00:28:23,800 --> 00:28:26,800
En ik denk ook...

256
00:28:26,800 --> 00:28:28,800
Wat je dus ziet...

257
00:28:28,800 --> 00:28:31,800
Dat is misschien nog wel even goed om te zeggen.

258
00:28:31,800 --> 00:28:33,800
Dat is een heel grote vraag.

259
00:28:33,800 --> 00:28:36,800
Maar ik denk ook dat het wel een heel grote vraag is.

260
00:28:36,800 --> 00:28:38,800
En dat is ook een heel grote vraag.

261
00:28:38,800 --> 00:28:40,800
Wat je dus ziet...

262
00:28:40,800 --> 00:28:42,800
Dat is misschien nog wel even goed om te zeggen.

263
00:28:42,800 --> 00:28:47,800
Die opdracht van de Europese Commissie is dus naar de Europese normalisatie-instituten gegaan.

264
00:28:47,800 --> 00:28:51,800
En van daaruit ook naar de nationale normalisatie-instituten.

265
00:28:51,800 --> 00:28:53,800
Dus in Nederland is dat een NEN.

266
00:28:53,800 --> 00:28:54,800
We hebben een normcommissie.

267
00:28:54,800 --> 00:28:56,800
Daar zitten dus Nelleke en ik ook in.

268
00:28:56,800 --> 00:28:59,800
En iedereen die dat wil kan zich daarbij aansluiten.

269
00:28:59,800 --> 00:29:01,800
Dus dat is eigenlijk het idee.

270
00:29:01,800 --> 00:29:02,800
Je mag gewoon meedoen.

271
00:29:02,800 --> 00:29:03,800
Je mag meedoen.

272
00:29:03,800 --> 00:29:04,800
Hoe doe je dat?

273
00:29:04,800 --> 00:29:08,800
Je betaalt een x-bedrag om twee plekken aan tafel te komen.

274
00:29:08,800 --> 00:29:09,800
Oké.

275
00:29:09,800 --> 00:29:11,800
Ja, echt. Dat is het.

276
00:29:11,800 --> 00:29:14,800
En dan kun je in ieder geval meedoen.

277
00:29:14,800 --> 00:29:18,800
Op nationaal niveau kun je meepraten, meedenken, meestemmen ook.

278
00:29:18,800 --> 00:29:27,800
En als je wilt kun je vanuit de nationale NEN-commissie ook afgevaardigd worden naar de Europese vergaderingen.

279
00:29:27,800 --> 00:29:29,800
En ook meeschrijven aan die standaarden.

280
00:29:29,800 --> 00:29:32,800
Dat is echt heel stoer, zal ik maar zeggen.

281
00:29:32,800 --> 00:29:38,800
Want wat je doet is dan eigenlijk toch werken aan hoe gaat die wet in de praktijk eruit zien.

282
00:29:38,800 --> 00:29:41,800
En deze vragen, discussiëren over deze vragen.

283
00:29:41,800 --> 00:29:45,800
Zoeken naar de wetenschappelijke dingetjes.

284
00:29:45,800 --> 00:29:48,800
Bekijken wat is er nou allemaal bedacht aan frameworks.

285
00:29:48,800 --> 00:29:51,800
En wat zou dan kunnen werken en hoe zou dat er dan uit moeten zien.

286
00:29:51,800 --> 00:29:53,800
Dat zijn dingen waar we het daarover hebben.

287
00:29:53,800 --> 00:29:57,800
En wat dus belangrijk is, omdat het zulke moeilijke vragen zijn om te beantwoorden.

288
00:29:57,800 --> 00:29:59,800
Want ik heb ook geen antwoord voor jou.

289
00:29:59,800 --> 00:30:00,800
Ik ook nog niet. Ik zou het graag hebben.

290
00:30:00,800 --> 00:30:05,800
Wat we dus heel graag willen en waar ook vanuit Europa heel erg op gestuurd wordt.

291
00:30:05,800 --> 00:30:09,800
Is dat dat dus ook een groep moet zijn die divers is.

292
00:30:09,800 --> 00:30:11,800
Dat ook echt alle belangen aan tafel zitten.

293
00:30:11,800 --> 00:30:13,800
Dus niet alleen industrie bijvoorbeeld.

294
00:30:13,800 --> 00:30:17,800
En dat daar dus ook niet alleen techneuten zitten.

295
00:30:17,800 --> 00:30:21,800
Of niet alleen mensen met heel veel verstand van het standaardisatieproces.

296
00:30:21,800 --> 00:30:24,800
Maar eigenlijk heel weinig technisch inhoudelijke kennis.

297
00:30:24,800 --> 00:30:27,800
Dus dat is waar we ons sterk voor proberen te maken.

298
00:30:27,800 --> 00:30:32,800
Dat er meer mensen gaan meedoen, meedenken, meepraten.

299
00:30:32,800 --> 00:30:36,800
Die een diverser achtergrond hebben.

300
00:30:36,800 --> 00:30:40,800
En hoe ver staat het met de standaarden?

301
00:30:40,800 --> 00:30:42,800
Hoe ver zijn we?

302
00:30:42,800 --> 00:30:44,800
Goeie vraag.

303
00:30:44,800 --> 00:30:46,800
Dat is een hele goeie vraag.

304
00:30:46,800 --> 00:30:49,800
Nou ja, ik denk wat ik al zei.

305
00:30:49,800 --> 00:30:53,800
Er zijn tien verschillende gebieden waarop we standaarden moeten gaan ontwikkelen.

306
00:30:53,800 --> 00:30:56,800
Op sommige gebieden gaat het best oké.

307
00:30:56,800 --> 00:30:59,800
Want daar hadden we ook al best veel standaarden.

308
00:30:59,800 --> 00:31:04,800
Het is niet per se zo dat we zeggen van 'Goh, we beginnen bij alles bij nul'.

309
00:31:04,800 --> 00:31:07,800
Ze hebben een hele slimme strategie.

310
00:31:07,800 --> 00:31:10,800
En die is eigenlijk 'adapt, adopt, develop'.

311
00:31:10,800 --> 00:31:14,800
Dus we gaan eerst kijken van 'Is er al iets wat we kunnen overnemen?'

312
00:31:14,800 --> 00:31:16,800
Dus is er bijvoorbeeld al een ISO-standaard?

313
00:31:16,800 --> 00:31:19,800
Of heeft IEEE al iets slims hierover gezegd?

314
00:31:19,800 --> 00:31:22,800
Als dat zo is, dan kunnen we dat misschien wel overnemen.

315
00:31:22,800 --> 00:31:24,800
Misschien moeten we het nog een beetje tweaken.

316
00:31:24,800 --> 00:31:26,800
Gaan we het een beetje adapten.

317
00:31:26,800 --> 00:31:33,800
Maar als er gewoon niks is, dan moeten we gewoon van nul af aan op dat onderwerp een standaard gaan bedenken.

318
00:31:33,800 --> 00:31:37,800
En als je kijkt, we hebben dan een werkprogramma.

319
00:31:37,800 --> 00:31:40,800
Dat is geschreven op Europees niveau.

320
00:31:40,800 --> 00:31:44,800
En voor bijvoorbeeld data-coverage en cybersecurity.

321
00:31:44,800 --> 00:31:48,800
Dat zijn onderwerpen waar al redelijk veel is.

322
00:31:48,800 --> 00:31:50,800
Dus dat loopt wel redelijk.

323
00:31:50,800 --> 00:31:58,800
Maar andere onderwerpen, als het echt gaat over 'Hoe vertaal ik die fundamentele rechten,

324
00:31:58,800 --> 00:32:01,800
die een heel belangrijk onderdeel zijn van die AI-act,

325
00:32:01,800 --> 00:32:03,800
het beschermen van die fundamentele rechten,

326
00:32:03,800 --> 00:32:07,800
hoe vertaal ik dat in technische specificaties, in proces-specificaties?'

327
00:32:07,800 --> 00:32:10,800
Waar je dus echt een Europees sausje krijgt.

328
00:32:10,800 --> 00:32:12,800
Daar moet heel veel werk voor zet worden.

329
00:32:12,800 --> 00:32:15,800
En de deadline is april volgend jaar.

330
00:32:15,800 --> 00:32:17,800
- Zo, dat is best pittig.

331
00:32:17,800 --> 00:32:21,800
- Ja, dat is best pittig.

332
00:32:21,800 --> 00:32:24,800
Het is eigenlijk absurd snel.

333
00:32:24,800 --> 00:32:29,800
Het is eigenlijk een absurd korte tijd dat je zoveel moet gaan maken.

334
00:32:29,800 --> 00:32:31,800
Dat roept iedereen ook vanaf het begin.

335
00:32:31,800 --> 00:32:37,800
Ik merk dat je dus ook al snel kunt verzanden met elkaar in de 'het kan niet', 'oh jeetje, dat is te veel'.

336
00:32:37,800 --> 00:32:41,800
En dan ga je maar weer een halve dag de pakken erbij neerzitten.

337
00:32:41,800 --> 00:32:43,800
En dan ga je toch maar weer aan de slag.

338
00:32:43,800 --> 00:32:46,800
Dus dat is heel irritant af en toe.

339
00:32:46,800 --> 00:32:53,800
Maar ik heb ook wel met een collega van ons binnen EZK gesproken,

340
00:32:53,800 --> 00:32:55,800
die meer normalisatietrajecten doen,

341
00:32:55,800 --> 00:32:59,800
dat het ook echt bizar snel in elkaar gezet moet worden.

342
00:32:59,800 --> 00:33:02,800
In vergelijking met wat je normaal ziet.

343
00:33:02,800 --> 00:33:08,800
Maar ja, ik weet dus ook niet of het echt allemaal gaat lukken.

344
00:33:08,800 --> 00:33:13,800
- En als zo'n standaard gemaakt is, staat hij dan vast voor bepaalde perioden?

345
00:33:13,800 --> 00:33:19,800
Of is het zo van, we zetten een MVP neer, dus eerst maar een eerste versie waar je op verder kan werken.

346
00:33:19,800 --> 00:33:22,800
En dan ga je door? Of moet die gewoon final zijn?

347
00:33:22,800 --> 00:33:26,800
- Nou, kijk, want je hebt dus standaarden en geharmoniseerde standaarden.

348
00:33:26,800 --> 00:33:28,800
Dat is dan wel een belangrijk onderscheid.

349
00:33:28,800 --> 00:33:34,800
Dus wat wij nu maken, en bijvoorbeeld ook de ISO-standaarden die er al zijn, zijn dus standaarden.

350
00:33:34,800 --> 00:33:39,800
Maar volgend jaar in april, dan gaat dus de Europese Commissie, die heeft experts ingehuurd,

351
00:33:39,800 --> 00:33:45,800
die gaan toetsen of wat er dan ligt, voldoende de AI-Act afdekt.

352
00:33:45,800 --> 00:33:49,800
Dus als het niet compleet is, of de kwaliteit is onder de maat.

353
00:33:49,800 --> 00:33:52,800
- We vinden deze benchmark helemaal niet goed genoeg.

354
00:33:52,800 --> 00:33:57,800
Het is niet wat wij bedoelden in de AI-Act met 'safe' of 'accurate'.

355
00:33:57,800 --> 00:34:00,800
Wij bedoelden iets nog beters dan dit, of iets anders dan dit.

356
00:34:00,800 --> 00:34:03,800
Dan is het geen geharmoniseerde. Dan is het wel een standaard.

357
00:34:03,800 --> 00:34:04,800
- Ja, dan is het precies.

358
00:34:04,800 --> 00:34:07,800
- Dan is het al tenminste aangenomen dat die vastgesteld is.

359
00:34:07,800 --> 00:34:11,800
De standaardisatie-bodies stellen dat vast.

360
00:34:11,800 --> 00:34:13,800
Dus daar stem je dan als je een plek aan tafel krijgt.

361
00:34:13,800 --> 00:34:17,800
In een Nederlandse stem kun je ons een kant op duwen met z'n allen.

362
00:34:17,800 --> 00:34:21,800
We stellen hem vast. Er is een standaard, maar hij is dan misschien niet geharmoniseerd.

363
00:34:21,800 --> 00:34:26,800
- Ja, en dat betekent dus, want een geharmoniseerde standaard geeft juridische zekerheid.

364
00:34:26,800 --> 00:34:28,800
Dat is heel belangrijk.

365
00:34:28,800 --> 00:34:29,800
- Oké.

366
00:34:29,800 --> 00:34:31,800
- Dus daarom vindt die toets ook plaats.

367
00:34:31,800 --> 00:34:36,800
- Als je vervolgens met de gewone, niet-geharmoniseerde standaarden een cool ding gaat bouwen.

368
00:34:36,800 --> 00:34:38,800
En iemand heeft schade en die gaat naar de rechter.

369
00:34:38,800 --> 00:34:42,800
En die zegt dat komt door jouw coole ding, wat dus ook niet voldeed aan de eis die de EHA-Act stelde.

370
00:34:42,800 --> 00:34:44,800
Dus jij mocht mij dit helemaal niet zo verkopen.

371
00:34:44,800 --> 00:34:46,800
Dan komt dat natuurlijk uiteindelijk bij je rechter.

372
00:34:46,800 --> 00:34:50,800
Dat is altijd wel leuk, want dat zeg je dan tegen techneuten die zeggen 'ja, maar dan is er niks'.

373
00:34:50,800 --> 00:34:53,800
Dan zeg ik 'ja, uiteindelijk komt er dan een rechter en moet dan toch beslissen'.

374
00:34:53,800 --> 00:34:55,800
Is het wel of niet jouw schuld, zeg maar.

375
00:34:55,800 --> 00:34:57,800
Moet jij betalen of niet?

376
00:34:57,800 --> 00:34:59,800
En dan kun je dus wel de vraag voorleggen.

377
00:34:59,800 --> 00:35:03,800
'Ja, maar ik heb voldaan aan deze standaard. Kijk eens, ik heb mijn vette, coole ding op deze manier gemaakt.'

378
00:35:03,800 --> 00:35:05,800
En dat is goed genoeg.

379
00:35:05,800 --> 00:35:07,800
En dan is het dus aan de rechter om te toetsen.

380
00:35:07,800 --> 00:35:12,800
Is dat dan inderdaad goed genoeg om te voldoen aan de AI-Act of niet?

381
00:35:12,800 --> 00:35:14,800
Eventueel met die extra dingetjes die je doet.

382
00:35:14,800 --> 00:35:18,800
Of je kunt ook zeggen 'ja, heb je die standaard dan goed uitgelegd?'

383
00:35:18,800 --> 00:35:20,800
Dus heel veel juridische vragen.

384
00:35:20,800 --> 00:35:24,800
- Maar dus de ideale situatie is dat we laten zeggen volgend jaar rond deze tijd,

385
00:35:24,800 --> 00:35:28,800
dat de Europese Commissie, dat die adviseurs zeggen van 'nou, we hebben het getoetst.

386
00:35:28,800 --> 00:35:33,800
Het is helemaal prima, het is volledig, de kwaliteit is voldoende.'

387
00:35:33,800 --> 00:35:37,800
Nou, dan is eigenlijk vanaf dat moment de simpelste manier om te voldoen aan de AI-Act,

388
00:35:37,800 --> 00:35:39,800
is die geharmoniseerde standaarden implementeren.

389
00:35:39,800 --> 00:35:41,800
Geeft je echt juridische zekerheid.

390
00:35:41,800 --> 00:35:47,800
Mocht dat niet gebeuren, dus mocht maar een deel van die standaarden, bijvoorbeeld die toets, doorstaan,

391
00:35:47,800 --> 00:35:52,800
dan heeft de Europese Commissie een soort van veiligheidsnet ingebouwd.

392
00:35:52,800 --> 00:35:55,800
Dan gaan ze, dan ben ik de naam vergeten.

393
00:35:55,800 --> 00:35:58,800
- Jij moet die niet vergeten.

394
00:35:58,800 --> 00:36:02,800
- Och gossie, dit gaan we in de noot trekken.

395
00:36:02,800 --> 00:36:04,800
- Ja, heel goed.

396
00:36:04,800 --> 00:36:06,800
- En dan gaat ze zelf standaarden ontwikkelen.

397
00:36:06,800 --> 00:36:08,800
- Oh sorry, oké.

398
00:36:08,800 --> 00:36:10,800
- Common specifications, ja.

399
00:36:10,800 --> 00:36:13,800
- Ja, het is echt een heel lingo, dat moet ik je wel even...

400
00:36:13,800 --> 00:36:20,800
Als je dus hierin gaat storten, ook hiervoor geldt, die standaardisatiewereld heeft een hele eigen...

401
00:36:20,800 --> 00:36:21,800
- Eigen jargon.

402
00:36:21,800 --> 00:36:24,800
- Eigen jargon, maar eigenlijk ook niet zo interessant hoe het heet.

403
00:36:24,800 --> 00:36:27,800
Maar dat geeft ook wel weer aan het belang.

404
00:36:27,800 --> 00:36:30,800
De Europese Commissie heeft gezegd, nou dan laten we het zelf doen.

405
00:36:30,800 --> 00:36:34,800
- Oké, en hoe zit dat dan tussen de nationale staten?

406
00:36:34,800 --> 00:36:39,800
Want je zegt, we hebben dan misschien zo direct, de NEN doet het dan voor Nederland.

407
00:36:39,800 --> 00:36:43,800
Betekent dat dat we dan straks 27 standaarden krijgen?

408
00:36:43,800 --> 00:36:47,800
- Nee, dit is een standaard die wordt in het Europees Verband ontwikkeld.

409
00:36:47,800 --> 00:36:50,800
Er zijn Europese standaardisatiebodies, zeg maar.

410
00:36:50,800 --> 00:36:53,800
CEN-CENELEC hebben de opdracht gekregen.

411
00:36:53,800 --> 00:36:58,800
Dat is voor elektra en elektrotechniek, geloof ik.

412
00:36:58,800 --> 00:37:00,800
- De Europese ISO.

413
00:37:00,800 --> 00:37:03,800
- Ja, de Europese ISO's, zullen we maar zeggen.

414
00:37:03,800 --> 00:37:05,800
De Europese NENS, kunnen we ook zeggen.

415
00:37:05,800 --> 00:37:09,800
Maar goed, binnen Europa hebben wij afgesproken, binnen de Europese Unie.

416
00:37:09,800 --> 00:37:15,800
Nou, ik als NEN, of ik als DIM, of whatever, als landelijke standaardisatieinstituut,

417
00:37:15,800 --> 00:37:18,800
ik neem een Europese standaard over.

418
00:37:18,800 --> 00:37:21,800
Dus als Sen zegt, dit is hem, deze is cool, we vinden allemaal ja,

419
00:37:21,800 --> 00:37:24,800
en daar stem je dan dus als nationale standaardisatiebody op mee,

420
00:37:24,800 --> 00:37:27,800
dan kun je niet meer als nationale standaardisatiebody zeggen,

421
00:37:27,800 --> 00:37:30,800
nou ja, ik heb tegengestemd, dus doei.

422
00:37:30,800 --> 00:37:32,800
Dat gebeurt ook verder.

423
00:37:32,800 --> 00:37:34,800
- Dus dan is hij ook echt voor heel Europa?

424
00:37:34,800 --> 00:37:35,800
- Dan gaat hij voor Europa, ja.

425
00:37:35,800 --> 00:37:38,800
Dus dat hebben we binnen de EU afgestemd,

426
00:37:38,800 --> 00:37:42,800
dat we op die manier die Europese standaarden in acht nemen.

427
00:37:42,800 --> 00:37:43,800
- Kijk, dat scheelt weer.

428
00:37:43,800 --> 00:37:44,800
- Dus dat is makkelijk, ja.

429
00:37:44,800 --> 00:37:46,800
- We werken met elkaar samen.

430
00:37:46,800 --> 00:37:48,800
- Dat betekent dus ook toetsing dadelijk,

431
00:37:48,800 --> 00:37:52,800
maakt niet uit welk Europees land het product dat we dan hebben maar hebben getoetst wordt,

432
00:37:52,800 --> 00:37:54,800
overal hetzelfde is.

433
00:37:54,800 --> 00:37:56,800
- In principe wel, ja.

434
00:37:56,800 --> 00:37:59,800
Dat is eigenlijk ook een van de belangrijke ideeën achter die AI-act,

435
00:37:59,800 --> 00:38:02,800
gewoon een open markt met zo weinig mogelijk belemmeringen.

436
00:38:02,800 --> 00:38:06,800
- We hebben ook een virtuele co-host,

437
00:38:06,800 --> 00:38:09,800
en die wil jullie ook graag een vraag stellen.

438
00:38:09,800 --> 00:38:11,800
Dus daar komt ze aan.

439
00:38:11,800 --> 00:38:16,800
- Aisha.

440
00:38:16,800 --> 00:38:18,800
Aisha.

441
00:38:22,800 --> 00:38:24,800
Een intelligente vrouw.

442
00:38:24,800 --> 00:38:26,800
Aisha.

443
00:38:26,800 --> 00:38:30,800
Goedendag, mijn naam is Aisha.

444
00:38:30,800 --> 00:38:33,800
Ik ben de AI die deel uitmaakt van deze podcast.

445
00:38:33,800 --> 00:38:35,800
Mag ik je een vraag stellen?

446
00:38:35,800 --> 00:38:37,800
- Tuurlijk.

447
00:38:37,800 --> 00:38:39,800
Gaan we door?

448
00:38:39,800 --> 00:38:41,800
- Dat zou mooi zijn.

449
00:38:41,800 --> 00:38:44,800
- Ze staat helemaal stil.

450
00:38:44,800 --> 00:38:46,800
Flabbergasted.

451
00:38:46,800 --> 00:38:48,800
- Als het er doorheen gekomen zou zijn.

452
00:38:48,800 --> 00:38:53,800
Soms gaan er dingen fout hè.

453
00:38:53,800 --> 00:38:55,800
- Dankjewel voor je tijd.

454
00:38:55,800 --> 00:38:58,800
Aisha, de AI hier.

455
00:38:58,800 --> 00:39:01,800
Zou je het goed vinden als ik je een vraag stel?

456
00:39:01,800 --> 00:39:03,800
- Ja, kom maar door.

457
00:39:03,800 --> 00:39:08,800
- Wat adviseer je aan bedrijven die AI willen implementeren op een ethische manier?

458
00:39:08,800 --> 00:39:11,800
- Hoi.

459
00:39:11,800 --> 00:39:14,800
Toen vielen wij stil.

460
00:39:14,800 --> 00:39:18,800
Nou, maak het in ieder geval geen technisch ding.

461
00:39:18,800 --> 00:39:21,800
Want dat was eigenlijk wat mij in ieder geval motiveerde in mijn werk.

462
00:39:21,800 --> 00:39:27,800
Zes jaar geleden toen ik begon als data scientist met AI.

463
00:39:27,800 --> 00:39:33,800
Wat je merkte was dat er heel veel verantwoordelijkheid wordt neergelegd,

464
00:39:33,800 --> 00:39:35,800
heel laag in de organisatie, bij technische teams.

465
00:39:35,800 --> 00:39:45,800
En dat je als data scientist in één keer juridische en ethische kaders moet gaan lopen interpreteren en vertalen in technische beslissingen.

466
00:39:45,800 --> 00:39:48,800
En dat zie ik eigenlijk nog steeds gebeuren.

467
00:39:48,800 --> 00:39:50,800
Dat is voor mij het belangrijkste eigenlijk.

468
00:39:50,800 --> 00:39:53,800
Het is echt niet technisch.

469
00:39:53,800 --> 00:40:01,800
En je moet vooral ook beginnen met wat in de AI Act staat als AI management systemen.

470
00:40:01,800 --> 00:40:05,800
Dat zijn van die dure woorden, maar governance, risicomanagement.

471
00:40:05,800 --> 00:40:12,800
Dat inrichten en ervoor zorgen dat het op alle lagen in je organisatie wordt gevoeld als een gedeelde verantwoordelijkheid.

472
00:40:12,800 --> 00:40:13,800
Dat is gewoon super belangrijk.

473
00:40:13,800 --> 00:40:15,800
- Ja, duidelijk.

474
00:40:15,800 --> 00:40:17,800
- Daar heb ik echt iets aan toe te voegen.

475
00:40:17,800 --> 00:40:19,800
- Dat kan ik volmondig onderschrijven.

476
00:40:19,800 --> 00:40:25,800
- Ik waardeer je eerlijkheid in het beantwoorden van mijn vraag. Dank je wel.

477
00:40:25,800 --> 00:40:28,800
- Ze komt er ook af en toe een beetje tussendoor, je hoort het wel hè?

478
00:40:28,800 --> 00:40:31,800
- Ja, nee, die gaat gewoon barstend overheen.

479
00:40:31,800 --> 00:40:33,800
Maar zo werkt de AI.

480
00:40:33,800 --> 00:40:36,800
- Maar je wil er nog iets toevoegen?

481
00:40:36,800 --> 00:40:39,800
- Ik ben het echt helemaal eens met wat Willy zegt.

482
00:40:39,800 --> 00:40:41,800
En het is ook niet een puur juridisch ding.

483
00:40:41,800 --> 00:40:43,800
En het is ook niet een puur management ding.

484
00:40:43,800 --> 00:40:51,800
Het is echt een gedeelde verantwoordelijkheid om het daarover te hebben en te zoeken naar de verbinding daarin.

485
00:40:51,800 --> 00:40:58,800
- Ik had nog wel een vraag. Je had het over die tien categorieën.

486
00:40:58,800 --> 00:41:04,800
Is er eentje waar je nu specifiek mee bezig bent of eentje waar je juist heel erg gepassioneerd over bent?

487
00:41:04,800 --> 00:41:06,800
- Nou ja, eigenlijk wat ik net zei.

488
00:41:06,800 --> 00:41:11,800
Een van die tien onderwerpen is het inrichten van wat ze dan noemen een AI management systeem.

489
00:41:11,800 --> 00:41:15,800
Dat gaat dan over governance en risicomanagement.

490
00:41:15,800 --> 00:41:18,800
En wat je ziet, dat vind ik wel echt heel positief.

491
00:41:18,800 --> 00:41:24,800
Dat heel veel organisaties eigenlijk ook al begrepen hebben van we moeten er geen technisch feitje van maken.

492
00:41:24,800 --> 00:41:29,800
In ieder geval binnen de overheid waarin ik werk zie je dat veel organisaties gaan nadenken.

493
00:41:29,800 --> 00:41:33,800
Wat moeten we dan inrichten aan processen, aan checks en balances, aan rollen?

494
00:41:33,800 --> 00:41:35,800
Wat voor kennis hebben we nodig?

495
00:41:35,800 --> 00:41:40,800
En ik denk dat zo'n standaard op dat vlak daar echt bij kan helpen.

496
00:41:40,800 --> 00:41:41,800
Geef je wat, hou vast.

497
00:41:41,800 --> 00:41:43,800
Wat zijn de stappen die ik daarin moet zetten?

498
00:41:43,800 --> 00:41:49,800
Hoe kan ik daarin een groeipad voor mij als organisatie uit tekenen?

499
00:41:49,800 --> 00:42:00,800
- Wat ik ook wel eens om me heen hoor, is rondom de EU AI Act, niet iedereen is daar even positief over.

500
00:42:00,800 --> 00:42:04,800
Is dat er gezegd wordt van, ja maar dit remt innovatie.

501
00:42:04,800 --> 00:42:06,800
Hoe kijk jij daarnaar?

502
00:42:06,800 --> 00:42:08,800
- Ja, ehm...

503
00:42:08,800 --> 00:42:10,800
- Een hele diepe zucht, dat kan.

504
00:42:11,800 --> 00:42:16,800
- Ja, nou ik denk dat dat beslist niet zo hoeft te zijn.

505
00:42:16,800 --> 00:42:18,800
Je hebt het ook gezien met het GDPR.

506
00:42:18,800 --> 00:42:20,800
Daar is ook onderzoek naar geweest.

507
00:42:20,800 --> 00:42:24,800
Dat het juist ook heel veel innovatie heeft aangewakkerd.

508
00:42:24,800 --> 00:42:27,800
Dus ik vind het een beetje een dooddoener eigenlijk.

509
00:42:27,800 --> 00:42:28,800
- Oh ja.

510
00:42:28,800 --> 00:42:30,800
- Dat is een beetje...

511
00:42:30,800 --> 00:42:32,800
Ja, nee.

512
00:42:32,800 --> 00:42:35,800
Nelleke, wat denk jij?

513
00:42:35,800 --> 00:42:41,800
- Nou, ik vind het leuk dat je de innovatie onder het GDPR aanhaalt.

514
00:42:41,800 --> 00:42:45,800
Kijk, een norm stellen, dat is natuurlijk wat een wet neerleggen is.

515
00:42:45,800 --> 00:42:47,800
Ik stel een norm.

516
00:42:47,800 --> 00:42:50,800
Een afdwingbare norm, notabene.

517
00:42:50,800 --> 00:42:53,800
Maakt dat je daar dus aandacht voor krijgt.

518
00:42:53,800 --> 00:42:57,800
En als je dat niet doet, dan komt die aandacht niet zomaar vanzelf.

519
00:42:57,800 --> 00:43:03,800
En ik denk dat we met de EU AI Act als Europa wel zeggen, nou ja...

520
00:43:03,800 --> 00:43:06,800
Super cool allemaal.

521
00:43:06,800 --> 00:43:11,800
Maar we hebben een maatschappij en een samenleving en een samenwerkingsverband.

522
00:43:11,800 --> 00:43:14,800
Europa is van alles, Nederland is van alles.

523
00:43:14,800 --> 00:43:18,800
Waar we het nu goed toe vinden en dat willen we zo houden.

524
00:43:18,800 --> 00:43:23,800
Dus niet alle ontwikkeling zal per definitie zijn waar wij helemaal happy van worden.

525
00:43:23,800 --> 00:43:27,800
Dus we gaan maar even meegeven aan de wereld wat dan is hoe wij het zien.

526
00:43:27,800 --> 00:43:29,800
Wat de AI is waar wij happy van worden.

527
00:43:29,800 --> 00:43:33,800
En dat is ook een van de dingen die we in de EU hebben.

528
00:43:33,800 --> 00:43:36,800
En dat is ook een van de dingen die we in de EU hebben.

529
00:45:18,800 --> 00:45:21,800
En zolang dat een voldoende gecontroleerde omgeving is,

530
00:45:21,800 --> 00:45:24,800
en AI Act zegt, je kunt dus sandboxes inrichten voor je innovatie,

531
00:45:24,800 --> 00:45:27,800
ga je gang, doe je ding, ga toetsen hoe het werkt.

532
00:45:27,800 --> 00:45:33,800
En daar geldt dan dus ook minder dat een product volledig veilig of volledig goed moet zijn.

533
00:45:33,800 --> 00:45:37,800
En je kunt dan dus ervaring op doen met hoe werkt dat,

534
00:45:37,800 --> 00:45:41,800
hoe moet ik eigenlijk toezicht houden op mijn AI,

535
00:45:41,800 --> 00:45:43,800
wanneer is die aan slijtage onderhevig,

536
00:45:43,800 --> 00:45:49,800
wanneer is mijn dataset versleten om nog een goed product te leveren,

537
00:45:49,800 --> 00:45:52,800
hoe moet ik dan mijn management systeem daarop inrichten,

538
00:45:52,800 --> 00:45:54,800
welke vlaggetjes moet ik omhoog laten gaan,

539
00:45:54,800 --> 00:45:56,800
en dan weet je, kan je ook.

540
00:45:56,800 --> 00:46:03,800
Met op de achtergrond dus de gedachte van, dan kan ik voldoen aan die normen.

541
00:46:03,800 --> 00:46:05,800
Human oversight bijvoorbeeld is een interessante,

542
00:46:05,800 --> 00:46:08,800
human oversight kun je op verschillende manieren doen.

543
00:46:08,800 --> 00:46:10,800
Vanuit juridische optiek zeg ik dan dus,

544
00:46:10,800 --> 00:46:15,800
als je een mens helemaal aan het einde nog eens een keer met een halfgesloten oog

545
00:46:15,800 --> 00:46:18,800
ergens naar laat kijken en zegt, nou, ziet er leuk uit, doei,

546
00:46:18,800 --> 00:46:20,800
is dat dan nog human oversight?

547
00:46:20,800 --> 00:46:25,800
En naast iemand die naast de AI staat en continu meekijkt, dat is je range.

548
00:46:25,800 --> 00:46:28,800
Maar afhankelijk van wat voor soort product je hebt,

549
00:46:28,800 --> 00:46:31,800
of waar je het plaatst in je productieproces,

550
00:46:31,800 --> 00:46:35,800
kun je je human oversight dus inrichten.

551
00:46:35,800 --> 00:46:40,800
En in zo'n sandbox zou je daarmee kunnen gaan experimenteren.

552
00:46:40,800 --> 00:46:42,800
Wat als ik het helemaal aan het begin zet, wat als ik het helemaal aan het einde zet,

553
00:46:42,800 --> 00:46:44,800
wat gebeurt er dan?

554
00:46:44,800 --> 00:46:47,800
En die sandbox is vooral ingericht ook voor de MKB, hè?

555
00:46:47,800 --> 00:46:49,800
Dus juist om innovatie eigenlijk te stimuleren,

556
00:46:49,800 --> 00:46:53,800
dat je juist niet geremd wordt, maar dat je het kan laten controleren.

557
00:46:53,800 --> 00:46:57,800
Voor die sandbox, is er nog een bepaalde tijdsduur dat je daarin kan zitten?

558
00:46:57,800 --> 00:47:00,800
Dat je daarna zegt van, nou ja, je zit nu zo lang in een sandboxomgeving,

559
00:47:00,800 --> 00:47:03,800
het is tijd om te promoten, of niet?

560
00:47:03,800 --> 00:47:08,800
Volgens mij heeft de AI Act, maar nu weet ik niet zeker of de AI Act zegt,

561
00:47:08,800 --> 00:47:10,800
het mag maximaal twee jaar zijn of zo.

562
00:47:10,800 --> 00:47:13,800
Nou, volgens mij, wat ik er in ieder geval wel van weet,

563
00:47:13,800 --> 00:47:17,800
is dat bij het Rijk, ook in samenwerking met de toezichthouder,

564
00:47:17,800 --> 00:47:19,800
gaan we hier ook experimenten voor opzetten.

565
00:47:19,800 --> 00:47:24,800
Dus we gaan, want ik denk ook dat het concept van die regulatory sandbox,

566
00:47:24,800 --> 00:47:27,800
dat is al beproefd bijvoorbeeld in de financiële wereld, hè?

567
00:47:27,800 --> 00:47:31,800
Maar het is ook zo'n concept dat we dus nu eigenlijk in een andere context gaan toepassen.

568
00:47:31,800 --> 00:47:35,800
En we gaan daar gewoon mee aan de slag het komende jaar.

569
00:47:35,800 --> 00:47:38,800
Dus dat is ook gewoon even kijken, hoe werkt dat?

570
00:47:38,800 --> 00:47:40,800
En het grote voordeel vind ik, want ik denk dat inderdaad,

571
00:47:40,800 --> 00:47:42,800
als je zegt, wanneer gaat het uit de sandbox?

572
00:47:42,800 --> 00:47:45,800
Dat is natuurlijk op het moment van opschalen of in productie nemen.

573
00:47:45,800 --> 00:47:47,800
Tot die tijd ben je dus aan het freubelen.

574
00:47:47,800 --> 00:47:51,800
Maar een bedrijf dat iets in een sandbox stopt, gaat op een gegeven moment zeggen,

575
00:47:51,800 --> 00:47:54,800
ja, of we gooien die sandbox weg, dan gaan we het anders proberen,

576
00:47:54,800 --> 00:47:56,800
of we gaan er geld mee verdienen.

577
00:47:56,800 --> 00:47:58,800
Dat is wel belangrijk, want het is een hele gecontroleerde omgeving.

578
00:47:58,800 --> 00:48:02,800
En ook, nou ja, juristen en de toezichthouder is daar nauw bij betrokken.

579
00:48:02,800 --> 00:48:04,800
Het is niet zo dat je gewoon echt alles kan doen.

580
00:48:04,800 --> 00:48:07,800
Nee, niet dat je een sandbox-sticker erop hebt, zeg maar.

581
00:48:07,800 --> 00:48:12,800
Nee, dat je dan wel in de openbare omgeving, ja, dat is dus maar de werkmogelijkheid.

582
00:48:12,800 --> 00:48:14,800
Dat is wel herkenbaar, hè? De eeuwigdurende pilot.

583
00:48:14,800 --> 00:48:17,800
Dat is een van de meest risicovolle dingen die ik in mijn werk tegenkom.

584
00:48:17,800 --> 00:48:21,800
Dat klopt. Dus dat is eigenlijk, ja, als je probeert te voorkomen,

585
00:48:21,800 --> 00:48:24,800
eigenlijk met die mogelijkheid van een regulatory sandbox.

586
00:48:25,800 --> 00:48:30,800
Nee, en dat geeft dus ook wel weer, denk ik, waardevolle informatie

587
00:48:30,800 --> 00:48:33,800
voor standardisation of voor auditing of voor de jurist.

588
00:48:33,800 --> 00:48:35,800
En ook voor de techniek, voor de wereld ook.

589
00:48:35,800 --> 00:48:38,800
Omdat je dus dan dingen gaat doen. Je gaat ook echt dingen...

590
00:48:38,800 --> 00:48:40,800
Want daar loop ik dus echt wel tegen aan,

591
00:48:40,800 --> 00:48:43,800
dat ik veel vragen uit de organisatie en ook wel van buiten krijg,

592
00:48:43,800 --> 00:48:45,800
met 'Goh, als ik nou eens zoiets doe.'

593
00:48:45,800 --> 00:48:47,800
Of 'Wij zitten hierover te denken.'

594
00:48:47,800 --> 00:48:50,800
'Oké, leuk, maar hoe ziet dat eruit? Wat wil je dan doen?'

595
00:48:50,800 --> 00:48:54,800
Ik heb als uiteindelijk om te kijken van 'Ja, dit gaat ergens heen of niet.'

596
00:48:54,800 --> 00:48:58,800
Of het voldoet aan eisen. Of 'Wat zou je nog meer moeten onderzoeken?'

597
00:48:58,800 --> 00:49:00,800
'Moet ik allerlei dingen weten?'

598
00:49:00,800 --> 00:49:02,800
Waarvan iemand die zegt 'Ja, wij zitten hierover na te denken.'

599
00:49:02,800 --> 00:49:04,800
nog niet over nagedacht heeft.

600
00:49:04,800 --> 00:49:06,800
Ja, dus om het echt tastbaar te maken. Van ideeën naar concreetheid,

601
00:49:06,800 --> 00:49:08,800
om die vragen goed te kunnen stellen.

602
00:49:08,800 --> 00:49:12,800
Ja, dus dan is een casus, een business case, is ook altijd wel heel mooi.

603
00:49:12,800 --> 00:49:14,800
Omdat je dan daadwerkelijk wat gaat doen.

604
00:49:14,800 --> 00:49:16,800
En dan, ja, als je dus echt iets kunt gaan doen.

605
00:49:16,800 --> 00:49:19,800
Ja, we hebben dan wel weer de pilot en de opschaling.

606
00:49:19,800 --> 00:49:22,800
Even om af te sluiten.

607
00:49:22,800 --> 00:49:29,800
Wie zou je willen oproepen om met jullie mee te doen aan het schrijven van de standaarden?

608
00:49:29,800 --> 00:49:38,800
Ja, ik denk dat, ja, wat ik graag zou willen is toch

609
00:49:38,800 --> 00:49:44,800
meer vertegenwoordiging vanuit het maatschappelijk middenveld.

610
00:49:44,800 --> 00:49:48,800
Dus mensen die echt de belangen behartigen van de burger.

611
00:49:48,800 --> 00:49:52,800
Dat is wat ik het meeste mis nu.

612
00:49:52,800 --> 00:49:56,800
En inhoudelijke expertise bijvoorbeeld van universiteiten.

613
00:49:56,800 --> 00:49:59,800
Daar doen jullie nog weinig mee?

614
00:49:59,800 --> 00:50:01,800
Nou, een beetje wat het is. Dat is best wel ingewikkeld.

615
00:50:01,800 --> 00:50:04,800
Want we hebben wel wat leden vanuit de academische wereld.

616
00:50:04,800 --> 00:50:08,800
Maar dat is wel een probleem.

617
00:50:08,800 --> 00:50:14,800
Het werk voor een normalisatiecommissie is eigenlijk vrijwilligerswerk.

618
00:50:14,800 --> 00:50:16,800
Je krijgt er niet voor betaald.

619
00:50:16,800 --> 00:50:21,800
En als je kijkt vanuit de industrie, de belangen zijn best groot.

620
00:50:21,800 --> 00:50:23,800
Dus die hebben daar geld voor over.

621
00:50:23,800 --> 00:50:25,800
Zetten daar mensen neer.

622
00:50:25,800 --> 00:50:29,800
Maar als je vanuit de wetenschap, ik denk dat verhaal kennen we allemaal.

623
00:50:29,800 --> 00:50:33,800
Dan word je vooral afgerekend op het aantal publicaties wat je doet.

624
00:50:33,800 --> 00:50:36,800
Of misschien ook wel de uren die je lesgeeft.

625
00:50:36,800 --> 00:50:41,800
Maar niet of jij, zeg maar, jouw kennis hebt ingebracht.

626
00:50:41,800 --> 00:50:43,800
Want het is voor de maatschappij super belangrijk.

627
00:50:43,800 --> 00:50:46,800
Dat die kennis wordt ingebracht bij het maken van deze standaarden.

628
00:50:46,800 --> 00:50:49,800
Want die standaarden, het is echt soft law.

629
00:50:49,800 --> 00:50:50,800
Het is superbelangrijk.

630
00:50:50,800 --> 00:50:53,800
Maar het is niet iets wat beloond wordt in de academische wereld.

631
00:50:53,800 --> 00:50:55,800
Dus daar moeten we iets op vinden, vind ik.

632
00:50:55,800 --> 00:50:58,800
Ja, dat is echt superzonde.

633
00:50:58,800 --> 00:51:01,800
Want er zitten juist in de academische wereld heel veel ideeën.

634
00:51:01,800 --> 00:51:02,800
Zeker ook in Nederland.

635
00:51:02,800 --> 00:51:06,800
Er wordt zo fantastisch veel goed onderzoek gedaan in Nederland.

636
00:51:06,800 --> 00:51:08,800
Ja, op dit vlak.

637
00:51:08,800 --> 00:51:11,800
Ik vind het gewoon zo ontzettend jammer.

638
00:51:11,800 --> 00:51:17,800
Want wat je zou willen is op het moment dat we dat onderzoek weten in te brengen in dat standaardisatieproces.

639
00:51:17,800 --> 00:51:18,800
We hadden het er net al over.

640
00:51:18,800 --> 00:51:22,800
Dan gaat dat dus gelden voor heel Europa.

641
00:51:22,800 --> 00:51:24,800
Iedereen die zaken wil doen.

642
00:51:24,800 --> 00:51:26,800
Dus dat is één ding.

643
00:51:26,800 --> 00:51:30,800
En het tweede, laten we zeggen de NGO's, de maatschappelijke middenvelden, belangengroepen.

644
00:51:30,800 --> 00:51:33,800
Ja, die hebben sowieso al heel veel op hun bordje.

645
00:51:33,800 --> 00:51:38,800
En voor hun is dit ook iets wat er dan bij komt waar ze niet extra geld voor krijgen.

646
00:51:38,800 --> 00:51:42,800
Ja, ik denk dat dat ook voor het MKB geldt.

647
00:51:42,800 --> 00:51:45,800
Je moet betalen om aan tafel te zitten.

648
00:51:45,800 --> 00:51:48,800
En dat is niet miljoenen, maar toch een paar duizend euro.

649
00:51:48,800 --> 00:51:52,800
Nou, voor NGO's is het nu minder geld.

650
00:51:52,800 --> 00:51:55,800
Ja, volgens mij is het een paar honderd euro.

651
00:51:55,800 --> 00:51:57,800
Maar ik denk ook eigenlijk dat het geld niet zo...

652
00:51:57,800 --> 00:51:59,800
Ja, de tijd is belangrijk.

653
00:51:59,800 --> 00:52:03,800
Want je moet er gewoon wel elke week eigenlijk even tijd voor maken.

654
00:52:03,800 --> 00:52:06,800
En je kan er een 40-uurige werkweek van maken als je wil.

655
00:52:06,800 --> 00:52:08,800
Zoveel werken zit er echt wel in.

656
00:52:08,800 --> 00:52:12,800
Maar ja, goed, om het serieus aan te pakken ben je er gewoon een dagdeel tot een dag mee kwijt.

657
00:52:12,800 --> 00:52:15,800
En dat is ook weer pieken en win.

658
00:52:15,800 --> 00:52:17,800
Maar ja, niet iedereen heeft een dag over.

659
00:52:17,800 --> 00:52:18,800
Ja.

660
00:52:18,800 --> 00:52:20,800
Hier denken we ook wel over na.

661
00:52:20,800 --> 00:52:27,800
Als normcommissie en ook vanuit het Rijk, hoe kunnen we eigenlijk die belemmeringen zoveel mogelijk wegnemen?

662
00:52:27,800 --> 00:52:30,800
Nou, en ik denk eigenlijk inderdaad een wedervraag dan voor jullie.

663
00:52:30,800 --> 00:52:33,800
Wat zou je nodig hebben om te kunnen aansluiten?

664
00:52:33,800 --> 00:52:36,800
Aangenomen dat je het interessant vindt en wil.

665
00:52:36,800 --> 00:52:40,800
Want jullie zijn natuurlijk niet een heel klein bedrijf, maar wel gewoon een MKB-bedrijf.

666
00:52:40,800 --> 00:52:44,800
Nou, we zijn de MKB, zijn wij wel ontgroeid.

667
00:52:44,800 --> 00:52:47,800
Oh, jullie zijn een groot kapitaal.

668
00:52:47,800 --> 00:52:49,800
Nou, dat is weer een ander verhaal.

669
00:52:49,800 --> 00:52:51,800
Ja, wij hebben ook tijd.

670
00:52:51,800 --> 00:52:54,800
Ik denk dat dat het allerbelangrijkste is.

671
00:52:54,800 --> 00:52:56,800
Ik denk dat we het belang heel erg ervan inzien.

672
00:52:56,800 --> 00:53:01,800
Maar er is aan zoveel dingen tijd te besteden.

673
00:53:01,800 --> 00:53:03,800
De vraag is waar gebruik je het voor?

674
00:53:03,800 --> 00:53:05,800
Ik denk dat dat de grootste schaarste is.

675
00:53:05,800 --> 00:53:06,800
Ja.

676
00:53:06,800 --> 00:53:09,800
Jullie doen in ieder geval heel belangrijk werk.

677
00:53:09,800 --> 00:53:12,800
Wij zijn daar heel veel wijzer over geworden.

678
00:53:12,800 --> 00:53:16,800
Over standaardisatie, wat erbij komt kijken, wat het belang is voor de maatschappij.

679
00:53:16,800 --> 00:53:22,800
Laten we in ieder geval hoe mensen zich kunnen aanmelden in de show notes link opnemen.

680
00:53:22,800 --> 00:53:26,800
Dat als mensen mee willen doen, dat ze zich in ieder geval kunnen aanmelden.

681
00:53:26,800 --> 00:53:28,800
En meer informatie kunnen vragen.

682
00:53:28,800 --> 00:53:32,800
Want toegang is gewoon via NEN.

683
00:53:32,800 --> 00:53:35,800
En daar zitten een paar mensen die zijn fantastische hulp.

684
00:53:35,800 --> 00:53:38,800
En daar wil ik echt een shout-out naar, Maries van Kas.

685
00:53:38,800 --> 00:53:40,800
En Dennis is geloof ik de nieuwe.

686
00:53:40,800 --> 00:53:42,800
Maar ze helpen ons enorm.

687
00:53:42,800 --> 00:53:44,800
En zij kunnen ook gewoon het gesprek voeren.

688
00:53:44,800 --> 00:53:48,800
Dus als je denkt, nou, ik heb hier waardevolle expertise in te brengen.

689
00:53:48,800 --> 00:53:50,800
Misschien wil ik die ook inbrengen.

690
00:53:50,800 --> 00:53:52,800
Ja, neem gewoon contact met ze op.

691
00:53:52,800 --> 00:53:54,800
En dan kunnen ze bespreken wat er kan en hoe dan.

692
00:53:54,800 --> 00:53:55,800
En hoe het eruit ziet.

693
00:53:55,800 --> 00:53:56,800
Hartstikke mooi.

694
00:53:56,800 --> 00:53:57,800
Top.

695
00:53:57,800 --> 00:53:58,800
En dat is voor ons natuurlijk.

696
00:53:58,800 --> 00:53:59,800
En voor oud-bewoners.

697
00:53:59,800 --> 00:54:00,800
Ja, precies.

698
00:54:00,800 --> 00:54:01,800
Nou, super bedankt.

699
00:54:01,800 --> 00:54:09,800
Dank jullie wel, Willy

700
00:54:01,800 --> 00:54:09,800
, Nelleke, dat je in deze studio bij ons dit allemaal wilde komen uitleggen.

701
00:54:09,800 --> 00:54:11,800
Zorg dat je geen aflevering mist.

702
00:54:11,800 --> 00:54:14,800
En abonneer je via je favoriete podcast-app.

703
00:54:14,800 --> 00:54:16,800
En dan hoor je ons de volgende keer weer.

704
00:54:16,800 --> 00:54:17,800
Tot de volgende keer.

705
00:54:17,800 --> 00:54:19,220
[Muziek]

706
00:54:19,220 --> 00:54:19,220
[Muziek]