S05E35 - Menselijke feedback en AI: Samen op weg naar begrijpelijke systemen

Ontdek hoe computer vision en technieken zoals ChatGPT worden toegepast om AI-modellen uitlegbaar en interpreteerbaar te maken in deze AIToday Live podcast met AI-masterstudent Elise Lems.

Duik samen met ons in het mysterie van "blackbox-modellen" en ontdek hoe Elise werkt aan het ontwikkelen van AI-systemen die hun eigen redeneringsproces kunnen uitleggen tijdens runtime. Leer hoe menselijke feedback en technieken uit ChatGPT essentieel zijn om de uitleg van AI-modellen te verbeteren, wat voor een revolutie kan zorgen in sectoren waar helderheid en transparantie van levensbelang zijn. 

Dus zet je schrap voor een boeiend gesprek over de toekomst van interpreteerbare AI en hoe het invloed zal hebben op marketingstrategieën en besluitvorming in de gezondheidszorg! 

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:03,600
[Muziek]

2
00:00:03,600 --> 00:00:08,080
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live.

3
00:00:08,080 --> 00:00:10,640
Mijn naam is Joop Snijder, CTO bij Aigency.

4
00:00:10,640 --> 00:00:14,160
En mijn naam Niels Naglé, chapter lead Data & AI bij Info Support.

5
00:00:14,160 --> 00:00:17,040
En we hebben vandaag een heel erg leuk en interessant onderwerp,

6
00:00:17,040 --> 00:00:19,360
want we gaan het hebben over computer vision.

7
00:00:19,360 --> 00:00:22,560
En dat gebruikt de gasten die we vandaag hebben,

8
00:00:22,560 --> 00:00:26,000
die gebruikt de technieken van ChatGPT voor.

9
00:00:26,000 --> 00:00:27,440
Hoe leuk is dat, toch?

10
00:00:27,440 --> 00:00:29,040
Top, ik ben erg benieuwd.

11
00:00:29,040 --> 00:00:34,040
Ja, en onze gast is Elise Lems. Elise zou jij willen voorstellen aan onze luisteraars.

12
00:00:34,040 --> 00:00:36,740
Ja, nou, hallo, leuk dat ik er ben. Gezellig.

13
00:00:36,740 --> 00:00:39,440
Nou ja, ik ben Elise, ik ben 24 jaar.

14
00:00:39,440 --> 00:00:46,040
Ik ben momenteel een tweedejaars Artificial Intelligence master's student aan de Radboud Universiteit in Nijmegen.

15
00:00:46,040 --> 00:00:50,840
En ik ben momenteel mijn scriptie aan het schrijven, mijn afstudeerscriptie hier bij InfoSupport.

16
00:00:50,840 --> 00:00:56,540
En daarbij doe ik onderzoek naar hoe we interpreteerbare modellen beter kunnen maken.

17
00:00:56,540 --> 00:01:00,540
met gebruik van technieken die ChatGPT ook gebruikt.

18
00:01:00,540 --> 00:01:02,540
Klinkt interessant.

19
00:01:02,540 --> 00:01:03,540
Ja, toch?

20
00:01:03,540 --> 00:01:04,540
Ja.

21
00:01:04,540 --> 00:01:09,540
En zou je iets kunnen vertellen over hoe ziet dat er dan uit?

22
00:01:09,540 --> 00:01:15,540
Wat is je beginsituatie en wat ga je proberen te veranderen?

23
00:01:15,540 --> 00:01:21,540
Nou, op dit moment zien we eigenlijk dat heel veel AI-modellen die gebruikt worden,

24
00:01:21,540 --> 00:01:24,540
bijvoorbeeld in de zorg, nog erg van die zwarte doosmodellen zijn.

25
00:01:24,540 --> 00:01:27,020
Dus we weten, er komt iets in en er komt iets uit,

26
00:01:27,020 --> 00:01:29,820
maar eigenlijk weet niemand zo goed hoe dat werkt.

27
00:01:29,820 --> 00:01:34,060
En zelfs de makers van zulke modellen weten vaak niet hoe dat goed werkt,

28
00:01:34,060 --> 00:01:39,780
omdat er heel veel gebeurt in zo'n model wat gewoon niet begrijpbaar is.

29
00:01:39,780 --> 00:01:44,460
En nu heb je dus een bepaalde techniek die dat soort modellen wel begrijpbaar maakt

30
00:01:44,460 --> 00:01:48,380
voor de gebruiker en degene die het model maakt.

31
00:01:48,380 --> 00:01:51,500
Maar wat we eigenlijk zien, is dat dit soort modellen,

32
00:01:51,620 --> 00:01:55,340
die lopen nog wat achter op de beste zwarte doosmodellen...

33
00:01:55,340 --> 00:01:57,340
die momenteel op de markt zijn.

34
00:01:57,340 --> 00:02:02,040
En wat we dus willen gaan proberen, is om een bepaalde techniek te gebruiken...

35
00:02:02,040 --> 00:02:07,680
die Chatgyp ook gebruikt, die eigenlijk het model verbetert.

36
00:02:07,680 --> 00:02:12,540
En daardoor willen we het verschil tussen de zwarte doosmodellen...

37
00:02:12,540 --> 00:02:14,640
en de interpreteerbare modellen kleiner maken.

38
00:02:14,640 --> 00:02:18,340
Zodat je makkelijker kan kiezen voor de interpreteerbare modellen.

39
00:02:18,440 --> 00:02:23,200
Ja, en om het nog even wat spannend te houden, schuiven we het chat-gbt gedeelte even op.

40
00:02:23,200 --> 00:02:28,840
Maar wat is nu dan bijvoorbeeld het probleem met die blackbox modellen?

41
00:02:28,840 --> 00:02:36,720
Nou, het probleem is eigenlijk dat als je bijvoorbeeld dit soort modellen in hele kritieke situaties gaat gebruiken,

42
00:02:36,720 --> 00:02:41,640
zoals in de zorg bijvoorbeeld, of in, nou stel je wilt een hypotheek aanvragen,

43
00:02:41,640 --> 00:02:45,080
dan weet je eigenlijk niet zo goed waarom er een beslissing wordt gemaakt.

44
00:02:45,080 --> 00:02:47,280
Dus stel in de zorg komen ze met...

45
00:02:47,280 --> 00:02:52,200
Er wordt iets van bloeddata of borstkanker-mammogrammen.

46
00:02:52,200 --> 00:02:55,440
Die worden naar zo'n model gestuurd en die zegt 'Nou, jij hebt kanker.

47
00:02:55,440 --> 00:02:58,800
Oké, goed. Hoe kom je daar dan bij? Waarom?'

48
00:02:58,800 --> 00:03:01,840
En op dit moment wordt dat dus niet uitgelegd.

49
00:03:01,840 --> 00:03:07,200
En in de Europese Unie zijn ze echt enorm bezig met regelgeving maken...

50
00:03:07,200 --> 00:03:11,400
die ervoor zorgt dat juist in dit soort kritieke situaties...

51
00:03:11,400 --> 00:03:14,120
alleen maar modellen worden gebruikt die transparant zijn...

52
00:03:14,240 --> 00:03:20,000
en die vertellen van oké dit is waarom ik het doe en juist omdat dit soort regelgeving erg opkomend

53
00:03:20,000 --> 00:03:26,600
is. Vorige week is de EU heeft een goedkeuring gegeven op een van deze regelgevingen. Juist

54
00:03:26,600 --> 00:03:32,080
daarom is het nu relevant om interpreteerbare modellen juist te verbeteren zodat de keuze

55
00:03:32,080 --> 00:03:38,560
makkelijker wordt gemaakt om voor zo'n model te kiezen. Dus als ik het goed begrijp houden we dus

56
00:03:38,560 --> 00:03:43,960
Dus de mogelijkheid om die modellen wel te gebruiken, omdat we die beter uitlegbaar krijgen.

57
00:03:43,960 --> 00:03:46,200
Want anders zou het niet meer mogen om het te gebruiken.

58
00:03:46,200 --> 00:03:49,640
Ja, dus er komen hele strenge regelgevingen op gebruik van AI.

59
00:03:49,640 --> 00:03:51,640
En zeker in de zorg bijvoorbeeld.

60
00:03:51,640 --> 00:03:54,640
Dat het moet uitlegbaar zijn, het moet transparant zijn.

61
00:03:54,640 --> 00:03:57,760
Anders mag je het waarschijnlijk niet meer gaan gebruiken.

62
00:03:57,760 --> 00:03:58,260
Ja.

63
00:03:58,260 --> 00:04:02,600
Ja, maar Elise, er bestaan toch al mogelijkheden om uitleg te krijgen...

64
00:04:02,600 --> 00:04:06,560
van hoe computer vision modellen redeneren.

65
00:04:06,560 --> 00:04:11,440
Je hebt zoiets als heatmaps, dat je zo'n gekleurde plaat over een foto krijgt...

66
00:04:11,440 --> 00:04:14,960
en dat die zegt, maar hier, op juist dit gedeelte...

67
00:04:14,960 --> 00:04:20,200
daar herken ik de delen van een hond en daarom vind ik dat het een hond is.

68
00:04:20,200 --> 00:04:22,220
Wat maakt het bij jou anders?

69
00:04:22,220 --> 00:04:25,920
Nou, dat is eigenlijk wel heel leuk, want je hebt dus die heatmaps...

70
00:04:25,920 --> 00:04:28,640
en je hebt nog veel meer van dat soort technieken.

71
00:04:28,640 --> 00:04:32,600
Maar die zijn vooral eigenlijk begrijpbaar voor mensen die zo'n model zelf bouwen...

72
00:04:32,600 --> 00:04:34,120
of die de techniek hebben gemaakt.

73
00:04:34,140 --> 00:04:39,380
Maar de bedoeling van zo'n uitlegbaar model is dat juist de gebruiker, de eindgebruiker,

74
00:04:39,380 --> 00:04:43,740
nou stel we hebben even in de zorg dat een dokter, dat is een arts, dat ook kan begrijpen.

75
00:04:43,740 --> 00:04:49,460
Dus dat hij zegt van, oh oké, het model verdeelt mij dit, dus dit is een tumor.

76
00:04:49,460 --> 00:04:53,700
En nou dat zegt hij mij omdat de dichtheid dit is of de vorm is dat.

77
00:04:53,700 --> 00:04:58,500
En daarom komt hij tot de conclusie gezamenlijk dat het een bepaalde tumor is.

78
00:04:58,500 --> 00:05:07,500
Ja, en die heatmaps, zoals dat dan heet, volgens mij is daar ook een heel groot verschil met het onderzoek wat jij doet.

79
00:05:07,500 --> 00:05:15,500
Dat zijn allemaal schattingen van hoe gedacht wordt dat het model werkt.

80
00:05:15,500 --> 00:05:19,500
Van buitenaf wordt zo'n model eigenlijk...

81
00:05:19,500 --> 00:05:22,500
Er wordt eraan geprikkeld en getrokken en gedaan.

82
00:05:22,500 --> 00:05:29,580
en dan wordt er gezegd, nou, dit denken we, met een nieuw model van zo heeft hij geredeneerd.

83
00:05:29,580 --> 00:05:36,500
Terwijl je nu heel erg kijkt naar daadwerkelijk interpreterbaarheid van het model zelf.

84
00:05:36,500 --> 00:05:41,740
Dus die geeft zelf de redenatie hoe die tot een bepaalde klassificatie is gekomen, toch?

85
00:05:41,740 --> 00:05:45,780
Ja, klopt. Dus eigenlijk wat je dus heel veel van die technieken die nu heel erg veel gebruikt worden,

86
00:05:45,780 --> 00:05:48,260
die zijn allemaal aan het eind worden die zeg maar toegevoegd.

87
00:05:48,260 --> 00:05:51,820
Dus eigenlijk heb je nog steeds een zwarte doos waar eigenlijk een soort van vergrootglas

88
00:05:51,820 --> 00:05:57,540
een beetje achteraf op wordt geplakt. Terwijl waar je eigenlijk naartoe wil werken, is dat zo'n model

89
00:05:57,540 --> 00:06:04,060
van zichzelf al uitleg gaat geven. Dus dat die zegt van, oké, dit is mijn redeneringsproces. Dus

90
00:06:04,060 --> 00:06:12,460
ik zeg dat dit een kat is, omdat ik dit dat en dat zie. En niet achteraf van, oké, iemand interpreteert

91
00:06:12,460 --> 00:06:19,780
mijn... Het is een beetje alsof je zegt van, je denkt ergens aan en iemand interpreteert jouw woorden

92
00:06:19,780 --> 00:06:22,140
als iets.

93
00:06:22,140 --> 00:06:25,500
Als in, ik denk dat jij boos bent, maar dat weet je niet,

94
00:06:25,500 --> 00:06:27,900
want jij zegt dat niet zelf.

95
00:06:27,900 --> 00:06:30,780
Het is gewoon hoe iemand jouw woorden interpreteert.

96
00:06:30,780 --> 00:06:34,540
- Dus eigenlijk ten tijde dat het model aan het ontdekken,

97
00:06:34,540 --> 00:06:37,220
benaderen is wat zijn eindconclusie gaat worden,

98
00:06:37,220 --> 00:06:40,220
neemt hij dus mee hoe hij tot die beredenering komt.

99
00:06:40,220 --> 00:06:42,780
Dus eigenlijk 'at runtime',

100
00:06:42,780 --> 00:06:43,780
of hoe we het maar even zo zullen zeggen.

101
00:06:43,780 --> 00:06:45,580
Dus terwijl het draait, en niet achteraf.

102
00:06:45,580 --> 00:06:47,100
- Ja, dus terwijl het draait,

103
00:06:47,100 --> 00:06:53,300
Het model waar wij naar kijken, terwijl hij draait, kijkt hij naar bepaalde delen van vogelfoto's.

104
00:06:53,300 --> 00:06:58,980
En dan denkt hij van, oké, nou, deze delen van een vogel, daar kijk ik dan naar.

105
00:06:58,980 --> 00:07:02,620
En die lijken op delen van vogels die ik al een keertje eerder heb gezien.

106
00:07:02,620 --> 00:07:07,300
Dus een beetje als je zelf ook naar een vogel zou kijken, dat je denkt, hé, hij heeft een rood bosje.

107
00:07:07,300 --> 00:07:12,420
Nou, ik weet dat er, ja, je hebt een rooibos, je hebt volgens mij ook nog een andere vogel die een rood bosje heeft.

108
00:07:12,420 --> 00:07:16,260
Nou, laat ik eens kijken wat ik nog meer kan vinden van die vogel waar die erop lijkt.

109
00:07:16,260 --> 00:07:18,700
is het dan de ene vogel of is het de andere vogel?

110
00:07:18,700 --> 00:07:22,900
Uiteindelijk bedenk je van, nou ik zie dat het kopje op een rooie bos lijkt,

111
00:07:22,900 --> 00:07:25,860
hij heeft een rood bosje, hij heeft van die schattige voetjes,

112
00:07:25,860 --> 00:07:27,700
dus ik denk dat het een rood bosje is.

113
00:07:27,700 --> 00:07:30,700
En dat is eigenlijk hoe het model waar ik mee werk ook reërneert.

114
00:07:30,700 --> 00:07:32,520
Dat legt hij dus eigenlijk inderdaad,

115
00:07:32,520 --> 00:07:36,580
terwijl hij dat probeert te voorspellen, legt hij dat ook uit.

116
00:07:36,580 --> 00:07:42,380
Dus gaandeweg probeert hij context te maken

117
00:07:42,400 --> 00:07:46,900
En dat is een stappen die de hud-systeem neemt.

118
00:07:46,900 --> 00:07:48,840
We waren het weer aan het personaliseren.

119
00:07:48,840 --> 00:07:50,720
Het blijft een systeem.

120
00:07:50,720 --> 00:07:53,520
Gaat hud-systeem inderdaad de volgende stap doen...

121
00:07:53,520 --> 00:07:58,320
om te kijken van, inderdaad, rood bosje, voetjes, vleugels, noem het dan maar op.

122
00:07:58,320 --> 00:07:59,340
Zo kom ik er.

123
00:07:59,340 --> 00:08:02,960
Neemt hij dus eigenlijk dat helemaal van het begin af aan mee?

124
00:08:02,960 --> 00:08:05,560
En wat ik me dan afvraag is...

125
00:08:05,560 --> 00:08:07,560
op een gegeven moment maakt hij een bepaalde keuze...

126
00:08:07,560 --> 00:08:09,600
die misschien conflicterend is.

127
00:08:09,600 --> 00:08:12,120
En dan zou hij weer in de context een paar stappen teruggaan.

128
00:08:12,140 --> 00:08:17,140
Ja, dus wat je dus eigenlijk ziet, stel hij doet het wel verkeerd,

129
00:08:17,140 --> 00:08:20,140
nou dan gaan we dus kijken waarom doet hij dat dan verkeerd.

130
00:08:20,140 --> 00:08:24,140
Nou vaak zie je dat hij gaat kijken naar bepaalde delen van zo'n foto,

131
00:08:24,140 --> 00:08:26,140
die dan eigenlijk niet relevant zijn.

132
00:08:26,140 --> 00:08:29,140
Dus stel je voor, als we het toch over vogels hebben,

133
00:08:29,140 --> 00:08:31,140
dat we een meeuw hebben.

134
00:08:31,140 --> 00:08:33,140
Nou als je zelf indenkt aan een meeuw, dan denk je,

135
00:08:33,140 --> 00:08:36,140
hé die zit eigenlijk wel vaak op het strand of bij het water.

136
00:08:36,140 --> 00:08:39,140
Dus hoe zou zo'n foto van een meeuw eruit zien?

137
00:08:39,140 --> 00:08:42,420
Nou met waarschijnlijk een blauwe achtergrond of met zand ofzo.

138
00:08:42,420 --> 00:08:47,780
Stel je nou voor dat je een foto hebt van een mus die ook bij het water zit.

139
00:08:47,780 --> 00:08:52,620
Zo'n model gaat dan denken, oh maar als ik water zie, dan denk ik zeemeel.

140
00:08:52,620 --> 00:08:57,220
Dus dan gaat hij dus bedenken van, nou ik vind dat eigenlijk wel heel belangrijk, water.

141
00:08:57,220 --> 00:09:01,020
Dus ik denk dat deze mus een zeemeel is. En zo doet hij dat dus verkeerd.

142
00:09:01,020 --> 00:09:06,100
En dat kunnen wij als mensen dan weer interpreteren. Dat we denken van, hey waarom zegt hij dat dan?

143
00:09:06,100 --> 00:09:09,540
En omdat hij dan zegt van nou, ik heb deze achtergrond een keer eerder gezien...

144
00:09:09,540 --> 00:09:11,900
met deze zemio, dus de zemio.

145
00:09:11,900 --> 00:09:15,100
En dat is dus eigenlijk precies wat we ook proberen uit te filtreren.

146
00:09:15,100 --> 00:09:17,500
Oké, interessant.

147
00:09:17,500 --> 00:09:20,000
Ja, en wat je dus daarmee doet, is dat je dus...

148
00:09:20,000 --> 00:09:22,220
En wat jij zegt, doet hij dat onder hun armen?

149
00:09:22,220 --> 00:09:23,820
Hij doet het eigenlijk tijdens training.

150
00:09:23,820 --> 00:09:25,620
Ja. -Tijdens trainen...

151
00:09:25,620 --> 00:09:30,500
Als ik het goed uitleg, hè Elise, jij onderbreekt mij als het niet zo is.

152
00:09:30,500 --> 00:09:33,660
Ik begeleid Elise in haar onderzoek.

153
00:09:33,680 --> 00:09:42,120
Wat er gedaan wordt tijdens het trainen, dan gaat hij allemaal stukjes van de foto pakken.

154
00:09:42,120 --> 00:09:46,160
En dat traint hij mee, waardoor je als je een nieuwe foto krijgt,

155
00:09:46,160 --> 00:09:52,320
dat hij gaat kijken van welke van die stukjes van de foto komen overeen met waar ik geleerd heb.

156
00:09:52,320 --> 00:10:00,040
En op die manier kan hij aangeven van, precies wat zij zeiden,

157
00:10:00,040 --> 00:10:03,120
Dit stukje van de snavel lijkt typisch op deze snavel.

158
00:10:03,120 --> 00:10:05,620
Die hoorde bij een rood borstje.

159
00:10:05,620 --> 00:10:09,520
Dit stukje van een vleugel lijkt op dit stukje van een vleugel.

160
00:10:09,520 --> 00:10:14,120
En die hoorde ook bij dingen die ik heb gezien tijdens de training van een rood borstje.

161
00:10:14,120 --> 00:10:19,960
En het is dezelfde manier, misschien bij vogels is het wat abstracter,

162
00:10:19,960 --> 00:10:23,520
maar als je een eigen huis hebt, word je aangeslagen voor de WOZ-waarde.

163
00:10:23,520 --> 00:10:25,020
Wat wordt er dan gedaan?

164
00:10:25,020 --> 00:10:29,660
Jouw huis wordt niet genomen als uitgangspunt.

165
00:10:29,660 --> 00:10:33,540
Tenminste, er wordt gezegd van de WOZ-waarde, die bepalen we...

166
00:10:33,540 --> 00:10:40,140
omdat jouw huis lijkt op deze huizen om jou heen, om deze reden.

167
00:10:40,140 --> 00:10:43,860
En daarom denken we dat jouw huis zoveel waard is.

168
00:10:43,860 --> 00:10:49,140
Dat is eigenlijk wat het model, wat zij gebruikt, dat die dat doet.

169
00:10:49,140 --> 00:10:52,580
Ja, dus train time is eigenlijk het design time.

170
00:10:52,720 --> 00:10:56,000
neem je dit dus mee als ik een model ga maken,

171
00:10:56,000 --> 00:11:00,240
het design time wil ik een interpretatie meenemen.

172
00:11:00,240 --> 00:11:03,960
Ja, klopt. Dus op het trainer leert hij dus van al die verschillende vogels,

173
00:11:03,960 --> 00:11:06,600
dat hij ziet, dat dit allemaal typische delen van die vogels zijn.

174
00:11:06,600 --> 00:11:10,840
En die neemt hij dan mee tijdens runtime, als je iets nieuws probeert te vinden.

175
00:11:10,840 --> 00:11:13,640
Dan kijkt hij dus naar bepaalde delen van het nieuwe vogel,

176
00:11:13,640 --> 00:11:17,040
en dan kijkt hij dus naar de typische delen die hij al een keer geleerd heeft,

177
00:11:17,040 --> 00:11:18,440
tijdens de train time.

178
00:11:18,440 --> 00:11:19,840
En op basis daarvan zegt hij,

179
00:11:19,840 --> 00:11:22,480
Dit lijkt op dat typische gedeelte wat Joop net zegt.

180
00:11:22,480 --> 00:11:25,720
Zijn er nog bepaalde eisen aan de inputkant...

181
00:11:25,720 --> 00:11:29,080
waar we extra rekening mee moeten houden om die modellen goed interpreterbaar te krijgen?

182
00:11:29,080 --> 00:11:33,320
Aan de inputkant?

183
00:11:33,320 --> 00:11:37,280
Ja, dus de foto's, de data, de eventuele klassificatie, tagging...

184
00:11:37,280 --> 00:11:40,440
dat soort zaken waar extra naar gekeken moet worden?

185
00:11:40,440 --> 00:11:42,000
Nee, in principe niet.

186
00:11:42,000 --> 00:11:43,020
Oké.

187
00:11:43,020 --> 00:11:44,240
Wat...

188
00:11:44,240 --> 00:11:47,320
We zijn even zo overgegaan naar de vogels...

189
00:11:47,340 --> 00:11:51,200
maar dat heeft een heel duidelijke achtergrond.

190
00:11:51,200 --> 00:11:54,700
Want dit model wat we nu beschrijven, bestaat.

191
00:11:54,700 --> 00:11:59,220
En dat is het uitgangspunt van haar onderzoek, is dit model, dus dit bestaat.

192
00:11:59,220 --> 00:12:02,180
Wat was er... Oh ja, die input data.

193
00:12:02,180 --> 00:12:09,700
We komen zo direct namelijk op waar zij dingen aan gaat veranderen, verbeteren.

194
00:12:09,700 --> 00:12:14,100
Maar dit model bestaat, deze manier bestaat.

195
00:12:14,380 --> 00:12:18,780
En we gaan dit gebruiken als een baseline-model...

196
00:12:18,780 --> 00:12:22,180
om te kijken of het onderzoek van Elise ervoor gaat zorgen...

197
00:12:22,180 --> 00:12:24,780
dat het model beter wordt en beter uitlegbaar wordt.

198
00:12:24,780 --> 00:12:27,380
Maar dat kan ze, denk ik, zelf nog beter uitleggen.

199
00:12:27,380 --> 00:12:31,080
Ja, dus eigenlijk maakt het aan de inputdata niet heel veel uit op dit moment.

200
00:12:31,080 --> 00:12:33,880
Dus de dataset die we gebruiken, die kijkt toevallig naar vogels.

201
00:12:33,880 --> 00:12:40,880
Maar in principe kun je het op elke data die te maken heeft met foto's of andere dingen...

202
00:12:40,880 --> 00:12:42,680
die kun je daarvoor gebruiken.

203
00:12:42,780 --> 00:12:48,380
Maar wat wij dus inderdaad proberen te verbeteren, is dus dat hij eigenlijk leert van...

204
00:12:48,380 --> 00:12:52,860
oké, dit zijn de delen van foto's waar ik wel naar moet kijken en dit zijn delen waar ik niet naar moet kijken.

205
00:12:52,860 --> 00:12:57,420
En dit is dus eigenlijk waar wij mensen, zeg maar, in de loop komen.

206
00:12:57,420 --> 00:13:01,380
En wat ik ga doen, is dat ik aan mensen ga vragen van...

207
00:13:01,380 --> 00:13:05,020
hé, dit is de uitleg van het model, vertel mij wat je daarvan vindt.

208
00:13:05,020 --> 00:13:08,820
Vertel mij wat je een goede uitleg vindt en vertel me wat je geen goede uitleg vindt.

209
00:13:08,820 --> 00:13:13,820
En die uitleg van de mens, dat is dus zijn feedback, die zegt van...

210
00:13:13,820 --> 00:13:16,820
dit is wel goed om naar te kijken, dit is niet goed om naar te kijken.

211
00:13:16,820 --> 00:13:20,820
En eigenlijk proberen we met de uitleg van de mens...

212
00:13:20,820 --> 00:13:22,820
de uitleg van het model te verbeteren.

213
00:13:22,820 --> 00:13:27,820
Dus we proberen eigenlijk het model af te leren om naar de verkeerde dingen te kijken...

214
00:13:27,820 --> 00:13:31,820
maar ook aan te leren om juist naar de goede gedeeltes van de foto te kijken.

215
00:13:31,820 --> 00:13:33,820
Oké. Helder.

216
00:13:33,820 --> 00:13:37,820
Dat is eigenlijk ook het stukje wat ze gebruiken bij Chitchipity.

217
00:13:37,820 --> 00:13:39,220
Daarom, daar wil ik naar naartoe inderdaad.

218
00:13:39,220 --> 00:13:41,580
Wat is dan de relatie met chatgpt in dit verhaal?

219
00:13:41,580 --> 00:13:47,620
Nou, chatgpt en dat is met meerdere chatbots, met meerdere AI-chatbots, wat je vaak hoort.

220
00:13:47,620 --> 00:13:49,940
Volgens mij was het laatst met Bing ook.

221
00:13:49,940 --> 00:13:52,660
Als je hem dan vragen ging stellen, werd hij op een gegeven moment heel boos.

222
00:13:52,660 --> 00:13:54,500
Of dan kwam hij over alsof hij boos was.

223
00:13:54,500 --> 00:13:57,020
En dan gaf hij je antwoorden dat je denkt, oh, oké.

224
00:13:57,020 --> 00:14:00,660
Of je kon hem dingen vragen die eigenlijk niet helemaal door de beugel konden...

225
00:14:00,660 --> 00:14:02,980
en daar kon hij ook eigenlijk wel goed antwoord op geven.

226
00:14:02,980 --> 00:14:09,340
Dus je denkt, oh, dat is niet helemaal de bedoeling om dat aan bepaalde gebruikers te laten zien.

227
00:14:09,340 --> 00:14:15,860
Nou, wat Chet Chibuti dus heeft gedaan, is dat hij eigenlijk het model heeft geleerd om bepaalde antwoorden niet te geven,

228
00:14:15,860 --> 00:14:18,340
en ook om wat vriendelijker te reageren.

229
00:14:18,340 --> 00:14:21,980
En hoe hij dat heeft gedaan, is dus op dezelfde manier aan mensen gevraagd,

230
00:14:21,980 --> 00:14:29,340
oké, nou het model zegt dit antwoord, van Chet Chibuti, die geeft voor een bepaalde vraag deze antwoorden,

231
00:14:29,340 --> 00:14:31,540
nou welke vind je wel goed en welke vind je niet goed?

232
00:14:31,540 --> 00:14:33,540
Dus ze zetten twee antwoorden naast elkaar, hè?

233
00:14:33,540 --> 00:14:36,040
Dus een mens krijgt twee antwoorden naast elkaar...

234
00:14:36,040 --> 00:14:39,480
en die besluit van deze vind ik beter dan de ander.

235
00:14:39,480 --> 00:14:40,500
Ja. -Ja.

236
00:14:40,500 --> 00:14:41,800
Dus uiteindelijk heb je...

237
00:14:41,800 --> 00:14:44,620
Hij genereert meerdere antwoorden...

238
00:14:44,620 --> 00:14:46,620
en die worden inderdaad dan naast elkaar gelegd van...

239
00:14:46,620 --> 00:14:49,140
nou, vind je deze dan beter of vind je die beter?

240
00:14:49,140 --> 00:14:51,660
En zo krijg je eigenlijk ook weer een soort ranking.

241
00:14:51,660 --> 00:14:56,300
En dat gerangschikte, zeg maar, die verschillende antwoorden...

242
00:14:56,300 --> 00:14:59,100
die worden dan gebruikt om vervolgens te zeggen van...

243
00:14:59,100 --> 00:15:00,120
nou, eigenlijk vinden we...

244
00:15:00,420 --> 00:15:05,580
Als je zoiets zegt, vind ik het eigenlijk fijner dan als je iets anders zegt, wat minder vriendelijk is.

245
00:15:05,580 --> 00:15:11,180
Want we denken namelijk dat ChattyPT alles zelf leert.

246
00:15:11,180 --> 00:15:17,140
Het gaat over de data, maar er zit zo ontzettend veel mensenwerk omheen...

247
00:15:17,140 --> 00:15:21,420
om de goede dingen te geven die wij verwachten in ieder geval.

248
00:15:21,420 --> 00:15:25,220
Ja, en dan denk ik, maar goed, dan gaan we wel weer op ChattyPT verder.

249
00:15:25,220 --> 00:15:29,900
Maar dat eigenlijk ook weer aan degene die de ontvanger is, hoe je het interpreteert.

250
00:15:29,940 --> 00:15:33,940
En dat zou cultuur aan de achtergrond best wel grote impact kunnen hebben.

251
00:15:33,940 --> 00:15:36,940
- Ja, maar juist dit is zo belangrijk.

252
00:15:36,940 --> 00:15:38,440
Daar gaat haar onderzoek over.

253
00:15:38,440 --> 00:15:43,940
Want ook dit model kan heel veel van die,

254
00:15:43,940 --> 00:15:45,940
dat noemen ze dan prototypes,

255
00:15:45,940 --> 00:15:47,940
naast elkaar houden en zeggen van,

256
00:15:47,940 --> 00:15:50,440
dit is jouw uitleg van al die blokjes van de foto.

257
00:15:50,440 --> 00:15:54,940
Maar wat vinden wij nou belangrijk als mens om te zien?

258
00:15:54,940 --> 00:15:58,440
- Ja, en volgens mij wat Niels ook net zei,

259
00:15:58,440 --> 00:16:02,320
Elk mens is anders, dus iedereen vindt er ook wat anders van.

260
00:16:02,320 --> 00:16:08,920
En wat jij vindt wordt ook beoordeeld of daarin wordt meegenomen waar je vandaan komt,

261
00:16:08,920 --> 00:16:11,160
en wie je kent en met wie je omgaat.

262
00:16:11,160 --> 00:16:18,360
En zeker met zo'n chat GPT is het dan van oké, wie vraag je daar dan voor om daar een mening over te geven.

263
00:16:18,360 --> 00:16:23,600
Nu zitten wij op het punt van oké, voor ons maakt het niet heel veel uit.

264
00:16:23,600 --> 00:16:27,440
We vragen wel omdat we met vogels werken een aantal vogel experts.

265
00:16:27,440 --> 00:16:30,840
Maar we vragen vooral om heel veel response.

266
00:16:30,840 --> 00:16:33,940
Dus we willen vooral heel veel mensen vragen om dat te doen.

267
00:16:33,940 --> 00:16:38,440
Want met zoiets trainen is eigenlijk massa escassa.

268
00:16:38,440 --> 00:16:39,640
Dat is wat we willen.

269
00:16:39,640 --> 00:16:44,140
Maar uiteindelijk, als je zoiets wil gebruiken zoals dat Jetripte dat doet,

270
00:16:44,140 --> 00:16:48,840
worden dus enorm veel specifieke mensen gevraagd om dat te doen.

271
00:16:48,840 --> 00:16:53,240
Dus stel je zou uiteindelijk wel iets met kanker willen doen of een andere medische applicatie,

272
00:16:53,240 --> 00:16:58,120
Dan moet je dus experts gaan vragen, dus dokters, om dat dan voor je te doen.

273
00:16:58,120 --> 00:17:01,220
Gewoon uit nieuwsgierigheid.

274
00:17:01,220 --> 00:17:06,000
Staat de vraag nog uit voor mensen om bijdrage te leveren aan je onderzoek?

275
00:17:06,000 --> 00:17:08,620
De vraaglijst gaat er binnenkort uit.

276
00:17:08,620 --> 00:17:11,980
En dan zullen we even een linkje op LinkedIn zetten.

277
00:17:11,980 --> 00:17:14,440
Oh ja, dan kunnen wij het ook wel opnemen in de show note.

278
00:17:14,440 --> 00:17:15,880
Dat is misschien wel leuk.

279
00:17:15,880 --> 00:17:21,440
Kunnen luisteraars gelukkig bijdragen aan een beter interpreteerbare oplossing.

280
00:17:21,440 --> 00:17:22,600
Dat zou heel mooi zijn.

281
00:17:22,620 --> 00:17:24,940
Ja toch? Dat kunnen we zeker doen.

282
00:17:24,940 --> 00:17:29,460
Een van de leuke dingen die helpen bij dat interpreterbaar maken,

283
00:17:29,460 --> 00:17:34,020
want Elise legt vaak de link naar de zorg en ik denk dat het wel een hele mooie is,

284
00:17:34,020 --> 00:17:38,940
want een van de gevallen die ooit eens een keer is opgetreden,

285
00:17:38,940 --> 00:17:41,500
is dat ze, volgens mij ging het over longkanker.

286
00:17:41,500 --> 00:17:44,260
Dus, hoe noem je dat?

287
00:17:44,260 --> 00:17:48,700
Rundgefoto's van wel of niet longkanker.

288
00:17:49,060 --> 00:17:56,700
En die deden het in de training en met de test set kwamen daar hele nauwkeurige modellen uit.

289
00:17:56,700 --> 00:17:58,940
Super nauwkeurig, zag er hartstikke goed uit.

290
00:17:58,940 --> 00:18:01,680
In het wild niet.

291
00:18:01,680 --> 00:18:03,200
Totaal niet.

292
00:18:03,200 --> 00:18:06,140
Performde helemaal niet.

293
00:18:06,140 --> 00:18:13,360
En wat gebeurde erdoor, is dat radiologen een soort van hele kleine aantekeningetjes maakten...

294
00:18:13,360 --> 00:18:17,280
aan de zijkant van de rundgefoto's.

295
00:18:17,560 --> 00:18:20,320
Wat had dat model geleerd?

296
00:18:20,320 --> 00:18:27,920
Het begrijpen van die scribbles, van die kleine aantekeningen van een radioloog.

297
00:18:27,920 --> 00:18:32,520
Die waren natuurlijk niet meer, als de radioloog niet zegt van ik zie dit,

298
00:18:32,520 --> 00:18:35,120
dan kon daar de machine niet meer uitkomen.

299
00:18:35,120 --> 00:18:35,640
Nee.

300
00:18:35,640 --> 00:18:39,520
Een van de dingen waarvan we hopen met dit onderzoek,

301
00:18:39,520 --> 00:18:43,720
is dat dit soort gevallen, dat je die heel makkelijk eruit haalt.

302
00:18:43,720 --> 00:18:47,720
Net de zeemeel met een blauwe achtergrond.

303
00:18:47,720 --> 00:18:50,720
Ik denk dat dat voor iedereen duidelijk is dat je denkt van ja maar, ja, hallo.

304
00:18:50,720 --> 00:19:00,720
Maar juist dit soort hele subtiele zaken, waarvan je, als je niet weet hoe je model redeneert,

305
00:19:00,720 --> 00:19:06,720
is het dus heel moeilijk om erachter te komen of die wel de juiste besluiten neemt,

306
00:19:06,720 --> 00:19:11,720
de juiste uitkomsten geeft, op basis van de juiste redenering.

307
00:19:11,720 --> 00:19:15,120
Je kan hem... Zeg ik het nou goed?

308
00:19:15,120 --> 00:19:19,920
Hij kan dus een goed antwoord geven op basis van een foute redenering.

309
00:19:19,920 --> 00:19:22,020
Ja, en dat wil je afvangen.

310
00:19:22,020 --> 00:19:23,720
Maar goed, in dit scenario zou ik zeggen...

311
00:19:23,720 --> 00:19:25,720
...dat zou de heatmap volgens mij al best wel snel kunnen zeggen...

312
00:19:25,720 --> 00:19:28,120
...kijk helemaal alleen maar aan de zijkant waar de scribble staat.

313
00:19:28,120 --> 00:19:31,120
Maar dit voegt dus nog een extra perspectief toe...

314
00:19:31,120 --> 00:19:33,920
...aan die heatmap functionaliteit waar we in het begin over hadden.

315
00:19:33,920 --> 00:19:35,720
Ja, klopt, ja.

316
00:19:35,720 --> 00:19:38,120
Nou, weer is beter in dat geval.

317
00:19:38,120 --> 00:19:41,320
Als we het daardoor verklaarbaarder krijgen, lijkt me dat alleen maar mooi.

318
00:19:41,420 --> 00:19:43,420
Ja toch? - Ja zeker.

319
00:19:43,420 --> 00:19:49,020
In die zin denk ik dat het best wel een heel baanbrekend onderzoek is dat Elise doet.

320
00:19:49,020 --> 00:19:57,100
Er wordt heel veel onderzoek gedaan naar hoe krijgen we het nog nauwkeuriger, nog beter, nog sneller.

321
00:19:57,100 --> 00:20:03,660
Terwijl, als we het niet kunnen interpreteren, ze haalde al de EU-wetgeving aan,

322
00:20:03,660 --> 00:20:07,900
dan is uiteindelijk een model waardeloos en kan je er heel erg weinig mee.

323
00:20:07,900 --> 00:20:09,900
Als je het heel snel fout kan, is het nog steeds fout.

324
00:20:09,900 --> 00:20:14,740
Exact. Precies. - Ja, klopt.

325
00:20:14,740 --> 00:20:19,040
Hé, Elise, dank je wel voor de inzichten. Dank je wel om het uit een te zetten.

326
00:20:19,040 --> 00:20:22,280
Ik denk, ook vooral in heldere, duidelijke talen mag ik hopen.

327
00:20:22,280 --> 00:20:27,500
Niels is een beetje de testobject hier. - Testobject.

328
00:20:27,500 --> 00:20:32,180
Dus dank je wel voor je inzichten. - En mocht het niet duidelijk zijn...

329
00:20:32,180 --> 00:20:34,740
laat even een reactie achter en neem contact met ons op...

330
00:20:34,740 --> 00:20:36,880
want dan zorgen we dat we het nog helder kunnen krijgen.

331
00:20:36,880 --> 00:20:37,900
Absoluut. - Goed.

332
00:20:37,900 --> 00:20:39,440
Dank je wel.

333
00:20:39,440 --> 00:20:45,240
Leuk dat je weer luisterde naar een nieuwe aflevering van AI Today Live.

334
00:20:45,240 --> 00:20:50,380
Mis geen aflevering, abonneer je via je favoriete podcast app en krijg automatisch een seintje

335
00:20:50,380 --> 00:20:52,080
als er een nieuwe aflevering online staat.

336
00:20:52,080 --> 00:20:54,080
TV Gelderland 2021

337
00:20:54,080 --> 00:21:16,880
(C) TV GELDERLAND 2021