S06E68 - Is jouw kennis over AI al op temperatuur? Ontdek het geheim van LLMs

In deze aflevering van AIToday Live wordt de techniek achter Large Language Models (LLM's) besproken. De hosts leggen uit hoe deze AI-systemen werken, met speciale aandacht voor de zogenaamde 'Transformers'.

LLM's worden vergeleken met geavanceerde tekstvoorspelling op smartphones, maar dan krachtiger. Ze kunnen teksten genereren, vragen beantwoorden en verhalen schrijven.

De podcast behandelt ook het belang van context, de rol van 'tokens' in tekstverwerking en hoe LLM's als complexe rekenmachines functioneren. Daarnaast komen de temperatuurinstelling, beperkingen van LLM's en toekomstperspectieven aan bod.

Links

• Nieuwsbrief: AIToday Live nieuwsbrief (Link not provided)
• Kaartspel: AI Game Changer - Generative AI editie (https://aigency.com/ai-game-changer/generative-ai/)

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,001 --> 00:00:08,320
Hoi, welkom bij een nieuwe aflevering van AIToday Live waar we vandaag op een toegankelijke manier

2
00:00:08,320 --> 00:00:13,160
uitleggen hoe Large Language Models, of LLM's, technisch werken.

3
00:00:13,160 --> 00:00:17,520
Daarom leg ik je vandaag de techniek van Transformers uit.

4
00:00:17,520 --> 00:00:25,240
Als we de technologie goed begrijpen, weten we namelijk wat we mogen verwachten van LLM's

5
00:00:25,240 --> 00:00:28,360
en weten we wat deze wel en niet kunnen.

6
00:00:28,360 --> 00:00:33,680
Dus als je je ooit hebt afgevraagd hoe Chad, GPT en soortgelijke AI's precies hun kunstje

7
00:00:33,680 --> 00:00:35,440
doen, blijf dan zeker luisteren.

8
00:00:35,440 --> 00:00:38,080
Laten we beginnen bij de basis.

9
00:00:38,080 --> 00:00:40,080
Wat zijn Large Language Models?

10
00:00:40,080 --> 00:00:43,040
Eerst maar eens even kijken naar de term zelf.

11
00:00:43,040 --> 00:00:48,240
Een Large Language Model klinkt misschien intimiderend, maar eigenlijk is het een stuk simpeler dan

12
00:00:48,240 --> 00:00:49,240
je denkt.

13
00:00:49,240 --> 00:00:54,200
Zie je het als een super intelligente versie van de tekstvoorspelling die je gebruikt op

14
00:00:54,200 --> 00:00:59,200
je smartphone, maar dan met veel meer data en rekenkracht erachter.

15
00:00:59,200 --> 00:01:05,440
Deze modellen kunnen teksten genereren, vragen beantwoorden en zelfs creatieve verhalen schrijven,

16
00:01:05,440 --> 00:01:07,200
maar daar hoef ik je waarschijnlijk niet meer te vertellen.

17
00:01:07,200 --> 00:01:14,280
Stel je voor dat je een vriend hebt die zoveel boeken, artikelen en webpagina's heeft gelezen

18
00:01:14,280 --> 00:01:17,240
dat hij bijna overal wel iets over weet.

19
00:01:17,240 --> 00:01:22,040
Die vriend weet misschien niet alles perfect, maar kan goed gokken wat je volgende vraag

20
00:01:22,040 --> 00:01:25,320
zal zijn of wat een logisch antwoord is op jouw vraag.

21
00:01:25,320 --> 00:01:29,760
Dat is eigenlijk wat een LLM doet, maar dan op veel grotere schaal.

22
00:01:29,760 --> 00:01:33,840
Maar hoe leert zo'n Large Language Model?

23
00:01:33,840 --> 00:01:36,880
Het is net een enorme bibliotheek met miljoenen boeken.

24
00:01:36,880 --> 00:01:44,400
En de Large Language Model wordt getraind door al deze boeken te lezen, maar in plaats

25
00:01:44,400 --> 00:01:50,160
van dat het elk boek van begin tot eind leest, leert het meer patronen in de tekst te kennen.

26
00:01:50,160 --> 00:01:56,760
Het model leert bijvoorbeeld dat op de zin "de hond ligt in de" vaak het woord "mand"

27
00:01:56,760 --> 00:01:57,760
volgt.

28
00:01:57,760 --> 00:02:03,240
Deze patronen helpen het model om woorden te voorspellen en zo zinnen te vormen die

29
00:02:03,240 --> 00:02:07,040
grammaticaal correct zijn en logisch klinken.

30
00:02:07,040 --> 00:02:09,280
Om je een beeld te geven.

31
00:02:09,280 --> 00:02:14,520
Stel je maakt een puzzel, maar je hebt alleen de randstukjes.

32
00:02:14,520 --> 00:02:19,960
Door de patronen in de randstukken te herkennen kun je een hele goede gok doen waar de binnenstukken

33
00:02:19,960 --> 00:02:20,960
moeten komen.

34
00:02:20,960 --> 00:02:24,440
Een LLM doet iets vergelijkbaars.

35
00:02:24,440 --> 00:02:29,880
Hij begint met de randen, de meest duidelijke patronen, en vult de rest in op basis van

36
00:02:29,880 --> 00:02:31,200
wat het heeft geleerd.

37
00:02:31,200 --> 00:02:38,400
Nu vraag je je misschien af, hoe zet een LLM al die kennis om in zo'n slimme tekstgenerator?

38
00:02:38,400 --> 00:02:42,800
Hier komt het concept van transformers om de hoek kijken.

39
00:02:42,800 --> 00:02:47,720
Transformers zijn als een soort van super-brain voor een Large Language Model.

40
00:02:47,720 --> 00:02:53,960
Ze breken tekst op in kleinere stukjes die we tokens noemen en verwerken die in een bepaalde

41
00:02:53,960 --> 00:02:54,960
volgorde.

42
00:02:54,960 --> 00:03:01,080
Elke token krijgt een klein beetje context mee van de tokens ervoor en ernaar waardoor

43
00:03:01,080 --> 00:03:03,200
het model begrijpt wat de tekst betekent.

44
00:03:03,200 --> 00:03:05,720
Laat ik dat uitleggen met een analogie.

45
00:03:05,720 --> 00:03:09,440
Stel we krijgen een geheim bericht waarin de woorden door elkaar staan.

46
00:03:09,440 --> 00:03:16,080
Maar elke keer als je een woord leest probeer je de betekenis te achterhalen door te kijken

47
00:03:16,080 --> 00:03:17,920
naar de woorden ervoor en ernaar.

48
00:03:17,920 --> 00:03:20,360
Dit is precies wat een transformer doet.

49
00:03:20,360 --> 00:03:25,640
Het kijkt naar de omringende woorden om de juiste betekenis te geven aan elk woord en

50
00:03:25,640 --> 00:03:29,440
om de tekst als geheel tussen aanhalingstekens te begrijpen.

51
00:03:29,440 --> 00:03:37,640
Een transformer werkt in lagen vergelijkbaar met hoe je in een videogame steeds moeilijkere

52
00:03:37,640 --> 00:03:38,960
levels tegenkomt.

53
00:03:38,960 --> 00:03:43,880
Hoe dieper je in het model gaat, hoe complexer het verbanden worden die het legt tussen deze

54
00:03:43,880 --> 00:03:44,880
woorden.

55
00:03:44,880 --> 00:03:51,440
Daardoor kan het model niet alleen simpele zinnen begrijpen, maar ook complexe teksten

56
00:03:51,440 --> 00:03:53,080
die vol nuances zitten.

57
00:03:53,080 --> 00:03:59,560
Wat een LLM zo krachtig maakt is dat het context kan gebruiken om betere antwoorden te geven.

58
00:03:59,560 --> 00:04:05,920
Dit betekent dat het model onthoudt wat er eerder in een tekst of gesprek is gezegd en

59
00:04:05,920 --> 00:04:11,440
deze informatie gebruikt om relevantere en zinvollere antwoorden te geven.

60
00:04:11,440 --> 00:04:16,840
Als je bijvoorbeeld vraagt wie was de president van de VS in 2020?

61
00:04:16,840 --> 00:04:21,240
Hij vraagt later in het gesprek en wat deed hij tijdens de pandemie?

62
00:04:21,240 --> 00:04:25,000
Dan begrijpt het model dat hij verwijst naar dezelfde persoon.

63
00:04:25,000 --> 00:04:27,400
Donald Trump.

64
00:04:27,400 --> 00:04:33,600
Context is dus cruciaal omdat het ervoor zorgt dat de antwoorden die een large language model

65
00:04:33,600 --> 00:04:38,760
geeft niet alleen correct zijn, maar ook eerder passen bij de informatie die eerder in het

66
00:04:38,760 --> 00:04:39,760
gesprek is gegeven.

67
00:04:39,760 --> 00:04:45,840
Dit kan de LLM doen omdat het zowel met woorden in eerdere zinnen als met woorden in latere

68
00:04:45,840 --> 00:04:47,280
zinnen rekent.

69
00:04:47,280 --> 00:04:48,280
Rekent?

70
00:04:48,280 --> 00:04:51,080
Vraag je je misschien af?

71
00:04:51,080 --> 00:04:57,560
Ja, een LLM noemen we een taalmachine, maar is feitelijk een grote rekenmachine.

72
00:04:57,560 --> 00:05:04,360
Het zetten woorden die we invoeren in het large language model om in getallen.

73
00:05:04,360 --> 00:05:05,360
Hoe?

74
00:05:05,360 --> 00:05:10,800
Zo'n large language model heeft als het ware een woordenboek en het eerste woord krijgt

75
00:05:10,800 --> 00:05:15,320
het getal 1, het tweede woord het getal 2, enzovoort enzovoort.

76
00:05:15,320 --> 00:05:22,040
Die getallen gaan in een zogenaamd 'neuraal netwerk' en deze vormt de basis van LLMs.

77
00:05:22,040 --> 00:05:27,440
Een 'neuraal netwerk' bestaat uit lagen van knooppunten, neuronen worden die genoemd,

78
00:05:27,440 --> 00:05:32,360
die elk een stukje informatie verwerken door een berekening uit te voeren.

79
00:05:32,360 --> 00:05:38,120
De uitkomst van één laag wordt de invoer voor de volgende laag, waardoor de informatie

80
00:05:38,120 --> 00:05:40,720
steeds complexer en gedetailleerder wordt.

81
00:05:40,720 --> 00:05:47,280
Weet je nog, de game levels, waarbij je iedere level steeds complexer wordt?

82
00:05:47,280 --> 00:05:54,160
Maar hoe komt dan het volgende woord uit dat large language model?

83
00:05:54,160 --> 00:05:59,680
De berekeningen van de grote rekenmachine leiden tot een flinke lijst aan getallen.

84
00:05:59,680 --> 00:06:06,280
Misschien zou je verwachten dat er één getal uitkomt en dat dit getal dan omgekeerd opgezocht

85
00:06:06,280 --> 00:06:09,240
kan worden in het large language model woordenboek.

86
00:06:09,240 --> 00:06:11,480
Maar dat is het niet.

87
00:06:11,480 --> 00:06:16,280
Het neurale netwerk levert namelijk een lijst van mogelijke getallen.

88
00:06:16,280 --> 00:06:22,520
Zeg woorden op met een score van waarschijnlijkheid dat dit het volgende woord is.

89
00:06:22,520 --> 00:06:28,840
En daaruit kan het large language model een woord kiezen als het volgende woord en haalt

90
00:06:28,840 --> 00:06:32,920
het hele spel zich weer om te komen tot weer een volgend woord.

91
00:06:32,920 --> 00:06:38,480
En die lijst van mogelijke volgende woorden maakt het gebruik van large language models

92
00:06:38,480 --> 00:06:39,480
zo interessant.

93
00:06:39,480 --> 00:06:46,880
Want een fascinerend aspect van hoe een large language model variatie geeft in de volgende

94
00:06:46,880 --> 00:06:50,280
woordvoorspelling is met een temperatuurinstelling.

95
00:06:50,280 --> 00:06:55,960
En nee, dat heeft niets te maken met de temperatuur in de kamer, maar met een instelling in het

96
00:06:55,960 --> 00:07:01,720
model die bepaalt hoe, ook weer tussen aanhalingstekens, creatief of conservatief het model is bij

97
00:07:01,720 --> 00:07:03,040
het genereren van tekst.

98
00:07:03,040 --> 00:07:10,560
Temperatuur is een instelling die bepaalt hoe willekeurig het model mag zijn in het kiezen

99
00:07:10,560 --> 00:07:18,280
van het volgende woord uit die lijst van getallen woorden die we als uitvoer hadden.

100
00:07:18,280 --> 00:07:24,480
Een lagere temperatuur zorgt ervoor dat het model minder variatie biedt en vaker voor

101
00:07:24,480 --> 00:07:26,600
de meest waarschijnlijke woorden kiest.

102
00:07:26,600 --> 00:07:32,400
Stel, we hebben ze op volgorde van het meest waarschijnlijk naar het minst waarschijnlijk

103
00:07:32,400 --> 00:07:38,040
gesorteerd, dan kiest hij een beetje uit de bovenkant van de mogelijke woorden.

104
00:07:38,040 --> 00:07:42,680
En dit leidt dan tot voorspelbare en best wel consistente antwoorden.

105
00:07:42,680 --> 00:07:49,160
Dus stel je voor dat je wilt een tekst schrijven en je wilt ook op save spelen.

106
00:07:49,160 --> 00:07:56,320
Dan kies je dus voor een lagere temperatuur instelling zodat het voor de meest gebruikelijke

107
00:07:56,320 --> 00:07:57,320
woorden wordt gekozen.

108
00:07:57,320 --> 00:08:03,360
Aan de andere kant, als de temperatuur hoog is ingesteld, wordt het model meer wat mensen

109
00:08:03,360 --> 00:08:05,440
dan noemen creatief.

110
00:08:05,440 --> 00:08:11,680
Maar wat dat betekent is dat het dan kiest voor minder voorspelbare woorden.

111
00:08:11,680 --> 00:08:18,800
Dus het mag uit een veel grotere lijst, een veel grotere set moet ik zeggen, als we die

112
00:08:18,800 --> 00:08:25,000
van boven naar beneden hebben, mag hij nu in een keer nog veel lager gaan in de lijst van

113
00:08:25,000 --> 00:08:26,400
minder waarschijnlijke woorden.

114
00:08:26,400 --> 00:08:32,880
Dat kan leiden tot meer gevarieerde en soms juist onverwachte antwoorden.

115
00:08:32,880 --> 00:08:40,720
Dus de temperatuurinstelling, welke je kiest, hangt af van het doel van je interactie.

116
00:08:40,720 --> 00:08:45,240
Als je betrouwbare feitelijke informatie wilt, zou je lager geschikt zijn.

117
00:08:45,240 --> 00:08:50,720
Maar als je juist op zoek bent naar creatieve ideeën of unieke teksten, kan een hogere

118
00:08:50,720 --> 00:08:52,400
temperatuur nuttig zijn.

119
00:08:52,400 --> 00:09:00,240
Met deze kennis in het achterhoofd kunnen we vragen nu beter beantwoorden, zoals; zijn

120
00:09:00,240 --> 00:09:01,880
large language models slim?

121
00:09:01,880 --> 00:09:04,440
Wat zijn de beperkingen van large language models?

122
00:09:04,440 --> 00:09:06,120
En waarom is dat zo?

123
00:09:06,120 --> 00:09:11,160
Want je hebt misschien wel eens gehoord dat mensen zeggen dat AI's zoals ChatGPT

124
00:09:11,160 --> 00:09:12,160
slim zijn.

125
00:09:12,160 --> 00:09:13,840
Maar is dat ook echt zo?

126
00:09:13,840 --> 00:09:15,800
Hmm, ja, nee.

127
00:09:15,800 --> 00:09:19,960
Slim zijn betekent vaak dat je zelfstandig kunt nadenken en beslissingen kunt nemen.

128
00:09:19,960 --> 00:09:26,040
Maar een LLM is zoals we gezien hebben, een krachtige machine die heel snel en efficiënt

129
00:09:26,040 --> 00:09:27,920
kan rekenen en patronen kan erkennen.

130
00:09:27,920 --> 00:09:34,520
Het is een tool die goed is in het voorspellen van wat een goede reactie zou kunnen zijn

131
00:09:34,520 --> 00:09:37,000
op basis van alles wat het heeft geleerd.

132
00:09:37,000 --> 00:09:41,040
Een LLM heeft geen eigen wil, geen eigen intentie.

133
00:09:41,040 --> 00:09:46,400
Het probeert simpelweg de meest waarschijnlijke volgende woorden te voorspellen.

134
00:09:46,400 --> 00:09:49,880
En ze hebben natuurlijk ook beperkingen.

135
00:09:49,880 --> 00:09:54,480
Een probleem is dat het model niet altijd feitelijk juiste informatie geeft.

136
00:09:54,480 --> 00:09:58,120
Maar met wat we tot nu toe gezien hebben is dit best wel logisch toch?

137
00:09:58,120 --> 00:10:00,960
Het rekent de kans van een volgend woord uit.

138
00:10:00,960 --> 00:10:05,320
En afhankelijk van de instelling kan het kiezen voor minder waarschijnlijke woorden.

139
00:10:05,320 --> 00:10:09,160
Het is een opeenstapeling van kans op kans op kans.

140
00:10:09,160 --> 00:10:14,040
Zinnen die eruit komen zijn dan grammaticaal correct, alleen niet feitelijk juist.

141
00:10:14,040 --> 00:10:21,160
Het neurale netwerk heeft gerekend met de context, maar begrijpt deze niet.

142
00:10:21,160 --> 00:10:29,880
Samenvattend kunnen we zeggen dat LLM's zoals ChatGPT, echt krachtige technologie, die

143
00:10:29,880 --> 00:10:33,080
op een in die zin slimme manier met taal omgaan.

144
00:10:33,080 --> 00:10:39,640
Ze maken gebruik van complexe architecturen zoals transformers, een neurale netwerker,

145
00:10:39,640 --> 00:10:44,880
om zinnen te begrijpen, te genereren en aan te passen op basis van context.

146
00:10:44,880 --> 00:10:52,840
Waarbij de temperatuurinstelling een belangrijke rol speelt in hoe conservatief of creatief

147
00:10:52,840 --> 00:10:55,120
het model is in zijn antwoorden.

148
00:10:55,120 --> 00:10:57,520
Of het kiezen van het volgende woord.

149
00:10:57,520 --> 00:11:02,880
En hoewel er nog steeds uitdagingen en beperkingen zijn, biedt deze technologie natuurlijk enorme

150
00:11:02,880 --> 00:11:04,800
mogelijkheden voor allerlei toepassingen.

151
00:11:04,800 --> 00:11:06,680
Maar dat hoef ik de meeste mensen niet meer te vertellen.

152
00:11:06,680 --> 00:11:13,880
Bedankt weer voor het luisteren naar deze aflevering van AIToday Live.

153
00:11:13,880 --> 00:11:21,440
Als je meer wilt weten over achtergronden, over de podcast en wat er aan gaat komen,

154
00:11:21,440 --> 00:11:25,960
dan kun je je aanmelden voor een hele leuke nieuwsbrief die maandelijks uitkomt.

155
00:11:25,960 --> 00:11:27,600
Dank je wel weer voor het luisteren!

156
00:11:27,600 --> 00:11:48,000
[Muziek]