S06E62 - Over GPT-4o-mini met maximale prestatie

Welkom bij AIToday Live! Vandaag duiken we in de wereld van kunstmatige intelligentie met de lancering van OpenAI's nieuwste taalmodel, GPT-4o-mini.

Dit model, hoewel kleiner dan zijn voorgangers, biedt indrukwekkende prestaties en is een gamechanger voor zakelijke professionals, IT-specialisten en AI-enthousiastelingen. GPT-4o-mini blinkt uit in snelheid en kostenefficiëntie.

Het verwerkt verzoeken razendsnel en is financieel aantrekkelijk, wat nieuwe mogelijkheden opent voor praktische toepassingen. We bespreken ook de verschillen tussen open source modellen en cloud-gebaseerde oplossingen, en hoe deze keuze afhangt van je specifieke behoeften en budget.

De introductie van GPT-4o-mini belooft een toekomst vol innovaties in real-time data-analyse en automatisering. Mis deze spannende aflevering niet en ontdek wat dit nieuwe model voor jou kan betekenen!

Links

• Artikel: GPT-4o-mini informatie (https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/)

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,001 --> 00:00:07,000
Hoi, welkom bij AIToday Live, de Nederlandse podcast over AI.

2
00:00:07,000 --> 00:00:09,320
Met vandaag de korte aflevering.

3
00:00:09,320 --> 00:00:17,320
En of je nu een zakelijke professional, IT-specialist of AI-enthousiasteling bent, wij bieden waardevolle

4
00:00:17,320 --> 00:00:21,480
inzichten en duidelijke uitleg over de nieuwste ontwikkelingen en toepassingen in de wereld

5
00:00:21,480 --> 00:00:22,480
van AI.

6
00:00:22,480 --> 00:00:26,080
Er is iets geweldigs aan de hand.

7
00:00:26,080 --> 00:00:28,320
En daar wil ik het vandaag met je over hebben.

8
00:00:28,320 --> 00:00:34,320
OpenAI heeft een nieuw taalmodel uitgebracht, GPT-4o-mini.

9
00:00:34,320 --> 00:00:37,480
Hele mond vol, kan er ook niks aan doen.

10
00:00:37,480 --> 00:00:42,520
Die taalmodellen krijgen steeds excentriekere namen.

11
00:00:42,520 --> 00:00:48,320
Maar de naam Mini, GPT-4o Mini, is een beetje misleidend.

12
00:00:48,320 --> 00:00:55,920
Want hoewel het een kleiner model is dan alles wat OpenAI tot nu toe heeft uitgebracht, is

13
00:00:55,920 --> 00:00:58,560
het ongelooflijk groot in prestaties.

14
00:00:58,560 --> 00:01:04,320
Let wel op, want dit krachtige model is nog niet voor iedereen te gebruiken vanuit ChatGPT,

15
00:01:04,320 --> 00:01:11,360
maar wel als je met programmatuur GPT aanstuurt met zogenaamde API's, programmeerinterfaces.

16
00:01:11,360 --> 00:01:17,920
Via de gebruikersinterface die je misschien gebruikt, komt het later in ChatGPT beschikbaar.

17
00:01:17,920 --> 00:01:22,880
En dan geldt hetzelfde voor wat ik je nu ga vertellen.

18
00:01:22,880 --> 00:01:26,800
Want waarom ben ik nu zo blij met dit model?

19
00:01:26,800 --> 00:01:34,120
Het is niet alleen de kracht, maar vooral de snelheid en de kosten die indruk maken.

20
00:01:34,120 --> 00:01:37,240
Dit model is razendsnel.

21
00:01:37,240 --> 00:01:42,200
En met snel bedoel ik de tijd die het kost om je prompt te versturen, te verwerken tot

22
00:01:42,200 --> 00:01:44,360
een antwoord en deze weer terug te ontvangen.

23
00:01:44,360 --> 00:01:48,600
Soms duurt het minder dan een seconde voor je antwoord hebt.

24
00:01:48,600 --> 00:01:55,560
Ik weet nog, in het begin, toen de eerste modellen uitkwamen, dan moest je echt wel

25
00:01:55,560 --> 00:02:00,600
seconden, dan had je het over misschien wel 10, 12, 15 seconden wachten voordat je een

26
00:02:00,600 --> 00:02:01,920
antwoord hebt nu.

27
00:02:01,920 --> 00:02:02,920
Wat?

28
00:02:02,920 --> 00:02:05,520
In een mum van de tijd heb je je antwoord.

29
00:02:05,520 --> 00:02:12,280
En zoals je wellicht weet, gebruiken we voor de podcast ook taalmodellen om transcripties

30
00:02:12,280 --> 00:02:13,280
om te zetten.

31
00:02:13,280 --> 00:02:19,000
Zo halen wij door gasten genoemde bronnen als boeken, artikelen, websites en meer geautomatiseerd

32
00:02:19,000 --> 00:02:20,000
uit de transcriptie.

33
00:02:20,000 --> 00:02:27,280
In een aflevering van 45 minuten aan tekst jaagt dit mini-model er in 1,5 seconde doorheen.

34
00:02:27,280 --> 00:02:29,280
Van begin tot resultaat.

35
00:02:29,280 --> 00:02:30,840
Gaaf toch?

36
00:02:30,840 --> 00:02:34,600
Deze snelheid opent een deur naar nieuwe mogelijkheden.

37
00:02:34,600 --> 00:02:36,120
Dan de kosten.

38
00:02:36,120 --> 00:02:38,800
Die zijn bijna onwerkelijk wat mij betreft.

39
00:02:38,800 --> 00:02:47,640
15 dollarcent per 1 miljoen input tokens en 60 dollarcent per miljoen output tokens.

40
00:02:47,640 --> 00:02:52,680
En die input en output tokens laten we het voor het gemak even gewoon woorden noemen.

41
00:02:52,680 --> 00:03:08,400
Dus dat betekent dat je 0,0000015 cent per woord dat je erin stopt.

42
00:03:08,400 --> 00:03:09,400
Onwaarschijnlijk.

43
00:03:09,400 --> 00:03:18,080
Als je bedenkt dat OpenAI met GPT-4 Turbo begon met 60 dollar per miljoen output tokens.

44
00:03:18,080 --> 00:03:23,000
Dus die prijsverlaging binnen een jaar wat mij betreft onwaarschijnlijk.

45
00:03:23,000 --> 00:03:27,560
En dat betekent dat business cases makkelijker te maken zijn.

46
00:03:27,560 --> 00:03:33,400
En omdat die business cases zo veranderen moet je ook heel goed gaan kijken tussen het verschil

47
00:03:33,400 --> 00:03:37,960
tussen open source modellen en dit soort cloud initiatieven van OpenAI.

48
00:03:37,960 --> 00:03:43,840
Open source is natuurlijk een ontwikkeling die best wel heel groot is.

49
00:03:43,840 --> 00:03:48,400
Waarbij je je modellen ook op je eigen hardware kan gaan draaien.

50
00:03:48,400 --> 00:03:52,760
En in eerste instantie was dat ook gewoon goedkoper bijvoorbeeld.

51
00:03:52,760 --> 00:03:58,400
Maar nu moet je heel goed gaan nadenken over je moet je hardware aanschaffen, je hebt de

52
00:03:58,400 --> 00:03:59,400
onderhoud erop.

53
00:03:59,400 --> 00:04:02,040
Dus die afweging die gaat iets anders worden.

54
00:04:02,040 --> 00:04:07,200
Ik zeg niet dat je het een moet gebruiken ten opzichte van het ander.

55
00:04:07,200 --> 00:04:10,000
Maar qua kosten is er echt iets veranderd.

56
00:04:10,000 --> 00:04:13,880
En uiteraard kent open source andere voordelen dan alleen maar kosten.

57
00:04:13,880 --> 00:04:16,960
Maar goed, die afweging is aan jezelf.

58
00:04:16,960 --> 00:04:26,080
Nou voor de podcast gebruiken wij zo'n 15+ prompts die ik de afgelopen week uitvoerig

59
00:04:26,080 --> 00:04:30,440
heb getest en omgezet naar dit nieuwste GPT-4o-mini model.

60
00:04:30,440 --> 00:04:33,560
En gelukkig hebben wij daar automatiseerde testen voor.

61
00:04:33,560 --> 00:04:40,080
Dus we kunnen echt kijken of de prompts tegen nieuwe modellen aanhouden of de uitkomsten

62
00:04:40,080 --> 00:04:42,000
nog semantisch hetzelfde zijn.

63
00:04:42,000 --> 00:04:47,440
En weet je hoeveel prompts ik niet kon overzetten van dat grote…

64
00:04:47,440 --> 00:04:50,880
Ik gebruikte trouwens daar nog GPT-4 turbo voor.

65
00:04:50,880 --> 00:04:55,440
Van dat hele grote model nu naar de zogenaamde mini model.

66
00:04:55,440 --> 00:04:58,040
Weet je hoeveel prompts ik niet kon overzetten?

67
00:04:58,040 --> 00:04:59,040
Nul.

68
00:04:59,040 --> 00:05:00,880
Allemaal konden ze over.

69
00:05:00,880 --> 00:05:02,880
Alles goedkoper en sneller.

70
00:05:02,880 --> 00:05:09,120
Is het wel belangrijk om te benadrukken dat het beste model het model is dat het ook het

71
00:05:09,120 --> 00:05:10,520
beste bij je past.

72
00:05:10,520 --> 00:05:18,240
Het is de snelheid en laag kosten van GPT-4o-mini maken het aantrekkelijk voor veel toepassingen.

73
00:05:18,240 --> 00:05:23,200
Maar het blijft essentieel om de juiste balans te vinden tussen open source oplossingen,

74
00:05:23,200 --> 00:05:28,920
commerciële alternatieven en daarmee rekening houden met kosten, onderhoud en de specifieke

75
00:05:28,920 --> 00:05:30,280
voordelen van beide opties.

76
00:05:30,280 --> 00:05:38,520
Met de introductie van GPT-4o-mini zien we wel een trend van steeds krachtigere en betaalbare

77
00:05:38,520 --> 00:05:39,520
AI-modellen.

78
00:05:39,520 --> 00:05:44,280
Dit zal de toegankelijkheid en implementatie van AI in verschillende sectoren juist verder

79
00:05:44,280 --> 00:05:45,280
stimuleren.

80
00:05:45,280 --> 00:05:54,080
De snelheid en kostefficiëntie van GPT-4o-mini kunnen nieuwe deuren openen voor innovaties,

81
00:05:54,080 --> 00:05:58,960
denk ik juist ook in real-time data-analyse, automatisering en nog veel meer.

82
00:05:58,960 --> 00:06:01,600
Dus dat real-time gaan we heel dichtbij komen.

83
00:06:01,600 --> 00:06:08,520
Zoals je hoort, ik ben ontzettend enthousiast over de nieuwe mogelijkheden die GPT-4o-mini

84
00:06:08,520 --> 00:06:13,640
biedt en kijk uit naar de verder ontwikkelingen en toepassingen waar het naartoe gaat.

85
00:06:13,640 --> 00:06:18,680
Voor degene die werken met AI en op zoek zijn naar een krachtig, snel en kostefficiënt

86
00:06:18,680 --> 00:06:19,680
model.

87
00:06:19,680 --> 00:06:24,840
GPT-4o-mini is het overwegen waard!

88
00:06:24,840 --> 00:06:27,160
Dank je wel weer voor het luisteren naar AI-today live.

89
00:06:27,160 --> 00:06:32,160
Meld je aan voor onze maandelijkse nieuwsbrief voor het laatste nieuws en exclusieve inzichten

90
00:06:32,160 --> 00:06:33,160
in de wereld van AI.

91
00:06:33,160 --> 00:06:35,000
De link vind je in de shownote.

92
00:06:35,000 --> 00:06:36,160
Tot de volgende keer!

93
00:06:36,160 --> 00:06:42,160
[Muziek]