Wat is nou eigenlijk het verschil tussen het ene generatieve AI-model en de andere? En hoe kom je daar zelf achter? Laat ik nou eens een andere tool dan ChatGPT proberen, dacht ik vandaag, en nam een abonnement op Claude van Anthropic. Om ze vervolgens dezelfde vraag te stellen, over een ingewikkeld online project in Europa dat ik vandaag tegen kwam.
Ik typte dezelfde prompt/onderzoeksvraag in beide tools en wachtte af. Ik vroeg naar achtergrond, funding, belangrijkste persoon in het project, doelstellingen en dat soort dingen.
Voor de duidelijkheid: het gaat om een vraag waarvan de antwoorden geen direct belang hebben voor mijn werk of op enige wijze mijn werk beinvloeden of daarvoor gebruikt worden. En dus in lijn met het huidige overheidsbeleid. Uiteraard.
(los van het feit dat het voor mijn werk belangrijk is dat ik – weliswaar privé – ervaring opdoe met generatieve AI-toepassingen)
Wat is waar? Of wat is belangrijker?
Beide tools kwamen met een mooi overzicht, inclusief linkjes. Maar toen ik naar de andere tool ging, bleek dat die totaal andere namen en andere cijfers oplepelde. Dat lag ongetwijfeld aan mijn te simpele prompt. Maar toch.
Claude had de website van het betrokken bedrijf gevonden dat kennelijk de aanbesteding had gewonnen en een mooi persbericht had gemaakt over de eigen rol. En ergens op een forum had Claude een naam gevonden van de oorspronkelijke projectleider van het commerciële bedrijf. Niet iets dat ik zelf snel gevonden zou hebben, denk ik. Hoewel het een antwoord op mijn vraag was, was het niet compleet, omdat het meer recente informatie mist. Het ging alleen over de eerste fase van het project, die in 2022 werd afgerond.
ChatGPT had goede informatie gevonden over hetzelfde project, maar dan over de huidige fase. Dus kreeg ik de naam van iemand die funding had gekregen voor een volgende fase in het communityproject. Als je het persbericht daarover aanklikt, zie je meteen waar het mis gaan. Het is niet direct duidelijk uit de tekst dat het om een volgende fase gaat, tenzij je goed leest.
Onderzoeksmodus AAN
Nieuwe poging: ik heb mijn vraag gesteld in de uitgebreide ‘onderzoeksmodus’ die beide tools bieden. En met de aanvulling dat ik geinteresseerd ben in recente ontwikkelingen en informatie over recente cijfers over het project.
ChatGPT4 kwam eerst met een vraag om verduidelijking. Zowel de vraag zelf en de inhoudelijke suggesties waren erg slim. Claude ging gewoon lekker aan de slag. Grappig verschil was het aantal bronnen dat genoemd werd tijdens het wachtvenster: Claude zat al snel op 463 terwijl ChatGPT het over 13 had. Misschien dat Claude daarom nog bezig was terwijl ChatGPT al een nette samenvatting had opgeleverd. Maar beiden leverden dit keer een completer rapport aan, met informatie over de totstandkoming van het project en de huidige fase.
(met excuses voor de klimaatimpact voor het gebruik. zou dat van Claude groter zijn dan dat van ChatGPT?)
Wat vinden ze er zelf van?
Systemen kunnen niets ‘vinden’, natuurlijk. Dus de vraag ‘wat vinden ze er zelf van’ is een vorm van antropomorphisme waar ik geen voorstander van ben als het gaat om generatieve AI-systemen. Ik zeg het er maar even bij. Maar het schrijft en leest wat lekkerder.
Om te kijken wat de verschillen waren, heb ik de tekst van Claude in ChatGPT geplakt en de tekst van ChatGPT in Claude.
ChatGPT noemt de tekst van Claude visionair, strategisch en promotioneel. Claude noemt de tekst van ChatGPT als aanvullend op de eigen tekst met een meer strategische focus. Opvallend, omdat ChatGPT de eigen tekst juist als ‘analytisch’ beschrijft vs het ‘strategische’ van de tekst van Claude.
Beide tools destilleren verschillen per onderwerp. Het rare is dat ze elkaar gedetailleerder noemen dan zichzelf. Claude maakt het verschil wat concreter, bijvoorbeeld in het aantal woorden. ChatGPT heeft het dan weer over het verschil in toon.
Ook interessant is dat Claude ongevraagd met een opsomming van verschillen in de gerapporteerde feiten komt en met een overzicht van de feiten die beide rapporten noemen. Terwijl ChatGPT de verschillen tussen de verschillende onderdelen van beide rapporten in een overzichtelijke tabel zet en samenvat.
Onderaan sluit ChatGPT af met de conclusie dat het systeem een ‘gecombineerd narratief’ zou kunnen maken om in een beleidsstuk te gebruiken. Dat aanbod ontbreekt bij Claude.
Conclusies
Leuk experiment. Eigenlijk zouden we dat allemaal moeten doen om gevoel te krijgen voor wat je wel en niet kan vragen aan generatieve AI-tools en hoe betrouwbaar ze zijn. Jammer dat het zoveel tijd en checkwerk kost.
Er zit in dit geval een duidelijk verschil in aanpak. Zoals ChatGPT aangeeft bevat het rapport van Claude wat meer mening en visie, terwijl de raportage in ChatGPT het wat strategischer en objectiever lijkt te houden. Misschien ingegeven door een extra vraag aan het begin.
Het is ook meteen duidelijk dat de onderzoeksmodus veel uitgebreidere, diepgravendere resultaten oplevert.
Wat het mij leert is dat ik nog veel moet experimenteren en vergelijken; dat de twee tools echt van elkaar verschillen in aanpak; en dat je bij het stellen van vragen (prompting) veel kunt doen om de uitkomsten veel specifieker te maken.
Tot slot: ik waardeer deze waarschuwing onderaan Claude, die in ChatGPT ontbreekt.
112/1000
- Poneren kun je (af) leren - 19 juni 2025
- Community management maar dan anders - 18 juni 2025
- Doemlezen is leuker met zijn allen - 16 juni 2025
Ontdek meer van Elja Daae
Abonneer je om de nieuwste berichten naar je e-mail te laten verzenden.
Grappig, bij mijn vragen aan Chat staat wel degelijk dat hij fouten kan maken. Jammer dat ik geen screenshot kan plaatsen.