Een tijd geleden ontdekte ik een leuke podcast. Het ging veel over AI en technologie, het waren lekker lange interviews, kortom, alles wat ik leuk vind in een podcast. Maar langzamerhand bekroop me het gevoel dat er iets niet klopte. Of in ieder geval dat er iets achter zat waar ik het niet mee eens was. Het is een mijnenveld, soms, informatie op het internet.
De podcast heet ‘80.000 hours’. Dat is volgens de oprichters het aantal uren dat je besteed aan je carrière. En het idee van deze non-profit (want die zit er achter) is dat je met die 80.000 uur zoveel mogelijk goed moet doen in de wereld.
Maar niet voor deze wereld – voor de wereld die er nog niet is. Dat klinkt niet gek, maar het leidt tot rare ideeën (vind ik). Maar het duurde even voor ik dat door had. Het is een beetje gecompliceerd.
Het verhaal achter het verhaal
Ik begon te twijfelen over de podcast toen er een meneer geïnterviewd werd die denkt dat AI-machines een bewustzijn kunnen krijgen en die nu al een organisatie heeft opgericht om te vechten voor de rechten van deze toekomstige machines. “AI’s hebben ook gevoel!” Dat idee.
Huh, dacht ik, waarom zou je zo iemand een podium geven?
Dat dat niet handig is om zulke mensen in je podcast te hebben en ze interviewen alsof hun ideeën logisch zijn, heeft heel veel redenen. Te beginnen met dat het NIET KAN: mensen zijn geen machines en AI is niets meer dan een statistisch model. AI heeft geen bewustzijn, voelt niets en denkt ook niets. ECHT NIET.
Ik weet niet of er ooit een tijd komt dat mensen en machines geïntegreerd worden – ik hoop van niet (daar steken sommige miljardairs wel hun geld in want het lijkt ze mooi). Maar de taalmodellen die we vandaag de dag allemaal gebruiken zijn daar in ieder geval geen eerste stap in. Die modellen zijn niet slim of bewust. Dat lijkt alleen maar zo – omdat de mensen die die modellen maken ze zo programmeren en trainen.
[Iemand die ik ken, een topmanager voor wie AI alleen iets is dat in CoPilot verschijnt door zijn e-mails automatisch aan te vullen en verder nauwelijks een rol speelt in zijn leven had een filmpje gezien op LinkedIn. Het was van iemand die aan Claude – de ChatGPT van Anthropic – vroeg wat Claude zelf vond van het feit dat hij/zij gebruikt wordt om oorlogsmisdaden uit te voeren. Claude antwoordde dat het echt niet door de beugel kon en dat het erg was om zo misbruikt te worden. Op LinkedIn waren mensen hier erg van onder de indruk, begreep ik. Ik legde uit dat het maar zo lijkt dat Claude hier een mening heeft, omdat 1) Claude instructie heeft om zo menselijk mogelijk te lijken 2) Claude geprogrammeerd is om je naar de mond te praten en 3) toegang heeft tot alles wat je daarvoor gevraagd en gezocht hebt dus begrijpt wat je graag zou horen; 4) op het internet heel snel op kan zoeken wat mensen eigenlijk vinden van dat hele verhaal met het ministerie van Oorlog; en 5) ook nog eens door mensen getraind wordt door ‘goede’ antwoorden punten te geven – antwoorden die een bepaalde persoonlijkheid onderstrepen. ARGHHHHHHHHHH Onze AI-geletterdheid is nog onvoldoende!]
Het verspreiden van dit soort denkbeelden – AI heeft/krijgt bewustzijn – is niet handig. Want:
- Het verspreidt een onjuist beeld van AI;
- Het leidt tot angst en onbegrip;
- Het geeft mensen het gevoel dat het allemaal onvermijdelijk is en ze zich niet meer kunnen verzetten; en
- Al deze zaken spelen de mensen die belang hebben bij deze ontwikkelingen – en er vooral veel geld aan verdienen – direct in de kaart.
Het voelt wel alsof AI-apps menselijk zijn, maar dat is omdat ze mensen nadoen. Omdat ze zo geprogrammeerd worden. Door dit soort rare ideeën een podium te geven, zet je mensen op het verkeerde spoor. Je slingert een beeld van AI de wereld in dat niet klopt en niet leidt tot begrip bij je doelgroep, integendeel: het leidt tot angst. Niet voor niets roept het beelden op van films waarin robots de mensheid overwinnen en vernietigen (denk the Matrix, de Borg uit Star Trek of the Terminator). Het geeft mensen bovendien het gevoel dat het allemaal onvermijdelijk is.
De enigen die daar baat bij hebben, zijn de grote techbedrijven en hun investeerders.
Hoe banger we zijn, hoe minder we op zoek gaan naar antwoorden en alternatieven (gelukkig zijn die er wel degelijk). En hoe meer we geloven dat iets onvermijdelijk is, hoe meer we helpen om ontwikkelingen precies die richting op te drijven. Hoe minder we kijken naar wat er nu gebeurt, wat er nu al misgaat en wat we nu moeten doen.
En bovendien: als mensen massaal bang zijn voor iets, geeft dat de mensen die het narratief bepalen de macht. Angst is de beste motivator. Zoals we weten uit het verleden en uit het heden leidt dat niet tot goede dingen.
Ik kon het interview met de meneer van de robotrechten niet afluisteren, zo absurd vond ik het. Maar andere interviews uit de podcast zetten me juist aan het denken. Ik linkte er soms ook naar op dit blog. En, dacht ik, het is wel heel goed dat ze ook andere geluiden laten horen. Ook al zijn ze niet superkritisch in zo’n interview.
Maximaal goed doen
Ik begon me pas weer af te vragen wie er nou eigenlijk achter die podcast zitten, toen ik de nieuwste aflevering luisterde. Het was een interview met een van de oprichters van de stichting achter de podcast en zijn – schijnbaar – beroemde boek over ‘goede’ carrièrekeuzes.
Het deed me een beetje denken aan Bregman’s verhaal over dat de mensen op de Zuidas – want daar zitten de écht slimme, waardevolle mensen, begreep ik er uit – betere dingen moeten gaan doen met hun leven. Ook daar had ik een raar gevoel bij, al wist ik niet precies waarom (misschien was het zoiets).
Soms moet je je echt ergens in verdiepen, wil je gaan begrijpen wat er achter zit.
De stichting ‘80.000 hours’ draait, las ik, om het maximaliseren van de impact die je in je carrière hebt op de wereld. En momenteel gelooft de stichting dat dat betekent dat iedereen in AI moet gaan werken om AI veiliger te maken. Dat bekijken de mensen die hierin geloven vanuit het idee van de lange termijn en vanuit een rationele berekening van die impact.
Dat klinkt redelijk, maar daar zitten heel veel aparte ideeën onder die tot nog apartere conclusies leiden bij sommige mensen.
Tot de principes waar de mensen van de 80.000 hours in geloven behoren longterminism en het ‘effective altruism‘-principe, dat daarmee sterk samen hangt. Als je de Wikipediapagina leest, zou je kunnen denken dat het allemaal heel redelijk klinkt. Het gaat er over dat we met wat we vandaag doen de toekomst van toekomstige generaties – inclusief ‘levende’ robots! – moeten waarborgen en daar rekening mee moeten houden. Als er bijvoorbeeld de kans bestaat dat AI de mensheid zal vernietigen, moeten we dat vandaag voorkomen.
Het gaat ook over het idee dat iedereen zijn of haar tijd en geld moet gebruiken om zoveel mogelijk toekomstige positieve impact te bewerkstelligen.
Klinkt redelijk. Waren we allemaal maar wat meer met de lange termijn bezig, toch?
De andere kant van de medaille
In zekere zin is dit verhaal net als heel veel andere verhalen: alles klinkt redelijk tot je de andere kant bekijkt. Tot je de ideeën doortrekt, als het ware, naar een ander punt op de lijn. Het lijkt wat dat betreft een beetje op een van mijn (vroegere) favoriete thema’s: angstmarketing. Wat een positief verhaal lijkt vanuit de ene kant, blijkt funest te zijn voor de andere kant.
Longterminism is een filosofie die tot in de haarvaten van Sillicon Valley zit en veel van de ontwikkelingen daar versterkt en vooruit drijft, geholpen door de rijkste mannen ter wereld. Met alle gevolgen vandien.
[Als je je hier echt in wilt verdiepen, is het handig om de term TESCREAL eens op te zoeken. Maar je zult er waarschijnlijk niet zo blij van worden dus wees gewaarschuwd.]
Een van de rare bijwerkingen van bovenstaande filosofieën is bijvoorbeeld dat als je vooral moet doen wat goed is voor toekomstige wezens, je je niet hoeft in te zetten voor problemen van nu, zoals armoede. Een beroemd voorbeeld is de casus die de oprichter van ‘effectief altruïsme’ ooit gebruikte. Hij zei dat je, als je bij een huis dat in brand staat moet kiezen tussen twee kamers om te redden met in 1 een kind en in 1 een Picasso, je voor de Picasso moet kiezen. Want als je de Picasso redt en verkoopt, kun je honderd kinderen redden (artikel Volkskrant, betaald).
Heel rationeel. Je kunt het ‘goede’ dat je dan doet gewoon uitrekenen en afwegen met een spreadsheet (misschien had hij zelf toen nog geen kinderen, die meneer? De uitkomst wijzigt misschien als in de ene kamer zijn eigen kind ligt).
Zo bestaat er bij sommige mensen binnen deze beweging het idee dat je gewoon moet zorgen dat je zoveel mogelijk geld verdient, op welke wijze dan ook. Als je dat geld dan maar gebruikt om ‘goed te doen’.
Waarom ik het daar niet mee eens ben en het zelfs gevaarlijk vind:
- Door de focus op zo veel mogelijk geld verdienen kun je heel veel schade toebrengen aan de huidige samenleving. Als alleen de toekomstige, niet-bestaande generaties er toe doen, maakt de schade die je vandaag toebrengt aan de samenleving niet uit en kun je je eigen handelen zelfs als moreel beschouwen – zie het Picasso-voorbeeld. Het ging dan ook goed mis met een van de bekendste aanhangers van deze beweging;
- De focus op de toekomst leidt er toe dat miljoenen – miljarden – euro’s besteed worden aan onderzoek dat niets doet voor de grote problemen van deze tijd en de mensen die nú leven en lijden. In dit artikel wordt dit goed uitgelegd en kritisch onder de loep genomen;
- De extreem rijke mensen die hierin geloven leven er zelf goed van. Niets mis mee op zich, maar het staat haaks op wat we traditioneel associëren met mensen die hun leven wijden aan goed doen. Die kiezen vaak een sober leven, ten dienste van anderen;
- We weten natuurlijk helemaal niet wat de toekomst brengt. We weten niet hoeveel mensen er na ons zullen komen, voor wie we dus nu als ‘goed’ moeten doen, wat die mensen zullen willen en hoe we dit allemaal kunnen voorspellen. Het idee dat we dit kunnen berekenen, gaat uit van een maakbaarheid en controle die (in mijn mening) niet bestaat [fun fact: in hun berekeningen van toekomstige generaties, nemen de aanhangers soms ook de vele buitenaardse volkeren mee die we nog zullen tegenkomen];
- Belangrijk in deze beweging is dat degene die geld te geven heeft, zelf bepaalt waar dat geld naar toe gaat. In plaats van een gekozen regering die ons geld verdeelt en zorgt dat het terecht komt waar het nodig is, willen deze mensen zelf kiezen waar ze volgens henzelf het meeste impact mee maken.
Misschien mis ik nog argumenten, maar dit is wat ik een beetje denk en zie. Ik weet niet of ik het goed kan duiden. Het is ingewikkeld, dat effectief altruïsme en langetermijnisme. Het klinkt heel redelijk dus het is lastig om er kritisch op te zijn; de twee concepten hangen sterk met elkaar samen; er zijn hele bekende en hele rijke mensen die er in geloven maar het niet altijd benoemen als reden voor wat ze doen; en diezelfde mensen financieren een heleboel vage stichtingen en mensen om deze narratieven de wereld in te brengen.
Zoals via die podcast, dus.
Dit heeft alles met AI te maken
Ik lees al heel lang over deze bewegingen en filosofieën, omdat die in Sillicon Valley de boventoon voeren. Ze stonden zelfs aan de wieg van de oprichting van OpenAI (dat oorspronkelijk werd opgericht als non-profit – inmiddels is dat ongedaan gemaakt).
Als je beleid maakt, is de context en bron van informatie altijd iets waar je op bedacht moet zijn. Voor je het weet, word je voor iemands karretje gespannen, ten goede of ten kwade, afhankelijk van je wereldbeeld. Dat kan zelfs in terminologie zitten, zoals ‘AI safety’ of ‘AI als normale technologie‘. Vandaar dat ik me afvroeg wat het allemaal betekende.
OpenAI’s oprichting vloeit voort uit het centrale punt van langetermijnisme, namelijk dat je je vooral moet richten op existentiële risico’s en die moet zien te voorkomen. ‘AGI’, Artificial General Intelligence’ is een belangrijk onderdeel van dit gedachtegoed. AGI een vorm van AI waarvoor geen definitie bestaat en waarvan niemand weet wat het precies is, behalve dat die slimmer zal zijn dan de mens en alles zal kunnen. Maar mensen weten in ieder geval zeker dat deze vorm van AI er aan komt – zelfs dichtbij is – en dat dit een existentieel risico vormt.
Wat doe je als je je zorgen maakt over de slechteriken die zo’n technologie zouden kunnen gaan maken? Dan doet je het natuurlijk zelf! Dat is de reden dat ChatGPT is ontwikkeld, en de gedachte achter de ontwikkeling van de grote AI-modellen. Gefinancierd door mensen die sterk in dit soort gedachtegoed geloven, inclusief de rijkste mensen ter wereld (deze bijvoorbeeld), met behoorlijk enge ideeën. En anders dan regeringen, kun je deze machthebbers niet democratisch tot de orde roepen.
In 2022 las ik dit artikel, waardoor ik me er meer in ging verdiepen (paywall, te lezen met een free trial):
Research priorities follow the funding, and given the large sums of money being pushed into AI in support of an ideology with billionaire adherents, it is not surprising that the field has been moving in a direction promising an “unimaginably great future” around the corner while proliferating products harming marginalized groups in the now.
Als je je zou bekommeren om de huidige mensheid, zou je je geld beter anders kunnen besteden dan in het najagen van een soort über-AI. Maar op dit moment investeren de mensen achter de grootste techbedrijven ter wereld ongelofelijke hoeveelheden geld in het najagen van ‘AGI’ (waarvan we dus niet precies weten wat het is, omdat er geen definitie is), onderzoek naar de robotisering van de mens en het stichten van een kolonie op Mars. Voor als de aarde niet meer leefbaar is, snap je.
En helaas ligt hier ook een link met transhumanisme en eugenics, vanwege een obsessie met (een beperkte definitie van) intelligentie (Daarom heeft Musk zoveel kinderen). Brrr.
Het klinkt redelijk maar het is een mijnenveld
Zo heeft een schijnbaar redelijke theorie over goed doen in de wereld een hele nare kant met hele nare uitwassen.
Heel veel dingen klinken heel redelijk, maar zijn het niet als je het principe doortrekt naar de werkelijkheid.
De 80.000 uur van je carrière besteden aan goede dingen doen klinkt logisch. Als AGI de grote bedreiging is, is de oproep om allemaal aan veilige AI te gaan werken niet gek, zij het een beetje beperkt. Rekening houden met toekomstige generaties is ook gewoon aardig. Tien procent van je geld doneren aan goede doelen, nou, dat klinkt onbaatzuchtig. AI veiliger maken? Graag.
(behalve dan het een ontwikkelen van iets waarvan je denkt dat het gevaarlijk is omdat je denkt dat jij beter om kunt gaan met die verantwoordelijkheid)
Het probleem is dat al dat moois een andere kant heeft enerzijds, en tot heel veel hypocrisie leidt anderzijds.
Misschien is dat gewoon de mens: we beginnen vol goede bedoelingen aan een strijd om de macht en worden uiteindelijk zelf despoten.
Zo klonk de podcast redelijk. Net als de meneer van de Correspondent die vrolijk het nieuwe boek over ‘80.000 uur’ aanprees op LinkedIn, waar mensen met honderden tegelijk op ‘like’ klikten en het boek gingen bestellen.
Misschien wisten ze allemaal heel goed waar die term ‘80.000’ uur voor stond (zoals: allemaal werken aan AI!). Maar misschien realiseren ze zich niet welke ideologie ze zich eigen gaan maken door dat boek te lezen.
Het internet is een mijnenveld waarvan je vrijwel nooit weet wat er achter bepaalde informatie zit.
Het juiste doen is ingewikkelder dan je zou denken.
En podcasts zijn niet altijd zo onschuldig als ze lijken.
Reageren?