Zijn we een investering van $ 1 miljard verwijderd van algemene AI?

Klik voor meer informatie over auteur Paul Barba.

Zoals bijna iedereen die AI volgt weet, heeft het R & D-bedrijf OpenAI onlangs een paper uitgebracht over GPT-3, zijn derde generatie taalmodel dat, met 175 miljard parameters, de roem heeft dat het ongeveer een orde van grootte groter is dan enig ander taalmodel dat eraan voorafging.

GPT-3 is momenteel beschikbaar in privé-bèta voor geselecteerde ontwikkelaars aangetoond dat het kan genereer alles, van geloofwaardige korte verhalen, rapnummers en persberichten tot HTML-code voor het maken van webpagina-indelingen, allemaal met minimale invoer of prompts. Dit is een heel groot probleem.

Tot nu toe omvatten de meest geavanceerde taalmodellen Google’s BERT, Microsoft’s Turing Natural Language Generation en GPT-3’s voorganger GPT-2, die dingen kan doen zoals het op een natuurlijk klinkende manier voltooien van zinnen, korte antwoorden op e-mailberichten voorstellen, antwoorden bieden op basisvragen en genereer tekst die lijkt alsof deze door een mens kan zijn geschreven. Hoewel deze modellen indrukwekkend zijn, genereren ze vaak ook onhandige of absurde resultaten, waardoor sceptici denken dat we nog ver verwijderd zijn van machines die de taalvaardigheid van mensen kunnen benaderen.

Met taalmodellen is groter beter

Wat de GPT-3-paper laat zien, is hoe de grootte van taalmodellen de nauwkeurigheid beïnvloedt bij een aantal taaltaken die mensen beheersen: het beantwoorden van vragen in een gesloten boek, het oplossen van dubbelzinnige voornaamwoorden, redeneren met gezond verstand en geavanceerd begrijpend lezen, om er maar een paar te noemen. . Vanwege zijn enorme omvang gaat GPT-3 veel verder dan wat eenvoudigere taalmodellen kunnen bereiken.

Als je naar alle verschillende modellen kijkt, verschijnen er duidelijke trendlijnen. Het toevoegen van meer parameters heeft een redelijk voorspelbare invloed op de nauwkeurigheid. En als we de trends volgen, zien we consequent een kruising met nauwkeurigheid op menselijk niveau in het parameterbereik van 15-20 biljoen, ongeveer 100 keer groter dan GPT-3.

De kosten van al die rekenkracht

Schattingen voor de kosten van het trainen van GPT-3 variëren van $ 4-12 miljoen, wat lineair lijkt te groeien met de modelgrootte. Daarom kunnen we extrapoleren dat een parametermodel van 15-20 biljoen ergens in het investeringsbereik van $ 300 miljoen tot $ 1,3 miljard nodig zou zijn.

De belofte zou zijn dat, gegeven een handvol voorbeelden van een tekstuele taak, het model zou kunnen presteren op menselijk niveau zonder enige herscholing, dus algemene AI – dat wil zeggen, in plaats van voorbeelden te gebruiken als trainingsgegevens om de synapsen in de hersenen te veranderen, het zoekt uit hoe de taak moet worden uitgevoerd door het gewoon te “verwerken”. Vaak is een beschrijving van de taak zonder voorbeelden voldoende.

Enkele voorbehouden

Hoewel dit slechts een ruwe trendlijnaanpassing is, zijn er verschillende kanttekeningen: 1) Kleine fouten zou kunnen leiden tot een orde van grootte-effecten in de extrapolatie, 2) Er is geen garantie dat de bestaande trend blijft bestaan, en 3) Het is onduidelijk of er voldoende tekst beschikbaar is om te blijven opschalen wat er vandaag wordt gedaan. Zelfs de auteurs merken de mogelijke tekortkomingen van het model, schrijven:

“Een meer fundamentele beperking van de algemene benadering die in dit artikel wordt beschreven – het opschalen van elk LM-achtig model, of het nu autoregressief of bidirectioneel is – is dat het uiteindelijk tegen de limieten van de pretraining-doelstelling kan aanlopen (of al zou kunnen lopen).”

Dus hoewel de taken die GPT-3 uitvoert moeilijk zijn voor de meeste machines en zelfs mensen soms lijkt het onwaarschijnlijk dat ze de diepten van menselijke vaardigheden, zoals complexe programmering, het schrijven van nieuwe boeken of geavanceerde strategische redeneringen, zullen doorgronden. En wat nog belangrijker is, het heeft, net als veel andere AI’s ervoor, laten zien dat het vatbaar is voor het genereren van vooringenomen taalgebruik rond geslacht, etniciteit, seksualiteit en ras.

Dus, zal $ 1 miljard leiden tot algemene AI?

Afgezien van het voorbehoud, wat ongelofelijk is, is dat GPT-3 suggereert dat we binnen zeer korte afstand zijn van de rekenkracht die nodig is om een ​​echte AI voor algemene doeleinden uit te voeren. Voor een investering van $ 1 miljard lijkt het aannemelijk dat we een AI kunnen bereiken die in staat is om dingen als de Turing-test te halen, algemene gesprekken te voeren over uiteenlopende onderwerpen op een volledig menselijke manier (of zelfs onmenselijk omdat hij meer weet dan een normaal mens), in staat zijn om gecompliceerde instructies te voltooien en de ruggengraat te vormen van virtuele assistenten die in principe alles kunnen doen wat een menselijke assistent zou kunnen, om nog maar te zwijgen van de verschillende zakelijke contexten op gebieden als verkoop, marketing en programmeren.

Al tientallen jaren voorspellen mensen een op handen zijnde opkomst van true kunstmatige intelligentie. Voor het eerst lijken deze extrapolaties me niet zo vergezocht. Kernverbeteringen aan onze deep learning-architecturen zijn vrijwel zeker nog steeds vereist, maar de basisbouwstenen lijken aanwezig te zijn, en een geëxtrapoleerd rekenbudget lijkt binnen het bereik van grote bedrijven en overheden, ongeacht wat verdere hardware-vooruitgang zou kunnen brengen.

follow:
admin

admin

Related Posts

Een korte geschiedenis van gegevensbeheer

Datamanagement is de organisatie van gegevens, de stappen die worden gebruikt om efficiëntie te bereiken en informatie uit die gegevens

Datakans klopt! Moet je antwoorden?

Klik voor meer informatie over auteur Kartik Patel. Als zakenmensen krijgen we vaak te maken met wat misschien een geweldige

Een korte geschiedenis van gegevensbeheer

Datamanagement is de organisatie van gegevens, de stappen die worden gebruikt om efficiëntie te bereiken en informatie uit die gegevens

Datakans klopt! Moet je antwoorden?

Klik voor meer informatie over auteur Kartik Patel. Als zakenmensen krijgen we vaak te maken met wat misschien een geweldige