De CEO van Nvidia, Jensen Huang, zegt dat de prestaties van de AI-chips van zijn bedrijf sneller vooruitgaan dan de historische normen die zijn vastgesteld door de wet van Moore, de richtlijn die decennialang de vooruitgang in de computing heeft gestimuleerd.
“Onze systemen vorderen veel sneller dan de wet van Moore,” zei Huang in een interview met NewsByGeek op dinsdag, de ochtend nadat hij een keynote had gegeven voor een publiek van 10.000 mensen op CES in Las Vegas.
De term “wet van Moore” werd in 1965 bedacht door Gordon Moore, mede-oprichter van Intel. Deze wet voorspelde dat het aantal transistors op computerchips ongeveer elk jaar zou verdubbelen, wat in feite de prestaties van die chips verdubbelde. Deze voorspelling is grotendeels uitgekomen en heeft geleid tot snelle verbeteringen in capaciteiten en dalende kosten gedurende decennia.
In de afgelopen jaren is de wet van Moore echter vertraagd. Huang beweert echter dat de AI-chips van Nvidia zich in een versneld tempo ontwikkelen; het bedrijf zegt dat de nieuwste superchip voor datacenters meer dan 30 keer sneller is in het uitvoeren van AI-inferentieworkloads dan de vorige generatie.
“We kunnen de architectuur, de chip, het systeem, de bibliotheken en de algoritmen allemaal tegelijk bouwen,” zei Huang. “Als je dat doet, dan kun je sneller bewegen dan de wet van Moore, omdat je over de hele stack kunt innoveren.”
De gedurfde bewering van de CEO van Nvidia komt op een moment dat velen zich afvragen of de vooruitgang in AI is gestagneerd. Vooruitstrevende AI-laboratoria – zoals Google, OpenAI en Anthropic – maken gebruik van de AI-chips van Nvidia om hun AI-modellen te trainen en uit te voeren, en verbeteringen aan deze chips zouden waarschijnlijk vertaald worden naar verdergaande vooruitgang in de mogelijkheden van AI-modellen.
Huang verwerpt het idee dat de vooruitgang in AI vertraagt. In plaats daarvan claimt hij dat er nu drie actieve AI-schaallaws zijn: pre-training, de initiële trainingsfase waarin AI-modellen patronen leren van grote hoeveelheden data; post-training, waarbij de antwoorden van een AI-model worden verfijnd met methoden zoals menselijke feedback; en test-time compute, dat plaatsvindt tijdens de inferentiefase en een AI-model meer tijd geeft om na te denken na elke vraag.
“De wet van Moore was zo belangrijk in de geschiedenis van computing omdat het de kosten van computing verlaagde,” vertelde Huang aan NewsByGeek. “Hetzelfde gaat gebeuren met inferentie, waarbij we de prestaties verhogen, en als gevolg daarvan zullen de kosten van inferentie lager zijn.”
(Natuurlijk is Nvidia de meest waardevolle onderneming ter wereld geworden door de AI-boom, dus het is voordelig voor Huang om dit te zeggen.)
De H100s van Nvidia waren de favoriete chips voor technologiebedrijven die AI-modellen willen trainen, maar nu technologiebedrijven zich meer richten op inferentie, vragen sommigen zich af of de dure chips van Nvidia nog steeds aan de top zullen blijven.
AI-modellen die gebruik maken van test-time computing zijn duur om vandaag de dag uit te voeren. Er is bezorgdheid dat het o3-model van OpenAI, dat gebruikmaakt van een opgeschaalde versie van test-time compute, te duur zou zijn voor de meeste mensen. Bijvoorbeeld, OpenAI gaf bijna $20 per taak uit met o3 om scores op menselijk niveau te bereiken op een test van algemene intelligentie. Een ChatGPT Plus-abonnement kost $20 voor een maandgebruik.
Huang hield de nieuwste superchip van Nvidia, de GB200 NVL72, tijdens de keynote omhoog als een schild. Deze chip is 30 tot 40 keer sneller in het uitvoeren van AI-inferentieworkloads dan de best verkopende chips van Nvidia, de H100. Huang zegt dat deze prestatieverbetering betekent dat AI-redeneringsmodellen zoals het o3-model van OpenAI, dat veel rekenkracht verbruikt tijdens de inferentiefase, in de loop van de tijd goedkoper zullen worden.
Huang zegt dat hij zich in het algemeen richt op het creëren van chips met betere prestaties, en dat betere chips op de lange termijn lagere prijzen creëren.
“De directe en onmiddellijke oplossing voor test-time compute, zowel in prestaties als in prijs betaalbaarheid, is om onze rekencapaciteit te verhogen,” vertelde Huang aan NewsByGeek. Hij merkte op dat AI-redeneringsmodellen op lange termijn kunnen worden gebruikt om betere data te creëren voor de pre-training en post-training van AI-modellen.
We hebben zeker gezien dat de prijzen van AI-modellen het afgelopen jaar zijn gedaald, deels als gevolg van doorbraken in het rekenvermogen van hardwarebedrijven zoals Nvidia. Huang zegt dat dit een trend is die hij verwacht te blijven zien met AI-redeneringsmodellen, ook al zijn de eerste versies die we van OpenAI hebben gezien behoorlijk duur geweest.
Meer in het algemeen beweerde Huang dat zijn AI-chips vandaag 1.000 keer beter zijn dan wat het bedrijf 10 jaar geleden maakte. Dat is een veel sneller tempo dan de standaard die werd vastgesteld door de wet van Moore, die Huang zegt geen tekenen van vertraging te zien.