Hoewel ze al jaren bestaan, heeft de uitdrukking “MLPerf-benchmarks” weinig betekenis voor de meeste mensen buiten de AI-ontwikkelaarsgemeenschap. Deze door de gemeenschap aangestuurde benchmarksuite, die de prestaties van een breed scala aan machine learning (ML)-taken meet, wordt echter snel de gouden standaard voor de eerlijke en onbevooroordeelde beoordeling van versnelde computeroplossingen voor machine learning-training, inferentie en hoge prestaties computergebruik (HPC).
Het tijdperk van MLPerf is aangebroken en iedereen zou moeten opletten.
Organisaties in elke branche racen om te profiteren van AI en machine learning om hun bedrijf te verbeteren. Volgens Karl Freund, oprichter en hoofdanalist bij Cambrian AI Research, mogen bedrijven verwachten dat de vraag van klanten naar AI-versnelde resultaten zal blijven groeien.
“We voorzien dat AI endemisch wordt en aanwezig is in elke digitale toepassing in datacenters, de edge en consumentenapparaten”, zegt Freund. “AI-acceleratie is straks geen optie meer. Het zal nodig zijn op elke server, desktop, laptop en mobiel apparaat.”
Maar het selecteren van de juiste oplossingen – oplossingen die de energie-efficiëntie, levensduur en schaalbaarheid maximaliseren – kan moeilijk zijn in het licht van honderden, zo niet duizenden hardware-, software- en netwerkopties voor versnelde computersystemen.
Met deze snelle groei in de sector, in combinatie met de complexiteit van het bouwen van een moderne AI/ML-workflow, zijn leiders uit zowel de industrie als de academische wereld samengekomen om een eerlijke, onbevooroordeelde manier te creëren om de prestaties van AI-systemen te meten: MLPerf.
Beheerd door MLCommons, een brancheconsortium met meer dan 100 leden, wordt MLPerf gebruikt door hardware- en softwareleveranciers om de prestaties van AI-systemen te meten. En omdat het de missie van MLPerf is om “eerlijke en bruikbare benchmarks te bouwen” die onpartijdige evaluaties van training en inferentieprestaties bieden onder voorgeschreven omstandigheden, kunnen eindklanten op deze resultaten vertrouwen om architecturale keuzes voor hun AI-systemen te informeren.
MLPerf evolueert ook voortdurend om de state-of-the-art in AI te vertegenwoordigen, met regelmatige updates van de netwerken en datasets, en een regelmatige cadans van publicatie van resultaten.
MLPerf-benchmarks gedeconstrueerd
Ondanks de talrijke voordelen hebben de resultaten van de MLPerf-benchmarkrondes niet de aandacht getrokken die men zou verwachten gezien de snelle industriebrede acceptatie van AI-oplossingen. De reden hiervoor is simpel: het interpreteren van MLPerf-resultaten is moeilijk en vereist aanzienlijke technische expertise om te ontleden.
De resultaten van elke ronde van MLPerf worden gerapporteerd in spreadsheets met meerdere pagina’s en ze bevatten een stortvloed aan hardwareconfiguratie-informatie zoals CPU-type, het aantal CPU-sockets, versnellertype en -telling en systeemgeheugencapaciteit.
Maar ondanks de complexiteit bevatten de resultaten cruciale inzichten die leidinggevenden kunnen helpen bij het navigeren door de aankoopbeslissingen die gepaard gaan met het uitvoeren of uitbreiden van de AI-infrastructuur van een organisatie.
Om te beginnen zijn er vijf verschillende MLPerf-benchmarksuites: MLPerf Training, MLPerf Inference en MLPerf HPC, met onlangs ook aanvullende categorieën MLPerf Mobile en MLPerf Tiny. Elk jaar zijn er twee inzendingsrondes voor MLPerf Training en MLPerf Inference, en één ronde voor MLPerf HPC.
De nieuwste editie van MLPerf Training – MLPerf Training v1.1 – bestaat uit acht benchmarks die veel van de meest voorkomende AI-workloads vertegenwoordigen, waaronder aanbevelingssystemen, natuurlijke taalverwerking, versterkend leren, computervisie en andere. De benchmarksuite meet de tijd die nodig is om deze AI-modellen te trainen; hoe sneller een nieuw AI-model kan worden getraind, hoe sneller het kan worden ingezet om bedrijfswaarde te leveren.
Nadat een AI-model is getraind, moet het aan het werk worden gezet om bruikbare voorspellingen te doen. Dat is de rol van inferentie, en MLPerf Inference v1.1 bestaat uit zeven benchmarks die inferentieprestaties meten in een reeks populaire gebruiksscenario’s, waaronder natuurlijke taalverwerking, spraak-naar-tekst, medische beeldvorming, objectdetectie, en meer. Het algemene doel is om prestatie-inzichten te leveren voor twee veelvoorkomende implementatiesituaties: datacenter en edge.
En ten slotte, aangezien HPC en AI snel convergeren, is MLPerf HPC een suite van drie use-cases die zijn ontworpen om AI-trainingsprestaties te meten voor modellen met toepasbaarheid op wetenschappelijke werklasten, met name astrofysica, klimaatwetenschap en moleculaire dynamica.
Gegevensgestuurde beslissingen nemen
Bij het doen van grootschalige technologie-investeringen is het hebben van betrouwbare gegevens van cruciaal belang om tot een goede beslissing te komen. Dit kan een uitdaging zijn wanneer veel hardwareleveranciers prestatieclaims maken zonder voldoende details over de werklast, hardware en software die ze hebben gebruikt. MLPerf gebruikt best practices voor benchmarking om peer-reviewed, doorgelichte en gedocumenteerde prestatiegegevens te presenteren over een breed scala aan industriestandaard workloads, waar systemen direct kunnen worden vergeleken om te zien hoe ze het echt doen. MLPerf-gegevens uit de benchmarks moeten deel uitmaken van elk platformevaluatieproces om giswerk op het gebied van prestaties en veelzijdigheid uit de implementatiebeslissingen van oplossingen te verwijderen.
Leer meer over AI en HPC van de experts van NVIDIA GTC
Veel onderwerpen met betrekking tot MLPerf zullen worden besproken – en NVIDIA-partners die betrokken zijn bij de benchmarks zullen ook deelnemen – op NVIDIA’s gratis, virtuele GTC-evenement, dat plaatsvindt van 21-24 maart en met meer dan 900 sessies met 1.400 sprekers.
Voor meer informatie over versneld computergebruik en de rol van MLPerf, kunt u zich aanmelden om deel te nemen aan het gratis, virtuele GTC-evenement van experts NVIDIA, dat plaatsvindt van 21-24 maart en meer dan 900 sessies biedt met 1.400 sprekers die praten over AI, versnelde datacenters, HPC en grafiek.
Topsessies zijn onder meer:
Versnel uw AI- en HPC-reis op Google Cloud (gepresenteerd door Google Cloud) [session S42583]
HPC- en deep-learningrecords instellen in de cloud met Azure [session S41640]
NVIDIA nnU-Net reviseren voor topprestaties op het gebied van medische beeldsegmentatie [session S41109]
Merlin HugeCTR: GPU-versnelde aanbevelingssysteemtraining en -inferentie [session S41352]
Hoe u een miljoen keer snellere prestaties in datacenters kunt realiseren [session S41886]
Een diepe duik in de nieuwste HPC-software [session S41494]
