Wanneer bedrijven voor het eerst kunstmatige intelligentie gaan inzetten en machine learning-projecten bouwen, ligt de nadruk meestal op de theorie. Is er een model dat de nodige resultaten kan opleveren? Hoe kan het worden gebouwd? Hoe kan er getraind worden?
Maar de tools die datawetenschappers gebruiken om deze proof-of-concept te maken, vertalen zich vaak niet goed in productiesystemen. Als gevolg hiervan kan het volgens IDC-gegevens gemiddeld meer dan negen maanden duren om een AI- of ML-oplossing te implementeren.
“We noemen dit ‘modelsnelheid’, de tijd die nodig is van begin tot eind”, zegt IDC-analist Sriram Subramanian.
Dit is waar MLOps om de hoek komt kijken. MLOps – machine learning-operaties – is een reeks best practices, frameworks en tools die bedrijven helpen bij het beheren van gegevens, modellen, implementatie, monitoring en andere aspecten van het nemen van een theoretisch proof-of-concept AI-systeem en aan het werk zetten.
“MLOps brengt de modelsnelheid terug naar weken – soms dagen”, zegt Subramanian. “Net zoals de gemiddelde tijd om een applicatie te bouwen wordt versneld met DevOps, daarom heb je MLOps nodig.”
Door MLOps toe te passen, zegt hij, kunnen bedrijven meer modellen bouwen, sneller innoveren en meer use-cases aanpakken. “De waardepropositie is duidelijk”, zegt hij.
IDC voorspelt dat in 2024 60% van de ondernemingen hun ML-workflows geoperationaliseerd zou hebben door gebruik te maken van MLOps. En toen bedrijven werden ondervraagd over de uitdagingen van AI- en ML-adoptie, was het ontbreken van MLOps een groot obstakel voor AI- en ML-adoptie, de tweede plaats alleen om de kosten, zegt Subramanian.
Hier onderzoeken we wat MLOP’s zijn, hoe het is geëvolueerd en wat organisaties moeten bereiken en in gedachten houden om het meeste te halen uit deze opkomende methodologie voor het operationaliseren van AI.
De evolutie van MLOps
Toen Eugenio Zuccarelli enkele jaren geleden voor het eerst begon met het bouwen van machine learning-projecten, was MLOps slechts een reeks best practices. Sindsdien heeft Zuccarelli bij verschillende bedrijven aan AI-projecten gewerkt, waaronder die in de gezondheidszorg en financiële dienstverlening, en hij heeft MLOps in de loop van de tijd zien evolueren met tools en platforms.
Tegenwoordig biedt MLOps een redelijk robuust raamwerk voor het operationaliseren van AI, zegt Zuccarelli, die nu innovatiedatawetenschapper is bij CVS Health. Zuccarelli wijst bijvoorbeeld op een project waaraan hij eerder werkte om een app te maken die nadelige uitkomsten zou voorspellen, zoals heropname in het ziekenhuis of ziekteprogressie.
“We waren datasets en modellen aan het onderzoeken en spraken met artsen om de kenmerken van de beste modellen te achterhalen”, zegt hij. “Maar om deze modellen echt bruikbaar te maken, moesten we ze voor echte gebruikers brengen.”
Dat betekende het creëren van een mobiele app die betrouwbaar, snel en stabiel was, met een machine learning-systeem aan de achterkant verbonden via API. “Zonder MLOps hadden we dat niet kunnen garanderen”, zegt hij.
Zijn team gebruikte het H2O MLOps-platform en andere tools om een gezondheidsdashboard voor het model te maken. “Je wilt niet dat het model substantieel verschuift”, zegt hij. “En je wilt geen vooringenomenheid introduceren. Het gezondheidsdashboard laat ons zien of het systeem is verschoven.”
Het gebruik van een MLOps-platform maakte ook updates van productiesystemen mogelijk. “Het is erg moeilijk om een bestand uit te wisselen zonder dat de app stopt met werken”, zegt Zuccarelli. “MLOps-tools kunnen een systeem verwisselen, ook al is het in productie, met minimale verstoring van het systeem zelf.”
Naarmate MLOps-platforms volwassener worden, versnellen ze het hele modelontwikkelingsproces omdat bedrijven niet bij elk project het wiel opnieuw hoeven uit te vinden, zegt hij. En de functionaliteit voor datapijplijnbeheer is ook van cruciaal belang voor het operationaliseren van AI.
“Als we meerdere databronnen hebben die met elkaar moeten praten, dan kunnen MLOps erbij komen”, zegt hij. “Je wilt dat alle gegevens die naar de ML-modellen stromen, consistent en van hoge kwaliteit zijn. Zoals ze zeggen: afval erin, afval eruit. Als het model slechte informatie heeft, is de voorspelling zelf ook slecht.”
Basisprincipes van MLOps: een bewegend doel
Maar denk niet alleen omdat platforms en tools beschikbaar komen dat je de kernprincipes van MLOps kunt negeren. Ondernemingen die net beginnen over te stappen naar deze discipline, moeten er rekening mee houden dat MLOps in de kern gaat over het creëren van sterke verbindingen tussen datawetenschap en data-engineering.
“Om het succes van een MLOps-project te garanderen, heb je zowel data-ingenieurs als datawetenschappers in hetzelfde team nodig”, zegt Zuccarelli.
Bovendien zijn de tools die nodig zijn om te beschermen tegen vooringenomenheid, om transparantie te garanderen, om uitleg te bieden en om ethische platforms te ondersteunen – deze tools worden nog steeds gebouwd, zegt hij. “Er is zeker nog veel werk aan de winkel omdat het zo’n nieuw vakgebied is.”
Dus zonder een volledige kant-en-klare oplossing om te adopteren, moeten ondernemingen vertrouwd zijn met alle facetten die MLOps zo effectief maken in het operationaliseren van AI. En dit betekent het ontwikkelen van expertise in een breed scala aan activiteiten, zegt Meagan Gentry, nationale praktijkmanager voor het AI-team bij Insight, een in Tempe gevestigd technologieadviesbureau.
MLOps bestrijkt het volledige gamma van gegevensverzameling, verificatie en analyse tot het beheer van machinebronnen en het volgen van modelprestaties. En de tools die beschikbaar zijn om ondernemingen te helpen, kunnen on-premises, in de cloud of aan de rand worden ingezet. Ze kunnen open source of propriëtair zijn.
Maar het beheersen van de technische aspecten is slechts een deel van de vergelijking. MLOps leent ook een agile methodologie van DevOps en het principe van iteratieve ontwikkeling, zegt Gentry. Bovendien is communicatie, zoals bij elke agile-gerelateerde discipline, cruciaal.
“Communicatie in elke rol is van cruciaal belang”, zegt ze. “Communicatie tussen de data scientist en de data engineer. Communicatie met de DevOps en met het grotere IT-team.”
Voor bedrijven die net beginnen, kunnen MLOps verwarrend zijn. Er zijn algemene principes, tientallen leveranciers en nog meer open-source toolsets.
“Hier komen de valkuilen om de hoek kijken”, zegt Helen Ristov, senior manager enterprise-architectuur bij Capgemini Americas. “Veel hiervan is in ontwikkeling. Er is geen formele set richtlijnen zoals je zou zien bij DevOps. Het is een ontluikende technologie en het kost tijd om richtlijnen en beleid in te halen.”
Ristov raadt bedrijven aan om hun MLOps-reizen te starten met hun dataplatforms. “Misschien hebben ze datasets, maar ze wonen op verschillende locaties, maar ze hebben geen samenhangende omgeving”, zegt ze.
Bedrijven hoeven niet alle gegevens naar één platform te verplaatsen, maar er moet wel een manier zijn om gegevens uit verschillende gegevensbronnen binnen te halen, zegt ze, en dit kan per toepassing verschillen. Datameren werken goed voor bedrijven die veel analyses uitvoeren op hoge frequenties en die bijvoorbeeld op zoek zijn naar goedkope opslag.
MLOps-platforms worden over het algemeen geleverd met tools om gegevenspijplijnen te bouwen en te beheren en om verschillende versies van trainingsgegevens bij te houden, maar het is niet persé en ga, zegt ze.
Dan is er het maken van modellen, versiebeheer, logging, het wegen van de functiesets en andere aspecten van het beheren van de modellen zelf.
“Er komt een aanzienlijke hoeveelheid codering bij kijken”, zegt Ristov, eraan toevoegend dat het opzetten van een MLOps-platform maanden kan duren en dat platformleveranciers nog veel werk te doen hebben als het gaat om integratie.
“Er is zoveel ontwikkeling in verschillende richtingen”, zegt ze. “Er worden veel tools ontwikkeld en het ecosysteem is erg groot en mensen kiezen gewoon wat ze nodig hebben. MLOps bevindt zich in een adolescente fase. De meeste organisaties zijn nog bezig met het bedenken van optimale configuraties.”
Het MLOps-landschap begrijpen
De MLOps-markt zal naar verwachting groeien tot ongeveer $ 700 miljoen in 2025, een stijging van ongeveer $ 185 miljoen in 2020, zegt IDC’s Subramanian. Maar dat is waarschijnlijk een forse ondertelling, zegt hij, omdat MLOps-producten vaak worden gebundeld met grotere platforms. De werkelijke omvang van de markt, zegt hij, zou tegen 2025 meer dan $ 2 miljard kunnen bedragen.
MLOps-leveranciers vallen meestal in drie categorieën, te beginnen met de grote cloudproviders, waaronder AWS, Azure en Google cloud, die MLOps-mogelijkheden als een service bieden, zegt Subramanian.
Dan zijn er ML-platformleveranciers zoals DataRobot, Dataiku en Iguazio.
“De derde categorie is wat ze vroeger leveranciers van gegevensbeheer noemden”, zegt hij. “Zoals Cloudera, SAS en DataBricks. Hun kracht was databeheermogelijkheden en databewerkingen en ze breidden zich uit naar ML-mogelijkheden en uiteindelijk naar MLOps-mogelijkheden.”
Alle drie de gebieden exploderen, zegt Subramanian, eraan toevoegend dat wat een MLOps-leverancier onderscheidt, is of ze zowel on-prem als cloudimplementatiemodellen kunnen ondersteunen, of ze betrouwbare en verantwoorde AI kunnen implementeren, of ze plug-and-play zijn en hoe gemakkelijk ze kunnen schalen. “Daar komt differentiatie om de hoek kijken”, zegt hij.
Volgens een recente IDC-enquête was het gebrek aan methoden om verantwoorde AI te implementeren een van de drie grootste obstakels voor de acceptatie van AI en ML, op de tweede plaats met het ontbreken van MLOps zelf.
Dit komt grotendeels omdat er geen alternatieven zijn voor het omarmen van MLOps, zegt Sumit Agarwal, onderzoeksanalist AI en machine learning bij Gartner.
“De andere benaderingen zijn handmatig”, zegt hij. “Dus eigenlijk is er geen andere optie. Als je wilt schalen, heb je automatisering nodig. Je hebt traceerbaarheid nodig van je code, data en modellen.”
Volgens een recent onderzoek van Gartner is de gemiddelde tijd die nodig is om een model van proof of concept tot productie te brengen, gedaald van negen naar 7,3 maanden. “Maar 7,3 maanden is nog steeds hoog”, zegt Agarwal. “Er zijn veel mogelijkheden voor organisaties om te profiteren van MLOps.”
De culturele verschuiving naar MLOps maken
MLOps vereist ook een culturele verandering van de kant van het AI-team van een bedrijf, zegt Amaresh Tripathy, wereldleider op het gebied van analytics bij Genpact.
“Het populaire beeld van een datawetenschapper is een gekke wetenschapper die een speld in een hooiberg probeert te vinden”, zegt hij. “De datawetenschapper is een ontdekker en ontdekkingsreiziger – geen fabrieksvloer die widgets produceert. Maar dat is wat je moet doen om het echt op te schalen.”
En bedrijven onderschatten vaak hoeveel moeite het kost, zegt hij.
“Mensen waarderen software-engineering beter”, zegt hij. “Er is veel discipline over gebruikerservaring, vereisten. Maar op de een of andere manier denken mensen niet dat als ik een model implementeer, ik hetzelfde proces moet doorlopen. Dan is er nog de fout in de veronderstelling dat alle datawetenschappers die goed zijn in een testomgeving heel natuurlijk zullen gaan en deze zouden kunnen implementeren, of ze kunnen een paar IT-collega’s erbij halen en het kunnen doen. Er is een gebrek aan waardering voor wat ervoor nodig is.”
Bedrijven begrijpen ook niet dat MLOp’s rimpeleffecten kunnen veroorzaken in andere delen van het bedrijf, wat vaak tot ingrijpende veranderingen kan leiden.
“Je kunt MLOps in een callcenter plaatsen en de gemiddelde responstijd zal zelfs toenemen omdat de gemakkelijke dingen worden afgehandeld door de machine, door de AI, en de dingen die naar de mens gaan, duurt eigenlijk langer omdat het complexer is”, hij zegt. “Dus je moet heroverwegen wat het werk zal zijn, en welke mensen je nodig hebt, en wat de vaardigheden zouden moeten zijn.”
Tegenwoordig, zegt hij, wordt minder dan 5% van de beslissingen in een organisatie gestuurd door algoritmen, maar dat verandert snel. “We verwachten dat 20 tot 25% van de beslissingen de komende vijf jaar door algoritmen zullen worden gestuurd. Bij elke statistiek waar we naar kijken, bevinden we ons op een keerpunt van snelle opschaling voor AI.”
En MLOps is het cruciale stuk, zegt hij.
“Honderd procent”, zegt hij. “Zonder dat kun je AI niet consistent doen. MLOps is de schaalkatalysator van AI in de onderneming.”
