Wat is DataOps?
DataOps (data operations) is een flexibele, procesgerichte methodologie voor het ontwikkelen en leveren van analyses. Het brengt DevOps-teams samen met data-engineers en datawetenschappers om de tools, processen en organisatiestructuren te bieden om de datagerichte onderneming te ondersteunen. Onderzoeksbureau Gartner beschrijft de methodologie verder als een methode gericht op “het verbeteren van de communicatie, integratie en automatisering van datastromen tussen datamanagers en dataconsumenten in een organisatie.”
DataOps-doelen
Volgens Dataversity is het doel van DataOps het stroomlijnen van het ontwerp, de ontwikkeling en het onderhoud van applicaties op basis van data en data-analyse. Het probeert de manier waarop gegevens worden beheerd en producten worden gemaakt, te verbeteren en deze verbeteringen af te stemmen op de doelstellingen van het bedrijf. Volgens Gartner streeft DataOps er ook naar “om sneller waarde te leveren door voorspelbare levering en wijzigingsbeheer van data, datamodellen en gerelateerde artefacten te creëren.”
DataOps versus DevOps
DevOps is een softwareontwikkelingsmethodologie die zorgt voor continue levering aan de levenscyclus van systeemontwikkeling door ontwikkelingsteams en operationele teams te combineren tot één eenheid die verantwoordelijk is voor een product of dienst. DataOps bouwt voort op dat concept door dataspecialisten toe te voegen — data-analisten, data-ontwikkelaars, data-ingenieurs en/of data-wetenschappers — om zich te concentreren op de gezamenlijke ontwikkeling van datastromen en het continue gebruik van data in de hele organisatie.
DataKitchen, gespecialiseerd in DataOps-waarnemings- en automatiseringssoftware, beweert dat DataOps niet simpelweg “DevOps voor gegevens” is. Hoewel beide praktijken gericht zijn op het versnellen van de ontwikkeling van software (software die gebruikmaakt van analyse in het geval van DataOps), moet DataOps tegelijkertijd gegevensbewerkingen beheren.
DataOps-principes
Net als DevOps haalt DataOps zijn signalen uit de agile-methodiek. De aanpak waardeert continue levering van analytische inzichten met als primair doel de klant tevreden te stellen.
Volgens het DataOps-manifest hechten DataOps-teams waarde aan analyses die werken, door de prestaties van data-analyses te meten aan de hand van de inzichten die ze leveren. DataOps-teams omarmen ook verandering en proberen voortdurend de veranderende klantbehoeften te begrijpen. Ze organiseren zichzelf rond doelen en proberen ‘heldhaftigheid’ te verminderen ten gunste van duurzame en schaalbare teams en processen.
DataOps-teams proberen ook data, tools, code en omgevingen van begin tot eind te orkestreren, met als doel reproduceerbare resultaten te bieden. Dergelijke teams hebben de neiging analytische pijplijnen te beschouwen als analoog aan gestroomlijnde productielijnen en reflecteren regelmatig op feedback van klanten, teamleden en operationele statistieken.
Waar DataOps past
Bedrijven injecteren tegenwoordig steeds vaker machine learning in een breed scala aan producten en diensten en DataOps is een benadering die is gericht op het ondersteunen van de end-to-end behoeften van machine learning.
“Deze stijl maakt het bijvoorbeeld haalbaarder voor datawetenschappers om de ondersteuning van software-engineering te hebben om te bieden wat nodig is wanneer modellen tijdens de implementatie aan operaties worden overgedragen”, schrijven Ted Dunning en Ellen Friedman in hun boek: Machine Learning-logistiek.
“De DataOps-aanpak beperkt zich niet tot machine learning”, voegen ze eraan toe. “Deze organisatiestijl is handig voor elk datagericht werk, waardoor het gemakkelijker wordt om te profiteren van de voordelen die worden geboden door het bouwen van een wereldwijd gegevensweefsel.”
Ze merken ook op dat DataOps goed past bij microservices-architecturen.
DataOps in de praktijk
Om het meeste uit DataOps te halen, moeten ondernemingen hun strategieën voor gegevensbeheer ontwikkelen om op grote schaal met gegevens om te gaan en te reageren op real-world gebeurtenissen terwijl ze zich voordoen, aldus Dunning en Friedman.
Omdat DataOps voortbouwt op DevOps, zijn cross-functionele teams die dwars door “vaardigheidsgilden” heen gaan, zoals operaties, software-engineering, architectuur en planning, productbeheer, data-analyse, data-ontwikkeling en data-engineering, essentieel, en DataOps-teams moeten worden beheerd in manieren die zorgen voor meer samenwerking en communicatie tussen ontwikkelaars, operationele professionals en data-experts.
Volgens Dunning kunnen datawetenschappers ook worden opgenomen als belangrijke leden van DataOps-teams. “Ik denk dat het belangrijkste wat je hier moet doen, is om niet vast te houden aan de meer traditionele Ivory Tower-organisatie waar datawetenschappers gescheiden leven van ontwikkelteams”, zegt hij. “De belangrijkste stap die je kunt zetten, is om datascientists daadwerkelijk in te bedden in een DevOps-team. Als ze in dezelfde kamer wonen, dezelfde maaltijden eten, dezelfde klachten horen, zullen ze vanzelf op één lijn komen te staan.”
Maar Dunning merkt ook op dat datawetenschappers misschien niet permanent ingebed hoeven te zijn in een DataOps-team.
“Meestal zit er een tijdje een datawetenschapper in het team”, zegt Dunning. “Hun capaciteiten en gevoeligheden beginnen af te nemen. Iemand in het team neemt dan de rol van data-engineer op zich en een soort low-budget datawetenschapper. De feitelijke datawetenschapper die in het team is ingebed, gaat dan verder. Het is een vloeiende situatie.”
Hoe u een DataOps-team opbouwt
De meeste op DevOps gebaseerde ondernemingen hebben al de kern van een DataOps-team bij de hand. Zodra ze projecten hebben geïdentificeerd die data-intensieve ontwikkeling nodig hebben, hoeven ze alleen maar iemand met datatraining aan het team toe te voegen. Vaak is die persoon eerder een data-engineer dan een datawetenschapper. DataKitchen raadt organisaties aan om DataOps-ingenieurs te zoeken die gespecialiseerd zijn in het creëren en implementeren van de processen die teamwerk binnen dataorganisaties mogelijk maken. Deze personen ontwerpen de orkestraties die het werk van ontwikkeling naar productie laten stromen en zorgen ervoor dat hardware, software, gegevens en andere bronnen op aanvraag beschikbaar zijn.
Veel teams zijn samengesteld uit individuen met overlappende vaardigheden, of individuen kunnen meerdere rollen op zich nemen bij een DataOps-team, afhankelijk van hun expertise.
Volgens Michele Goetz, vice-president en hoofdanalist bij Forrester, zijn enkele van de belangrijkste expertisegebieden van DataOps-teams:
- Databanken
- Integratie
- Gegevens om orkestratie te verwerken
- Implementatie van gegevensbeleid
- Gegevens- en modelintegratie
- Gegevensbeveiliging en privacycontroles
Ongeacht de samenstelling moeten DataOps-teams een gemeenschappelijk doel delen: de datagestuurde behoeften van de services die ze ondersteunen.
DataOps-rollen
Volgens Goetz omvatten DataOps-teamleden:
- Dataspecialisten, die het datalandschap en best practices op het gebied van ontwikkeling ondersteunen
- Data-engineers, die ad-hoc- en systeemondersteuning bieden voor BI, analyse en zakelijke toepassingen
- Principal data engineers, dit zijn ontwikkelaars die werken aan product- en klantgerichte deliverables
DataOps-salarissen
Hier zijn enkele van de meest populaire functietitels met betrekking tot DataOps en het gemiddelde salaris voor elke functie, volgens gegevens van PayScale:
Hieronder volgen enkele van de meest populaire DataOps-tools:
- Census: een operationeel analyseplatform gespecialiseerd voor reverse ETL, het proces van het synchroniseren van gegevens van een bron van waarheid (zoals een datawarehouse) naar eerstelijnssystemen zoals CRM, advertentieplatforms, enz.
- Databricks Lakehouse Platform: een datamanagementplatform dat datawarehousing en AI-use cases verenigt
- Datafold: een datakwaliteitsplatform voor het opsporen en oplossen van datakwaliteitsproblemen
- DataKitchen: een dataobservatie- en automatiseringsplatform dat end-to-end datapijplijnen met meerdere tools en meerdere omgevingen orkestreert
- Dbt: een tool voor gegevenstransformatie voor het maken van gegevenspijplijnen
- Tengu: een DataOps-orkestratieplatform voor gegevens- en pijplijnbeheer
