Klik voor meer informatie over auteur Sowmya Tejha Kandregula.
Volgens IDCwordt verwacht dat de omvang van de wereldwijde datasfeer tegen 2025 163 ZB zal bereiken, wat leidt tot de ongelijksoortige databronnen in legacysystemen, nieuwe systeemimplementaties en de creatie van datameren en datawarehouses. De meeste organisaties gebruiken niet alle gegevens waarover zij beschikken voor strategische en uitvoerende besluitvorming.
Het identificeren, classificeren en analyseren van gegevens is in het verleden afhankelijk geweest van handmatige processen en verbruikt daarom in het huidige tijdperk veel middelen met betrekking tot tijd en geld. Het definiëren van metagegevens voor de gegevens die eigendom zijn van de organisatie, is de eerste stap om het maximale potentieel van de organisatiegegevens te ontketenen.
De talrijke gegevenstypen en gegevensbronnen die in de loop van de tijd in verschillende systemen en technologieën zijn ingebed, zijn zelden ontworpen om samen te werken. Zo kunnen de applicaties of modellen die worden gebruikt op meerdere datatypes en databronnen mogelijk in gevaar komen, waardoor onnauwkeurige analyses en conclusies ontstaan.
Consistentie tussen de gegevens is de enige manier om ervoor te zorgen dat de conclusies waartoe de analyse is gekomen, uitvoerbaar en nauwkeurig zijn, ongeacht de structuur of locatie van de gegevens. Bovendien zijn het beleid en de processen die zijn ontworpen om informatie en de metagegevens ervan te beheren bij het definiëren en controleren van de toegang tot de gegevens, van cruciaal belang voor de bescherming van gevoelige gegevens.
Eigenlijk, metadata kan worden gedefinieerd als gegevens over gegevens. Het wordt elke keer gegenereerd wanneer gegevens bij een bron worden vastgelegd, door een organisatiestructuur worden verplaatst, geïntegreerd met andere gegevens uit andere bronnen, geprofileerd, opgeschoond, geanalyseerd of geopend door gebruikers. Metadata is waardevol omdat het informatie vastlegt over de attributen van data-elementen die kunnen worden gebruikt om strategische en operationele besluitvorming te sturen. Metadatabeheer helpt gebruikers doorgaans:
- Ontdek en definieer data
- Verzamel en consolideer metadata uit verschillende databeheerrepository’s in één enkele bron
- Structureer en implementeer fysieke metadata volgens specifieke datamodellen, zakelijke termen en herbruikbare ontwerpstandaarden
- Analyseer de gegevens met betrekking tot het bedrijf en de metadata ervan
- Bepaal waar u de gegevens wilt integreren en volg het traject en de transformatie ervan
- Beheer gegevens door standaarden, beleid en best practices te ontwikkelen en koppel ze aan gegevensactiva
- Stel belanghebbenden in staat om gegevens op één plek en in de context van hun rollen te beheren en analyseren
Metadatabeheer is het beheer van gegevens die de gegevens binnen een organisatie beschrijven, waarbij de nadruk wordt gelegd op associaties en afkomst. Het omvat het opstellen van beleid en zorgt voor een goed informatiebeheer en onderhoud. Metadatabeheer beantwoordt veel belangrijke vragen over de gegevens, waaronder:
- Welke gegevens kunnen we gebruiken?
- Waar kwam het vandaan?
- Waar is het nu?
- Is het getransformeerd sinds het oorspronkelijk werd gemaakt of vastgelegd?
- Wie is de eigenaar van de gegevens en wie mag deze gebruiken?
- Is het gevoelig en wat zijn de belangrijkste risico-indicatoren die aan de gegevens zijn gekoppeld?
- Zijn de gegevens van cruciaal belang voor de organisatie en welke kwaliteitsbeperkingen moeten erop worden toegepast?
Classificatie van metadata
De aard en waarde van metadata kunnen als complex worden gezien, waardoor organisaties het belang ervan niet inzien. Een belangrijk obstakel is de variatie in percepties van metadata binnen dezelfde organisatie. Dit leidt vaak tot onvolledige zichtbaarheid en toegang tot de datastroom van de organisatie. Een brede classificatie van de verschillende soorten metadata zou een macro-weergave opleveren van de informatie die de gegevensuniversum van de organisatie vult.
Gestructureerde metadata: Dit omvat informatie over de organisatie van de gegevens en wordt meestal geassocieerd met gestructureerde en semi-gestructureerde gegevensactiva zoals databases, CSV-bestanden en XML-objecten. Gestructureerde metagegevens documenteren hoe de gegevens eruit zien, inclusief namen van gegevenselementen die zijn toegewezen aan kolommen, beschrijvingen van gegevenselementen, de gegevenstypen, de lengte van elk gegevenselement en de bestandslay-out. Gestructureerde metagegevens omvatten ook tags, primaire sleutels, externe sleutels, evenals waardedomeinen voor de gegevenselementen.
Metadata van leverancier: Metadata van leveranciers is informatie die is gekoppeld aan de bronnen en leveranciers van bedrijfsgegevens. Het registreert de oorsprong van de gegevens, richtlijnen en beperkingen die de gegevens rijgen voordat ze worden gebruikt. Het definieert ook de eigenaar van de gegevens, service level agreements met betrekking tot het gebruik van gegevens en of er vereisten voor gegevensverbruik zijn. Metadata van leveranciers kan ook demografische informatie over het gegevensmiddel vastleggen, zoals de grootte, het aantal records, de productiedatum en de bron van herkomst van het gegevensmiddel.
Metadata verwerken: Metadata verwerken beschrijft de dataproductieprocessen in de organisatie. Het legt de gegevenslijn vast die de gegevenshops binnen de organisatie beschrijft, inclusief de gegevensbronnen van derden, de reeks transformaties die op de gegevens over de lijn worden toegepast, afleidingen van de gegevenselementen en de processtromen in termen van gegevenspijplijnen.
Metagegevens van zoekopdrachten: Metagegevens van zoekopdrachten omvatten informatie die verband houdt met de context en classificatie van de gegevensactiva en omvat een zakelijke woordenlijst met zakelijke termen en hun definities. Belangrijk is dat metagegevens van query’s ook categorieën, classificatietaxonomieën, referentiegegevens en stamgegevens bevatten die kunnen worden gebruikt om een semantische index op te bouwen die doorzoekbaar is op verschillende termen. Dit type metadata kan ook historische gebruiksdata bevatten die de soorten queries volgen die consumenten hebben uitgevoerd en hoe ze geselecteerde datasets hebben geselecteerd en vervolgens hebben gebruikt.
Metadata van gebruiker: Metagegevens van gebruikers bevatten informatie over gegevensgebruikers, de groepen waartoe ze behoren en de soorten rollen die ze spelen. Daarnaast worden in de metadata van de actor de data-eigenaren en datastewards vermeld die toezicht moeten houden op de kwaliteit en bruikbaarheid van het data-item.
Governance Metadata: Governancemetadata omvat regels en beleid voor dataretentie en datakwaliteit, evenals de regelgeving die wordt gebruikt om dataprotectie te implementeren, toegang en gebruik te beheren en verplichtingen na te leven die aan de dataset zijn toegewezen.
Basisprincipes van metadatabeheer
Hoewel er veel definities zijn van metadatabeheer, is de kernfunctionaliteit ervan om een belanghebbende in staat te stellen de belangrijkste kenmerken van gegevensactiva in een gegevenscatalogusinterface te zoeken en te identificeren.
Met een goed metadatabeheersysteem kunnen zakelijke gebruikers de bron van het data-attribuut en de berekende maat van het attribuut begrijpen. Ze zullen ook kunnen visualiseren in welke bedrijfssystemen in de organisatie het attribuut wordt gebruikt (Lineage) en wat de impact (Impactanalyse) is van het wijzigen van het attribuut, zoals de lengte van het attribuut naar andere systemen.
Technische gebruikers hebben ook behoefte aan Metadata Management. Door zakelijke metadata in kaart te brengen met technische metadata, kan een technische gebruiker erachter komen welke ETL-taak of databaseproces wordt gebruikt om gegevens in het attribuut te laden. Het eindresultaat van Metadata Management kan de vorm hebben van een andere ‘database’ van de metadata van sleutelattributen van het bedrijf. De brancheterm voor een dergelijke database zou een Gegevenscatalogus, of een woordenlijst of gegevensinventaris.
Rol van metadatabeheer
Een sterke Gegevensbeheer strategie maakt de datakwaliteitsregels mogelijk voor de zakelijke vereisten, datacatalogisering (integratie van datasets uit verschillende bronnen), mapping, versiebeheer, onderhoud van bedrijfsregels en woordenlijsten, en metadatabeheer (associaties en afkomst).
Een nauwkeurige weergave van het metagegevenslandschap van het bedrijf vermindert de wrijving in de toegankelijkheid en bruikbaarheid van gegevens, verbetert de algehele informatiekwaliteit en versnelt de digitale transformatie naarmate meer mensen uit de hele organisatie bedreven raken in rapportage en gegevensanalyse.
Dit is alleen mogelijk met tools voor metadatabeheer die gegevens van verschillende systemen in de organisatie kunnen vastleggen en identificeren, inclusief gegevens in rust zoals databases, datawarehouses en datameren en bewegende gegevens, aangezien deze in applicaties zijn geïntegreerd.
De volgende mogelijkheden zijn essentieel bij het creëren van een realtime gegevensopslagplaats, zodat alle belanghebbenden van de gegevensactiva toegang hebben tot de relevante gegevens die zijn geautoriseerd voor hun gebruik en de gewenste resultaten kunnen genereren:
- Reference Data Management voor het vastleggen en gebruiken van de gedeelde referentiegegevensdomeinen.
- Gegevensprofilering voor gegevensbeoordeling, metagegevensopsporing en validatie.
- Data Quality Management voor het handhaven van data-integriteit en zekerheid.
- Datamapping voor het vastleggen van datastromen en afkomst en het reconstrueren van datapijplijnen.
- Datalijn om impactanalyse te analyseren
- Data Cataloging om metagegevens van objecten vast te leggen voor geïdentificeerde gegevensactiva.
- Gegevensdetectie om gebruikers te helpen het gebruik van gegevens in alle bronnen te begrijpen.
Voordelen voor metadatabeheer
Ervaring met Enterprise Data Governance
Met de exponentiële toename van gegevens is Data Governance een noodzakelijk doorlopend initiatief geworden dat vereist dat iedereen, inclusief leidinggevenden, hun verantwoordelijkheden ten aanzien van gegevens opnieuw definieert en een gereguleerd niveau van samenwerking en verantwoording overneemt. Met zakelijke belanghebbenden die gegevensbeheer afstemmen op strategische bedrijfsdoelen en technische belanghebbenden die de technische aspecten van gegevensbeheer afhandelen, helpt metadatabeheer bij het vinden, vertrouwen en gebruiken van gegevens om effectief de doelstelling te bereiken binnen het gestelde tijdsbestek en de middelen.
Geconstateerde gegevenskwaliteit
Nu Metadatabeheer wordt geautomatiseerd, is de datakwaliteit verzekerd doordat de gegevens worden gereguleerd en geoperationaliseerd ten voordele van alle belanghebbenden. Inconsistenties en fouten in de gegevens kunnen in realtime worden geïdentificeerd om de algehele kwaliteit van de gegevens te verbeteren door de tijd tot inzichten en reparatie te optimaliseren. Op basis van de gegevenstypen en het gebruik ervan, kunnen kwaliteitsregels worden ingesteld om de integriteit van de gegevens te behouden.
Naleving van de regelgeving
Regelgeving zoals de Algemene Verordening Gegevensbescherming (AVG), De California Consumer Privacy Act (CCPA), Health Insurance and Portability Accountability Act (HIPAA), en het Bazels Comité voor bankentoezicht (BCBS) zijn vooral van invloed op sectoren als financiën, detailhandel, gezondheidszorg en farmacie / biowetenschappen. Als kritieke of gevoelige gegevens niet worden geïdentificeerd, gedefinieerd en gestandaardiseerd volgens de wettelijke normen, kunnen audits gebrekkig zijn. Dergelijke gegevens worden getagd, hun afstamming wordt gedocumenteerd en de stromen worden weergegeven zodat ze gemakkelijk kunnen worden geïdentificeerd en de workflows naadloos kunnen worden getraceerd.
Hogere snelheid naar inzichten en snellere projectlevering
Vóór de komst van Data Governance besteedden data-analisten en datawetenschappers ongeveer 80 procent van hun tijd aan het identificeren en begrijpen van de brongegevens en het oplossen van fouten en inconsistenties, in plaats van de waarde ervan te analyseren. Geautomatiseerd metadatabeheer voor ondernemingen biedt een grotere nauwkeurigheid en tot 70 procent versnelling bij de levering van projecten voor gegevensverplaatsing en / of implementatieprojecten, oogst metagegevens uit verschillende gegevensbronnen en brengt elk gegevenselement in kaart van bron tot doel en harmoniseert gegevensintegratie tussen platforms. Met Metadata Management en Data Governance-structuren staan technische bronnen open om zich te concentreren op de meest waardevolle projecten terwijl bedrijfsanalisten, data-architecten, ETL-ontwikkelaars, testers en projectmanagers gemakkelijker kunnen samenwerken voor snellere besluitvorming.
Hogere productiviteit en lagere kosten
Geautomatiseerde en gegeneraliseerde Metadata Management-processen hebben geresulteerd in een grotere en kosteneffectieve productiviteit. De kosten van het genereren, migreren en gebruiken van gegevens zijn aanzienlijk afgenomen, evenals de tijd die nodig is om deze processen te implementeren.
