Datamanagement is de organisatie van gegevens, de stappen die worden gebruikt om efficiëntie te bereiken en informatie uit die gegevens te verzamelen. Gegevensbeheer, als concept, begon in de jaren zestig, toen ADAPSO (de Association of Data Processing Service Organisations) advies over gegevensbeheer doorstuurde, met de nadruk op professionele training en kwaliteitsbewakingsstatistieken.
Gegevensbeheer moet niet worden verward met Gegevensbeheer, noch met Database management. Gegevensbeheer is een reeks praktijken en concepten die gegevens prioriteren en ordenen, evenals de handhaving van beleid rond gegevens, waarbij verschillende voorschriften worden gevolgd en slechte gegevenspraktijken worden beperkt.
Gegevensbeheer is in wezen een onderdeel van het grotere geheel van gegevensbeheer. Databasebeheer daarentegen is gericht op de tools en technologie die worden gebruikt om de basis van gegevens te creëren en te wijzigen, in plaats van op het algehele systeem dat wordt gebruikt om de gegevens te organiseren. Database Management is ook een onderdeel van Data Management.
Houd rekening met het volgende om een beter begrip van gegevensbeheer te krijgen: Elke luchthaven heeft uitgaande vluchten. Elke passagier heeft een bestemming en om elke bestemming te bereiken, zijn een of meer vluchten nodig. Bovendien heeft elke vlucht een bepaald aantal passagiers. De informatie zou hiërarchisch kunnen worden weergegeven, maar deze methode heeft een groot probleem. De weergegeven gegevens kunnen gericht zijn op vluchten, passagiers of bestemmingen, maar niet alle drie tegelijk. Als u drie afzonderlijke hiërarchieën wilt weergeven, moeten de gegevens redundant worden opgeslagen en wordt dit duur. Het bijwerken van de gegevens in drie afzonderlijke bestanden is ook moeilijker dan het bijwerken in één. Alle drie de hiërarchieën moeten worden bijgewerkt om verwarring te voorkomen. Gebruik maken van een netwerkgegevensmodel, dat veel flexibeler is, biedt een betere oplossing. Goed gegevensbeheer is de sleutel tot een succesvol bedrijf.
Het beheer van gegevens werd voor het eerst een probleem in de jaren vijftig, toen computers traag en onhandig waren en enorme hoeveelheden handwerk vereisten om te werken. Verschillende computergerichte bedrijven gebruikten hele verdiepingen om alleen de ponskaarten met hun gegevens op te slaan en te ‘beheren’. Dezelfde bedrijven gebruikten andere verdiepingen om sorteerders, tabulators en banken met kaartstempels te onderhouden. Programma’s uit die tijd werden opgesteld in een binaire of decimale vorm en werden gelezen van aan / uit-schakelaars aan de voorkant van de computer, of magnetische tape, of zelfs ponskaarten. Deze vorm van programmeren heette oorspronkelijk Absolute Machine Language (en werd later gewijzigd in Programmeertalen van de eerste generatie).
Programmeertalen van de tweede generatie
Programmeertalen van de tweede generatie (voorheen Assemblagetalen) werden gebruikt als een vroege methode voor het organiseren en beheren van gegevens. Deze talen werden populair in de late jaren 1950 en gebruikten letters uit het alfabet voor het programmeren, in plaats van een complexe reeks enen en nullen. Hierdoor konden programmeurs assembly-mnemonics gebruiken, waardoor het gemakkelijker werd om de codes te onthouden. Deze talen zijn nu verouderd, maar hebben ertoe bijgedragen dat programma’s veel leesbaarder zijn geworden voor mensen, en hebben programmeurs bevrijd van vervelende, foutgevoelige berekeningen.
Talen op hoog niveau
Een goed begrip van fundamentele talen kan helpen bij het maken van een nieuwe webservice of applicatie.
Talen op hoog niveau (HLL) zijn oudere programmeertalen die gemakkelijk door mensen konden worden gelezen. Sommige zijn nog steeds populair. Sommige zijn dat niet. Ze stellen een programmeur in staat om generieke programma’s te schrijven die niet volledig afhankelijk zijn van een specifiek soort computer. Hoewel de nadruk van deze talen ligt op gebruiksgemak, is hun primaire doel het organiseren en beheren van gegevens. Verschillende talen op hoog niveau hebben verschillende sterke punten:
- FORTRAN werd oorspronkelijk in de jaren vijftig door IBM gemaakt voor technische en wetenschappelijke toepassingen. Het wordt nog steeds gebruikt voor numerieke weersvoorspelling, eindige elementenanalyse, computationele vloeistofdynamica, computationele fysica, kristallografie en computationele chemie.
- Lisp (historisch gezien, LISP) werd oorspronkelijk beschreven in 1958 en werd al snel een favoriete programmeertaal voor AI-onderzoek. Het was ongebruikelijk omdat het geen onderscheid maakte tussen data en code, en het was een van de eerste programmeertalen die een aantal ideeën in de informatica op gang bracht, zoals automatisch opslagbeheer, dynamisch typen en boomgegevensstructuren. Lisp had ook de flexibiliteit om uit te breiden op manieren waar de ontwerpers nooit aan hadden gedacht. (Lisp is in verval.)
- COBOL (Common Business Oriented Language) is ontwikkeld door CODASYL in 1959 en maakte deel uit van het doel van het Amerikaanse ministerie van Defensie om een ’draagbare’ programmeertaal voor gegevensverwerking te creëren. Het is een Engels-achtige programmeertaal die voornamelijk is ontworpen voor zakelijke, financiële en administratieve systemen. In 2002, COBOL werd herzien en werd een objectgeoriënteerde programmeertaal.
- BASIS (de universele symbolische instructiecode voor beginners) beschrijft een groep algemene programmeertalen die zijn ontworpen om gebruikersvriendelijk te zijn. Het werd in 1964 ontworpen op Dartmouth College. (BASIC went tegenwoordig niet veel.)
- C werd uitgevonden in Bell Labs in de jaren zeventig en er was een besturingssysteem in geschreven. Het besturingssysteem was UNIX en omdat het programma in C was geschreven, kon UNIX nu naar een ander systeem worden getransporteerd. (Momenteel is het nog steeds een van de meest populaire programmeertalen ter wereld.)
- C ++ (uitgesproken als “c plus plus”) is gebaseerd op C, en is een programmeertaal voor algemeen gebruik, met low-level geheugenmanipulatie. Het is ontworpen om gemakkelijk te worden gewijzigd, wordt geleverd met desktoptoepassingen en kan op verschillende platforms worden geïnstalleerd. (Het wordt nog steeds veel gebruikt en de populariteit lijkt toe te nemen.)
Online gegevensbeheer
Online gegevensbeheer systemen, zoals reisreserveringen en beurshandel, moeten gegevens snel en efficiënt coördineren en beheren. Eind jaren vijftig begonnen verschillende industrieën te experimenteren met online transacties. Momenteel kunnen online gegevensbeheersystemen informatie over de gezondheidszorg verwerken (denk aan efficiëntie) of maar liefst 7,5 miljoen lassessies per dag meten, opslaan en analyseren (denk aan productiviteit). Met deze systemen kan een programma bestanden of records lezen, bijwerken en de bijgewerkte informatie terugsturen naar de online gebruiker.
SQL
SQL (Structured Query Language) is ontwikkeld door Edgar F. Codd in de jaren zeventig en gericht op relationele databases, die consistente gegevensverwerking bieden en de hoeveelheid dubbele gegevens verminderen. Het programma is ook vrij gemakkelijk te leren, omdat het reageert op commando’s in het Engels. Dankzij het relationele model kunnen grote hoeveelheden gegevens snel en efficiënt worden verwerkt. De taal werd in 1985 gestandaardiseerd.
Relationele modellen vertegenwoordigen zowel relaties als onderwerpen op een uniforme manier. Een kenmerk van relationele datamodellen is dat ze een uniforme taal gebruiken bij het navigeren, manipuleren en definiëren van gegevens, in plaats van voor elke taak afzonderlijke talen te gebruiken. Relationele ‘algebra’ wordt gebruikt om recordsets als een groep te verwerken, met ‘operators”Toegepast op hele recordsets. Relationele datamodellen, gecombineerd met operators, bieden kortere en eenvoudigere programma’s.
Het relationele model bood enkele onverwachte voordelen. Het bleek zeer geschikt te zijn voor parallelle verwerking, client-server computing en GUI’s (grafische gebruikersinterfaces). Bovendien biedt een relationeel databasemodelsysteem (RDBMS) meerdere gebruikers tegelijkertijd toegang tot dezelfde database.
NoSQL
De primaire doel van NoSQL is de verwerking en het onderzoek van big data. Het begon in feite als een zoekmachine, met enkele aanvullende beheerfuncties, en maakt “geen” deel uit van een relationele database. Dat is nu veranderd met veel geavanceerdere NoSQL-platforms. Hoewel gestructureerde gegevens kunnen worden gebruikt tijdens het onderzoek, is dit niet nodig. De echte kracht van NoSQL is het vermogen om enorme hoeveelheden gestructureerde en ongestructureerde gegevens op te slaan en te filteren. De gegevens manager heeft een verschillende NoSQL-databases om uit te kiezen, elk met zijn eigen specifieke sterke punten.
De efficiëntie van NoSQL is het resultaat van zijn ongestructureerde karakter, waarbij consistentie wordt ingeruild voor snelheid en behendigheid. Deze stijl van architectuur ondersteunt horizontale schaalbaarheid en heeft aanzienlijk grootschaligheid mogelijk gemaakt datawarehouses (Amazon, Google en de CIA) om enorme hoeveelheden informatie te verwerken. NoSQL is geweldig in het verwerken van big data.
Het concept van NoSQL ontstond in 1998 en werd voor het eerst gebruikt door Carlo Strozzi, maar begon pas aan populariteit te winnen na 2005, toen Doug Cutting en Mike Cafarella Nutch aan het grote publiek uitbrachten. Nutch leidde naar Hadoop (nu Apache Hadoop), en als “gratis” open source software, werd al snel behoorlijk populair.
Gegevensbeheer in de cloud
Cloud Data Management is hard op weg een extra verantwoordelijkheid te worden voor interne datamanagers. Hoewel het concept van cloudopslag werd ontwikkeld in de jaren zestig, werd het geen realiteit tot 1999, toen Salesforce de levering van applicaties via haar website aanbood. Amazon imiteerde het idee in 2002 het aanbieden van op internet gebaseerde (cloud) diensten, waaronder opslag. Het gehuurde gebruik van applicaties en diensten op een website, via internet, werd al snel een populaire manier om met grote en ongebruikelijke projecten om te gaan. Naarmate het comfort van de ontwikkelde services ontstond, begonnen veel organisaties het grootste deel van hun opslag- en verwerkingsactiviteiten te verschuiven, naar de cloud. Zo ontstonden er een aantal cloud-startups.
De cloud biedt organisaties nu specifieke bronnen voor gegevensbeheer, indien nodig. De voordelen van het beheren van gegevens in de cloud omvatten:
- Toegang tot de allernieuwste technologie.
- De verlaging van de kosten van intern systeemonderhoud.
- Meer flexibiliteit om te voldoen aan de veranderende behoeften van bedrijven.
- De verwerking van big data.
SLA’s (Service Level Agreements) zijn de contracten die worden gebruikt om garanties af te spreken tussen de klanten en een dienstverlener. Aangezien de architectuur van verschillende cloudproviders varieert, is het in het belang van de gegevensbeheerder om dit te onderzoeken, en selecteer de beste pasvorm, gebaseerd op de behoeften van hun organisatie. De compatibiliteit van de beveiliging van een cloud en de toegang tot opslag zijn beide cruciale zorgen voor een clouddatamanager en moeten grondig worden onderzocht.
Kunstmatige intelligentie en gegevensbeheer
Het is voorspelbaar dat binnen de komende tien jaar AI helpt bij het organiseren en sorteer door enorme hoeveelheden opgeslagen gegevens en neem routinebeslissingen over basisprocedures. Het wordt steeds waardevoller als assistent van de datamanager. Enkele voorbeelden zijn:
- Verwerken, beheren en opslaan van ongestructureerde gegevens.
- Weggooien van irrelevante gegevens.
- Maximale data-integratie voor onderzoeks- en infoquery’s.
- De waarde van gegevens bepalen en de beste locatie om deze op te slaan.
Kunstmatige intelligentie heeft een groot potentieel om datamanagers te helpen bij het ontwikkelen en beheren van een zeer functioneel datamanagementprogramma.
Afbeelding gebruikt onder licentie van Shutterstock.com
