Geschiedenis van Big Data


De term “big data” verwijst naar gegevens die zo groot, snel of complex zijn dat ze moeilijk of onmogelijk te verwerken zijn met traditionele methoden. Het ontsluiten en opslaan van grote hoeveelheden informatie voor analyses bestaat al heel lang. Maar het concept van big data raakte in een stroomversnelling in het begin van de jaren 2000 toen industrieanalist Doug Laney de nu gangbare definitie van big data verwoordde als de drie V’s:

Volume: Organisaties verzamelen gegevens uit verschillende bronnen, waaronder zakelijke transacties, slimme (IoT-)apparaten, industriële apparatuur, video’s, sociale media en meer. In het verleden zou het opslaan ervan een probleem zijn geweest – maar goedkopere opslag op platforms zoals data lakes en Hadoop hebben de last verlicht.

Snelheid: Met de groei van het Internet of Things stromen gegevens met een ongekende snelheid het bedrijfsleven binnen en moeten ze tijdig worden verwerkt. RFID-tags, sensoren en slimme meters stimuleren de noodzaak om deze stortvloed aan gegevens in bijna realtime te verwerken.

Verscheidenheid: Gegevens komen in allerlei formaten – van gestructureerde, numerieke gegevens in traditionele databases tot ongestructureerde tekstdocumenten, e-mails, video’s, audio’s, tickergegevens van aandelen en financiële transacties.

Bij SAS houden we rekening met twee extra dimensies als het gaat om big data:

Variabiliteit:

Naast de toenemende snelheden en variëteiten van gegevens, zijn gegevensstromen onvoorspelbaar – vaak veranderend en sterk variërend. Het is een uitdaging, maar bedrijven moeten weten wanneer iets trending is in de sociale media, en hoe ze dagelijkse, seizoensgebonden en event-getriggerde piekbelastingen van gegevens moeten beheren.

Waarheidsgetrouwheid:

Waarheidsgetrouwheid verwijst naar de kwaliteit van gegevens. Omdat gegevens uit zoveel verschillende bronnen komen, is het moeilijk om gegevens te koppelen, te matchen, te cleanen en te transformeren tussen systemen. Bedrijven moeten relaties, hiërarchieën en meervoudige gegevenskoppelingen met elkaar verbinden en correleren. Anders kunnen hun gegevens snel uit de hand lopen.

Waarom zijn Big Data belangrijk?

Het belang van big data draait niet om de hoeveelheid gegevens die u hebt, maar om wat u ermee doet. U kunt gegevens uit elke bron analyseren om antwoorden te vinden die 1) kostenreducties, 2) tijdreducties, 3) nieuwe productontwikkeling en geoptimaliseerde aanbiedingen, en 4) slimme besluitvorming mogelijk maken. Wanneer u big data combineert met krachtige analytics, kunt u bedrijfsgerelateerde taken uitvoeren zoals:

Vaststellen van hoofdoorzaken van storingen, problemen en defecten in near-real-time.
Coupons genereren op het verkooppunt op basis van de koopgewoonten van de klant.
Herberekenen van complete risicoportefeuilles in enkele minuten.
Frauduleus gedrag opsporen voordat het uw organisatie treft.

big data

Hoe werkt Big Data?

Voordat bedrijven big data voor zich kunnen laten werken, moeten zij nagaan hoe deze stromen tussen een veelheid aan locaties, bronnen, systemen, eigenaren en gebruikers. Er zijn vijf belangrijke stappen om de leiding te nemen over dit grote “gegevensweefsel” dat traditionele, gestructureerde gegevens omvat naast ongestructureerde en semigestructureerde gegevens:

Stel een big data-strategie op.
Identificeer big data-bronnen.
Krijg toegang tot de data en beheer en sla ze op.
Analyseer de gegevens.
Neem datagestuurde beslissingen.


1) Stel een big data-strategie op

Op hoog niveau is een big data-strategie een plan dat is ontworpen om u te helpen toezicht te houden op en verbeteringen aan te brengen in de manier waarop u gegevens verwerft, opslaat, beheert, deelt en gebruikt binnen en buiten uw organisatie. Een big data-strategie vormt de basis voor zakelijk succes te midden van een overvloed aan gegevens. Bij het ontwikkelen van een strategie is het belangrijk rekening te houden met bestaande – en toekomstige – bedrijfs- en technologische doelstellingen en initiatieven. Dit vereist dat big data worden behandeld als elk ander waardevol bedrijfsmiddel in plaats van als een bijproduct van applicaties.

Infografiek Big Data
Klik op de infographic voor meer informatie over big data.

2) Ken de bronnen van big data

Streaming data zijn afkomstig van het Internet of Things (IoT) en andere aangesloten apparaten die binnenstromen in IT-systemen van wearables, slimme auto’s, medische apparaten, industriële apparatuur en meer. U kunt deze big data analyseren naarmate ze binnenkomen en beslissen welke gegevens wel of niet moeten worden bewaard en welke verder moeten worden geanalyseerd.
Sociale-mediagegevens komen voort uit interacties op Facebook, YouTube, Instagram, enz. Dit omvat enorme hoeveelheden big data in de vorm van afbeeldingen, video’s, spraak, tekst en geluid – nuttig voor marketing-, verkoop- en ondersteuningsfuncties. Deze gegevens zijn vaak in ongestructureerde of semigestructureerde vorm, dus vormen ze een unieke uitdaging voor consumptie en analyse.
Openbaar beschikbare gegevens zijn afkomstig van enorme hoeveelheden open gegevensbronnen zoals data.gov van de Amerikaanse overheid, het CIA World Factbook of het European Union Open Data Portal.
Andere big data kunnen afkomstig zijn van data lakes, cloud data-bronnen, leveranciers en klanten.


3) Big data ontsluiten, beheren en opslaan

Moderne computersystemen bieden de snelheid, kracht en flexibiliteit die nodig zijn om snel toegang te krijgen tot enorme hoeveelheden en soorten big data. Naast betrouwbare toegang hebben bedrijven ook methoden nodig om de gegevens te integreren, de kwaliteit van de gegevens te waarborgen, te zorgen voor gegevensgovernance en -opslag, en de gegevens voor te bereiden voor analyses. Sommige gegevens kunnen op locatie worden opgeslagen in een traditioneel datawarehouse, maar er zijn ook flexibele, goedkope opties voor de opslag en verwerking van big data via cloudoplossingen, data lakes en Hadoop.

4) Analyseer grote gegevens

Met high-performance technologieën zoals grid computing of in-memory analytics kunnen organisaties ervoor kiezen om al hun big data te gebruiken voor analyses. Een andere aanpak is om van tevoren te bepalen welke gegevens relevant zijn voordat ze worden geanalyseerd. Hoe dan ook, big data analytics is de manier waarop bedrijven waarde en inzichten uit gegevens halen. Big data voeden in toenemende mate de huidige geavanceerde analyse-inspanningen, zoals kunstmatige intelligentie.

5) Neem intelligente, datagestuurde beslissingen

Goed beheerde, betrouwbare gegevens leiden tot betrouwbare analyses en betrouwbare beslissingen. Om concurrerend te blijven, moeten bedrijven de volledige waarde van big data benutten en op een datagestuurde manier te werk gaan – beslissingen nemen op basis van het bewijs dat big data leveren in plaats van op onderbuikgevoel. De voordelen van datagedrevenheid zijn duidelijk. Datagestuurde organisaties presteren beter, zijn operationeel beter voorspelbaar en zijn winstgevender.