Datawarehousing wordt steeds populairder. Concepten en architecturen worden sinds de jaren negentig min of meer ongewijzigd toegepast. Datawarehousing en BI-applicaties worden echter slechts als matig succesvol beschouwd. Gebruikers bekritiseren hun ontoereikende voordelen, kwaliteit, efficiëntie en effectiviteit.
Juist in tijden van snel veranderende markten moeten beslissingsondersteunende systemen een zo snel mogelijke kennisgroei bevorderen. Geavanceerde analyses en nieuwe manieren van werken met data creëren ook nieuwe eisen die de traditionele concepten overtreffen.
Veel bedrijven zien zich dan ook genoodzaakt deze concepten op de proef te stellen. Maar wat zijn de juiste maatregelen om het datawarehouse en BI toekomstbestendig te maken? Welke rol spelen technologie en IT-infrastructuur?
Kan het basiskarakter van de data proactief worden verbeterd? Welke uitdagingen zijn te verwachten?
De volgende inzichten kwamen uit een wereldwijd BARC-onderzoek naar de huidige status van de modernisering van datawarehouses. De deelnemers kwamen uit bedrijven van verschillende groottes, industrieën en locaties over de hele wereld, waarvan 77 procent in Europa. Mensen uit BI- en analytics-teams, business units, IT, corporate management en externe consultantteams namen deel.
Een tijdrovend ontwikkelproces en beperkte ondersteuning van selfservice BI zijn de belangrijkste drijfveren voor de modernisering van het datawarehouse
Het meest urgente probleem voor 44 procent van de deelnemers aan de enquête is een gebrek aan flexibiliteit in het ontwikkelingsproces van het datawarehouse. Opmerkelijk is dat met name zakelijke gebruikers het onvermogen om de vereiste gegevens aan te leveren en het gebrek aan gebruikersacceptatie nog belangrijker vinden dan verbeterde selfservice. Met name leidinggevenden (31 procent) en business intelligence/analytics-teams (30 procent) zijn het erover eens dat softwarelicenties over het algemeen te duur zijn. Interessant is dat noch slechte compliancemogelijkheden, noch onvoldoende technologie of functionaliteit als grote uitdagingen worden gezien.
De primaire moderniseringsaanpak is datawarehouse/ETL-automatisering, die een breed gebruik van het datawarehouse helpt bevorderen, maar de efficiëntie in gegevensbeheerprocessen slechts gedeeltelijk kan verbeteren
Datawarehouse/ETL-automatisering als de meest gebruikelijke benadering komt overeen met de meest gebruikte technologieën, namelijk data-integratie en datawarehouse-automatiseringstools. Voordelen zijn onder meer een breed datawarehouse-gebruik en de mogelijkheid om een grotere verscheidenheid aan gegevens te verwerken om verbeterde analytische vereisten te ondersteunen.
Een automatiseringsaanpak alleen is echter van beperkt nut wanneer gegevensbeheerprocessen inefficiënt zijn. Het datalandschap en de op te lossen data-integratietaken zijn vaak te complex.
Leiders vertrouwen minder op datamart-implementatie dan op slanke, flexibele architecturen en bruikbare data op basis van cloudservices, een aanvullend datameer, datagovernance, datahubs en datacatalogi
Leiders kiezen andere benaderingen en technologieën dan die van volgers en achterblijvers. Leiders streven uiteraard naar een slankere architectuur en een flexibele infrastructuur. Ze richten zich minder op datamarts, hebben de neiging om het datawarehouse uit te breiden met een data lake en maken vaker gebruik van analytische databases en realtime verwerking.
Ze kiezen steeds vaker voor cloud datadiensten. Hoewel men het erover eens is dat documentatie een breder en efficiënter gebruik van het datawarehouse bevordert, lijkt de bredere acceptatie van datacatalogi door leiders op een gemiste kans.
De evolutie naar flexibele, interoperabele datadiensten zorgt voor verbeteringen in het vermogen om aan nieuwe eisen te voldoen
Naarmate bedrijven evolueren van een geïntegreerde datawarehouse-infrastructuur naar een verbeterde, servicegerichte data-architectuur, leren ze zich aan te passen aan nieuwe en veranderende eisen. Bedrijven die aan deze reis zijn begonnen, gebruiken minder bekende geavanceerde benaderingen en technologieën. Zo worden uiteenlopende gegevenstypen verwerkt met nieuwe benaderingen voor gegevensmodellering, ondersteund door geschikte tools. Datavirtualisatie en datahubs maken het mogelijk om sneller en flexibeler toegang te krijgen tot databronnen.
Investeren in Hadoop-, Spark- en NoSQL-technologieën betaalt zichzelf terug door het vermogen om een goede variëteit aan gegevens te verwerken te verbeteren met microservices, API-beheer en containerisatie, waardoor de implementatieflexibiliteit wordt verbeterd.
De transformatie van een complex en inefficiënt datalandschap met onvoldoende datagovernance naar een holistische en flexibele data-architectuur vereist duidelijke managementondersteuning en de ontwikkeling van specifieke datavaardigheden
De vier belangrijkste uitdagingen waarmee bedrijven worden geconfronteerd bij het moderniseren van hun datawarehouse-omgeving hebben voornamelijk te maken met de organisatie: processen zijn niet wendbaar genoeg, er is een gebrek aan vaardigheden op het gebied van business en IT en zwakke datagovernance leidt tot toenemende complexiteit. Veranderingen op deze gebieden kunnen echter niet echt worden gerealiseerd zonder managementondersteuning, die ook ontbreekt. Gegevens moeten een prioriteit op C-niveau worden. We moeten consequent investeren in data- en analytics-geletterdheid, maar dat brengt ook een cultuuromslag met zich mee.
De belangrijkste trends zijn gericht op efficiënter, effectiever en wendbaarder databeheer op basis van datagovernance, automatisering en selfservice
Om een organisatie in staat te stellen datagedreven te zijn, zijn efficiënte, effectieve en flexibele data- en analyseprocessen nodig. Hiervoor zijn bruikbare, kwaliteitsgeborgde data nodig. Terugkerende taken moeten worden geautomatiseerd, en dat geldt zowel voor de gegevensvoorziening als voor rapportage en analyse. Creatief werken met data moet worden ondersteund met gebruiksvriendelijke selfservice, waaronder het verstrekken van een datacatalogus om data gemakkelijk te vinden en te gebruiken. Machine learning kan helpen om handmatige taken te automatiseren.
Infographic van de belangrijkste bevindingen
BARC-rapport Modernisering van het datawarehouse
Uitdagingen en voordelen
