De drie technieken voor het verbeteren van de ROI van Analytics in de cloud

Klik voor meer informatie over auteur Maurice Lacroix.

In een branche die zo concurrerend is als e-commerce, biedt de mogelijkheid om gegevens om te zetten in bruikbare inzichten de mogelijkheid om zakelijke beslissingen te nemen die meer inkomsten genereren en de kosten beheersen. Het verzamelen en vervolgens analyseren van detailhandelsgegevens, zoals klantbezoeken, logistieke afhandeling, prijzen en klanttevredenheid, biedt een groot aantal uitdagingen die, als ze met succes worden overwonnen, het verschil kunnen zijn tussen een goed bedrijf en een categorieleider.

Het is mijn verantwoordelijkheid als Business Intelligence-producteigenaar van mijn organisatie om ons bedrijf te helpen echt datagedreven te worden. Tegenwoordig zijn we de grootste online retailer in Nederland en België, met meer dan 11 miljoen klanten, 23 miljoen artikelen en meer dan 40.000 partners die hun producten verkopen. Onze 2.000 medewerkers analyseren gegevens die elk jaar gestaag groeien uit meer dan 250 gegevensbronnen met behulp van 3.000 werkmappen. Het is mijn taak om ervoor te zorgen dat al die gegevens kunnen worden geanalyseerd om het inzicht te geven dat het bedrijf nodig heeft om zakelijke beslissingen te nemen.

Beginnend met één Oracle BI-stack en nu volledig geïmplementeerd in de wolk, Ik heb deel uitgemaakt van een centraal BI-team dat veel heeft geleerd over het ondersteunen van de vraatzuchtige eetlust van de bedrijfsanalist. Gedurende onze jaren van groei en evolutie hebben we drie cruciale aandachtspunten geïdentificeerd die elk bedrijf in overweging moet nemen bij het stillen van de dorst naar data van het bedrijf: de juiste technologie, het gebruik controleren en continue verbetering.

De juiste technologie

Enterprise-bedrijven staan ​​voor uitdagingen om de beperkingen van bestaande legacy-technologie te overwinnen en de prestaties te leveren die nodig zijn om op grote schaal in gegevens te boren. De volledige analyse-stack is gebaseerd op drie componenten: een datawarehouse dat de capaciteitsvereisten van het bedrijf kan ondersteunen, een modelleringsplatform om consistente gegevensdefinities te bieden die analisten kunnen gebruiken om gegevens in te boren, en een visualisatietool om de inzichten af ​​te leiden die uiteindelijk worden gebruikt. om zakelijke beslissingen te nemen.

De eerste stap bij het kiezen van de juiste technologie is het vaststellen van de doelen van uw organisatie. Wat zijn de zakelijke resultaten die u probeert te bereiken? We wilden bijvoorbeeld dat onze organisatie op schaal datagedreven zou zijn. Onze 2.000 collega’s moesten in staat zijn om drill-down analyses uit te voeren op een snel groeiend datavolume zonder al te veel op IT te vertrouwen.

Nu uw doelen zijn vastgesteld, is het belangrijk om uw evaluatiecriteria voor technologie te definiëren.

We hebben drie criteria vastgesteld waarvan we dachten dat ze de prestaties en uiteindelijk onze bedrijfsdoelen zouden stimuleren. Dit zijn: de capaciteit van het platform, het gebruik van het platform en de rekenkosten van het dashboard of datamodel.

Onze evaluatie heeft ons opgeleverd Google BigQuery als ons cloud datawarehouse, Op schaal voor onze datamodellering en semantische laag, en Tableau voor visualisatie. De resultaten zijn dat ons team nu meer dan 200.000 werkmapverzoeken genereert in 3.000 werkmappen die worden gemodelleerd met 100 virtuele kubussen uit 250 gegevensbronnen.

Monitoring technologie en gebruik

Het toepassen van de juiste cloudtechnologie biedt een geweldige kans voor zowel kostenbesparingen als schaalbaarheid van prestaties. Als de technologie echter zonder toezicht wordt gebruikt, is de kans zeer groot dat de prestatieverwachtingen niet zullen worden gehaald en dat onvoorspelbare kosten de waarde van de cloud teniet zullen doen. Daarom is het ongelooflijk belangrijk om een ​​monitoringraamwerk te implementeren om uw BI-stack in vorm te krijgen (en te houden).

Prestatieknelpunten doen zich voor wanneer resources drempels bij piekbelasting overschrijden, en gelijktijdigheid van gebruikers resulteert in wachtrijen. Om knelpunten in het gebruik van middelen te identificeren, hebben we een zeer gedetailleerde, realtime monitoring van onze systemen opgezet. Metrische gegevens die we volgen, zijn onder meer CPU, geheugen, schijf-I / O, netwerkverkeer en responstijden voor query’s.

Onze ervaring is dat het meest voorkomende knelpunt de wachtrijen van gebruikersverzoeken zijn. We hebben ontdekt dat dit kan worden ondervangen met kleine configuratiewijzigingen in het dataplatform. In gevallen waar het afstemmen van de bestaande omgeving niet voldoende is, is de volgende optie om horizontaal te schalen met meer machines of verticaal met krachtigere machines. Dit is echter altijd de tweede optie, aangezien schaalmachines nooit gratis zijn!

Zonder deze diepgaande monitoring kunnen de kosten snel uit de hand lopen. In ons geval moeten we optimaliseren voor de kosten van Google. Google biedt twee prijsopties voor het verwerken van gegevens via BigQuery. De eerste is de prijs op aanvraag, waarmee een klant kan betalen op basis van de hoeveelheid verwerkte gegevens. De tweede is forfaitaire prijsstelling, waarbij er een vaste vergoeding is voor gegarandeerde verwerkingscapaciteit.

Toen we het Google Cloud Platform voor het eerst adopteerden, dachten we dat de on-demand-optie het beste bij ons paste. Nadat we de rekening in onze eerste drie maanden hadden gezien, realiseerden we ons dat we moesten overschakelen naar het vaste tarief. Met monitoring op zijn plaats, begrepen we snel hoe onze gebruikers gegevens opvroegen en ontdekten dat we het bedrijf het grootste deel van de week konden ondersteunen met vaste capaciteit en konden betalen voor flexcapaciteit in tijden waarin de verwerkingsvraag zou toenemen. Maandagochtend is het bijvoorbeeld de tijd dat het bedrijf zijn verkooprapporten van de vorige week wil bijwerken, waardoor er extra vraag naar verwerkingskracht ontstaat.

Verbeter uw omgeving continu

Met de juiste technologie en de juiste monitoring is het tijd om de resultaten van de investering te verbeteren. Verbetering is een proces dat nooit eindigt. Er zijn een aantal initiatieven die een wereld van verschil kunnen maken voor de prestaties, zoals het aanpassen van filterinstellingen in een dashboard, het updaten van een datamodel, het verbeteren van data voorbereiding, en code herschrijven. De antwoorden voor waar u zich op moet concentreren, staan ​​in de logboeken.

De logboeken zijn een record van wat gebruikers ervaren en de impact die deze ervaringen hebben op een technische omgeving. Om het rendement op de investering te verbeteren, is het belangrijk om de logboeken in kaart te brengen met de drijvende krachten achter prestaties en kosten. In ons geval optimaliseert het de rekenkosten van Google BigQuery, die worden gemeten in slottijd. Naarmate we de slottijd verbeteren, nemen onze queryprestaties toe en nemen onze kosten per query toe.

De eenvoudigste manier om logboeken te interpreteren, is door middel van visualisatie. We exporteren al onze logboeken, laden ze in Google BigQuery en vragen de logboeken voor analyse. Die analyse wordt gevisualiseerd in betekenisvolle afbeeldingen zoals boxplots en scatterplots om verbeterpunten te identificeren. Wees voorzichtig met het gebruik van gemiddelden, aangezien deze geen goede weergave van de prestaties bieden.

Enkele van de meest effectieve dashboards waarmee we werken, zijn logboeken die de uitvoeringstijden van query’s evalueren aan de hand van elk van onze virtuele datakubussen en de kosten van een kubus in relatie tot het rekengebruik. Door gebruikerslogboeken beter te evalueren, zal de mogelijkheid om verbeteringen aan te brengen op het gebied van rekenkosten en uitvoeringstijden drastisch verbeteren.

Alles samenvoegen

Elk bedrijf heeft meer gegevens dan ze weten wat ze ermee moeten doen. Het probleem is dat de meeste bedrijven niet weten hoe ze het moeten gebruiken. Stel een strategie op om de juiste technologie voor uw bedrijf te kiezen, bewaak die technologie om ervoor te zorgen dat uw bedrijf de waarde van de investering beseft en verbeter vervolgens die technologie door te begrijpen hoe deze door uw team wordt gebruikt. U kunt nog meer over deze strategie leren van mijn diepgaande webinar over hoe u de ROI van uw cloudanalyse kunt verhogen. Wanneer u deze drie technieken kunt toepassen, verandert uw bedrijf van gegevensbewust in gegevensgestuurd.