Mark Twain heeft de beroemde opmerking gemaakt dat er drie soorten leugens zijn: leugens, verdomde leugens en statistieken. Tegenwoordig denken veel CIO’s op dezelfde manier over statistieken.
Metrieken zijn slechts zo goed als hun bron. “Te vaak betalen technologiebedrijven advies- of analistenbureaus om statistieken te creëren op basis van de beste kenmerken van hun aanbod”, zegt Judith Hurwitz, CEO van Hurwitz Strategies, een opkomend technologieadviesbureau. “Daarom moeten CIO’s voorzichtig zijn met het nemen van metrische gegevens tegen de nominale waarde [and] leiders moeten de gegevens achter de statistieken begrijpen.”
De interpretatie van statistieken is in wezen een spel met getallen, en zoals bij elk spel met getallen, is het mogelijk om te winnen of te verliezen. Hier zijn zeven manieren waarop IT-leiders vaak worden misleid door key performance indicators (KPI’s) en andere kritieke bedrijfs- en IT-statistieken.
1. Geen rekening houden met de bron
Bij het bestuderen van een metriek is het belangrijk om te weten wie deze heeft gemaakt en wat de gegevensbron is. Resultaten kunnen bijvoorbeeld gebaseerd zijn op een enquête. Zo ja, vraag dan hoeveel mensen er zijn ondervraagd en welke rol ze hebben gespeeld in hun respectievelijke organisaties. Controleer ook of de metrics gebaseerd zijn op een beproefde methodologie. “Het is belangrijk om het onderzoek en de gegevens achter de statistieken te begrijpen”, zegt Hurwitz.
Houd ook rekening met het doel van de metriek. Wordt het gebruikt als planningstool? Zo ja, zal het helpen bij het bepalen van een bedrijfsstrategie, een technologieselectie of een andere behoefte? “Metrieken zijn slechts één hulpmiddel voor besluitvorming”, merkt Hurwitz op. “Bekijk statistieken daarom met scepsis.”
2. Niet samenwerken met eerstelijnspersoneel
Inmiddels hebben de meeste ondernemingen de datavolwassenheid bereikt. “Als uw bedrijf over gegevens beschikt, maakt u daar zeker gebruik van en probeert u inzichten uit analyses te gebruiken om positieve bedrijfsresultaten te genereren”, zegt John Loury, president en CEO van Cause + Effect Strategy, een adviesbureau voor business intelligence. “Het is 2022, we zijn het DRIP-tijdperk voorbij – gegevensrijk, weinig inzicht.”
Loury is van mening dat de meeste organisaties niet diep genoeg graven in de communicatie met het eerstelijnspersoneel, dat uiteindelijk de verzamelde statistieken zal gebruiken om beslissingen te nemen en acties te stimuleren. Voordat hij analyses gaat bouwen, raadt hij aan om de zakelijke vereisten van alle betrokken partijen te verzamelen. Dit betekent het destilleren van statistieken tot de datapunten die het meest relevant zijn om resultaten te behalen, merkt Loury op. “Geef prioriteit aan wat het meest direct van invloed is op de zakelijke beslissing die uw gebruiker probeert te nemen.”
Loury adviseert om communicatieve vaardigheden op te bouwen en aan te scherpen om op statistieken gebaseerde inzichten aan teamleden over te brengen. “Moderne CIO’s en leiders op het gebied van analyse moeten bedreven zijn in het samenbrengen van de belangrijkste statistieken die de meeste impact voor een team zullen hebben en deze moeten presenteren op een manier die logisch is voor de gebruiker en die hun gedrag helpt sturen”, zegt hij.
Loury voegt eraan toe dat het ook tijd is voor CIO’s om hun teams de opdracht te geven hun gebruikers echt te begrijpen en op maat gemaakte, effectieve analyseoplossingen te bouwen. “De dagen van dataleiders en hun teams die zich haasten om iets te bouwen – wat dan ook – en het naar zakelijke teams te verzenden, liggen achter ons”, legt hij uit. “We leven met de resultaten van die dagen, waar teams worden overspoeld met wall-to-wall dashboards die hen alles en niets vertellen.”
3. Het belang van eigenaarschap, betrokkenheid en balans overzien
Metrieken bieden een uitstekende gelegenheid voor eigenaarschap en betrokkenheid van het personeel, evenals voor continue verbetering en procesbeheersing. “De sleutel tot het correct interpreteren van metrics is om je hele team erbij te betrekken en de metrics te gebruiken om gezamenlijk processen te verbeteren”, zegt Paul Gelter, coördinator van CIO-services bij bedrijfs- en technologieadviesbureau Centric Consulting.
Bij het evalueren van statistieken is Gelter van mening dat het essentieel is om een balans te vinden tussen kosten, kwaliteit en service. Kostenstatistieken kunnen bijvoorbeeld worden bijgehouden in voltooide tickets per persoon, maar de kwaliteit van tickets kan worden verslechterd door herbewerking/herhaalde tickets. “Service kan dan worden beïnvloed door de responstijd, achterstand en uptime”, merkt hij op. Het draait allemaal om het verkrijgen van een optimale balans.
4. Op jacht naar de verkeerde nummers
Tijd is echt geld, dus verspil geen kostbare uren aan het onderzoeken van irrelevante statistieken. Identificeer duidelijk alle doelen voordat u beslist welke statistieken u wilt bestuderen. In de meeste gevallen zijn statistieken die toekomstige beslissingsopties niet ondersteunen of weerspiegelen, onnodig en, erger nog, afleidend en tijdverspillend.
Zodra het doel volledig is gedefinieerd, moet u voldoende tijd besteden aan het begrijpen van de factoren die ervoor zorgen dat individuele statistieken fluctueren, stelt Alex Levin, medeoprichter van technologie en ontwerpstudio L+R, voor. Onderzoek vervolgens hoe individuele statistieken aan elkaar zijn gekoppeld en wat er waarschijnlijk zal gebeuren tijdens verschillende fasen binnen de levenscyclus van een initiatief of project die rechtstreeks van invloed kunnen zijn op de KPI’s die worden gevolgd.
Verspil ondertussen geen tijd van het personeel door conclusies te verbergen of te hamsteren. Levin adviseert om onderzoeksresultaten met uw team te delen, zodat elk individu metrische inzichten kan gebruiken om de prestaties en/of resultaten te verbeteren.
5. Alleen gaan
Onderzoek en studie van statistieken mag geen eenzame onderneming zijn. Mike Capone, CEO van Qlik, de ontwikkelaar van analyse- en data-integratieplatforms, en voormalig CIO, raadt aan om vanaf het begin samen te werken met eigenaren van functionele gebieden om waardevolle contextuele details te verzamelen en toe te passen. “Deze input en relaties geven de CIO en het IT-team het juiste niveau van begrip van wat er werkelijk in het bedrijf gebeurt … om operationele doelen op korte en lange termijn te ondersteunen”, legt hij uit. Capone beveelt ook aan om sterke adviespartnerschappen op te bouwen met C-suite en andere belangrijke bedrijfsleiders.
6. Te veel vertrouwen op de cijfers
Een gezonde dosis scepsis kan ervoor zorgen dat u niet op het pad naar verkeerde conclusies wordt geleid. Onthoud de grap van Twain over statistieken en leugens. Er is altijd de mogelijkheid dat de verzamelde gegevens zelf op de een of andere manier gebrekkig zijn.
Gegevens kunnen op veel manieren gebrekkig zijn. De steekproefomvang kan te klein zijn, de tijdschaal kan onjuist zijn, of degene die de gegevens heeft verzameld, kan zijn eigen conclusie hebben om te promoten. “Het is van vitaal belang om ervoor te zorgen dat u volledig begrijpt hoe de gegevens worden verzameld en wat er in de scope is opgenomen voordat u kunt bepalen wat het u vertelt”, zegt Brian Winters, CTO bij ERP-softwareontwikkelaar ECI Software Solutions.
In feite kan elke statistiek misleidend zijn, vooral als u geen goed algemeen begrip van de gegevens hebt. “Systeemstatistieken kunnen bijzonder misleidend zijn omdat ze vaak statistieken bieden voor een zeer klein deel van een groot, complex systeem”, merkt Winters op. “Dat enge zicht kan je gemakkelijk door een konijnenhol leiden.”
7. Niet verder kijken dan de statistieken
Statistieken, hoewel doorgaans inzichtelijk en waardevol, vertellen misschien niet het hele verhaal. In feite kan het af en toe tot volkomen verkeerde conclusies leiden als elke statistiek op het eerste gezicht wordt genomen. “Soms moet je dieper graven met andere, minder voor de hand liggende statistieken om te bepalen wat er werkelijk aan de hand is”, legt Adi Gelvan, CEO en medeoprichter van databasesoftwareontwikkelaar Speedb, uit.
Een uitlezing met een hoog geheugengebruiksniveau kan bijvoorbeeld betekenen dat een toepassing het geheugen overbelast. “Maar er kan iets heel anders aan de hand zijn – misschien een onderdeel dat het geheugen niet snel genoeg opruimt”, zegt Gelvan. Nader onderzoek kan wijzen op de echte bottleneck, die mogelijk helemaal niet in het geheugen zit. “Als de opslagengine bijvoorbeeld de gegevens niet effectief naar schijven kan dumpen terwijl het I/O-verbruik hoog is, zal het geheugen snel vol raken en de prestaties van het systeem beïnvloeden.”
Om je te beschermen tegen misleidende inzichten, moet je kritisch leren denken en niet meteen overhaaste conclusies trekken. Naarmate bedrijfsprocessen en data-architecturen groter en complexer worden, kunnen er veel dingen mis gaan en kan het lastig zijn om de oorzaak te vinden. “De beste aanpak is om jezelf te omringen met een divers team van materiedeskundigen om mee te overleggen voordat je beslissingen neemt”, adviseert Gelvan.
