IT staat synoniem voor bedrijfsvoering voor zowat elk bedrijf van elke omvang. Dus als de technologie uitvalt, kan het bedrijf meegaan.
IT-falen, of het nu een complex systeem of project is, schiet steeds meer naar de top van de zakelijke nieuwssectie, waar de impact nog schadelijker kan worden – en beschamend.
We hebben acht van de grootste technische crises van 2021 verzameld om de soorten bijna catastrofale IT-problemen onder de aandacht te brengen die niet alleen kunnen optreden, maar ook een buitensporige impact hebben op uw bedrijf. Naast leedvermaak hopen we dat deze verhalen over IT-rampen lessen voor je hebben, zelfs als je organisatie lang niet zo groot is of de inzet niet zo hoog is als sommige van de hoofdrolspelers uit deze verhalen.
Waarom u betere gebruikersinterfaces moet ontwerpen (en uw schuldeisers niet boos moet maken)
Veel bedrijven hebben de neiging om een ”als het niet kapot is, repareer het dan niet”-houding aan te nemen ten opzichte van hun IT-tools, en als je ooit deel uitmaakte van een mislukte upgrade of uitrol, weet je waarom. Maar dat kan resulteren in een aantal echt verouderde systemen in productiegebruik met UI’s die dateren uit de vroegste dagen van de software-industrie – wat op zijn beurt bruikbaarheidsproblemen kan veroorzaken met reële gevolgen.
Een van de back-endsystemen van Citibank is een goed voorbeeld van deze trend en is een van de hoofdoorzaken van een blunder van een half miljard dollar. Het verhaal gaat als volgt: Citibank probeerde namens Revlon, een van zijn klanten, een rentebetaling van $ 7,8 miljoen te sturen naar verschillende schuldeisers van Revlon. Om dat te doen in Flexcube, een oud stuk interne Citibank-software, was een bijzonder onhandig proces: de medewerkers van Citibank moesten een transactie opzetten alsof ze de hele lening zouden afbetalen, zodat de rente correct kon worden berekend, en vervolgens meerdere boxen om het grootste deel van de betaling naar een interne Citibank-rekening te sturen, terwijl alleen het rentegedeelte naar de crediteuren ging. Ondanks het feit dat drie verschillende mensen deze transactie voor Revlon ondertekenden, ging het door zonder dat alle juiste vakjes waren aangevinkt, en werd 900 miljoen dollar, waarvan de meeste pas in 2023 aan schuldeisers te wijten waren, verzonden.
Je zult het misschien verrassend vinden dat dit soort fouten niet ongehoord zijn – en dat de begunstigde partij het geld dat ten onrechte is verzonden, meestal terugbezorgt aan het bedrijf dat de blunder heeft begaan. Maar deze keer ging het anders: meer dan de helft van het geld dat werd verzonden, ging naar verschillende hedgefondsen, nog steeds verbitterd dat de voorwaarden van de lening eerder waren heronderhandeld in het voordeel van Revlon. Ze zeiden dat ze het geld beschouwden als een vervroegde betaling van de schuld die ze verschuldigd waren, en dit jaar oordeelde een rechter dat ze het niet hoefden terug te geven.
De grote les hier is om op zijn minst uw gebruikersinterface te moderniseren om ervoor te zorgen dat werknemers hun taken op een gestroomlijnde, coherente manier kunnen uitvoeren – en dat het minder pijnlijk kan zijn om fouten te maken als mensen niet boos genoeg op u zijn om ervan te profiteren.
Sacre blauw! Franse bankklanten zien elkaars rekeningen
Klanten van de Franse bank LCL logden op 23 februari in op hun bank-app en ontdekten dat ze naar de informatie van iemand anders keken. Het woord verspreidde zich snel op Twitter en velen speculeerden dat dit het gevolg zou kunnen zijn van een cyberaanval. Maar volgens de bank zelf was het eigenlijk het gevolg van een softwarefout die binnen een dag was verholpen.
Natuurlijk zijn dit soort ontwikkelingsfouten een teken van intern falen bij de bedrijven waar ze zich voordoen, en ze speciaal zou niet mogen voorkomen in de banksector. De fall-out illustreerde de typische dans die voortvloeit uit dit soort fouten, waarbij het bedrijf de schuld heeft de zaken te minimaliseren: LCL zei dat er geen persoonlijke informatie werd onthuld, dat klanten alleen de rekeningen van andere klanten konden zien, maar geen geld konden overmaken, en misschien alleen een enkele honderden klanten werden getroffen. Anderen wezen erop dat transactie-informatie had kunnen worden gebruikt om de identiteit van klanten te achterhalen, en mogelijk waren tienduizenden gebruikers aan het inloggen terwijl de bug op live code liep. Uiteindelijk moest LCL klauteren om een enorme boete van Europese privacytoezichthouders te ontlopen.
Wanneer software de celdeur op slot houdt
In 2019 heeft de wetgevende macht van Arizona een wet aangenomen die bepaalde gevangenen die veroordeeld zijn voor geweldloze misdrijven toestaat de programmering in staatsgevangenissen te voltooien die hun vrijlating zouden versnellen. Maar klokkenluiders in februari onthulden dat, meer dan een jaar later, de software die de geschiktheid van gevangenen bijhoudt, nog steeds niet is bijgewerkt om aan de nieuwe wet te voldoen. Hoewel de staat erop staat dat in aanmerking komende gevangenen hun straf handmatig kunnen en zullen laten herberekenen, is de waarheid dat velen misschien niet weten dat ze in aanmerking komen voor vrijlating, of geen advocaten van buitenaf hebben om hun zaak te bepleiten, en dus wegkwijnen in de gevangenis terwijl ze volgens de wet het recht hebben om vrijuit te gaan.
Er zijn verschillende lessen voor IT hier. Een daarvan is het belang van het inbouwen van flexibiliteit en uitbreidbaarheid in elk systeem. Een andere is dat software niet zomaar software is: het heeft een reële en diepgaande impact op mensenlevens. Ten slotte is er de vraag hoe wet kan worden geïmplementeerd in de vorm van code – en of de algoritmen voor de handhaving van de wet tijdens het wetgevingsproces moeten worden ontwikkeld in plaats van te worden overgelaten om te worden geschreven nadat het al in de boeken staat.
Het oude HR-systeem van Maine hapert verder
De staat van Maine’s HR en salarisadministratie is, zoals de Portland Press Herald beschrijft het, gerund door een “40 jaar oud systeem geprogrammeerd in een verouderde taal die slechts één staatsmedewerker weet te gebruiken.” Het systeem had al een 2016-poging overleefd om het te vervangen die flopte; een andere poging, die in 2020 zou eindigen, implodeerde afgelopen maart in wederzijdse bitterheid, toen Workday, het bedrijf dat was ingehuurd om een nieuw cloudgebaseerd systeem voor Maine uit te rollen, het project verliet.
De uitrol van ERP-systemen en soortgelijke platforms is berucht om rampen, en de salarisbehoeften van Maine waren duivels complex (staatspolitie kreeg verschillende uurtarieven als ze bijvoorbeeld een wapen droegen, met een K9 werkten of duikuitrusting droegen). De kern van het geschil is een verhaal dat bekend moet klinken voor iedereen die betrokken is geweest bij een groot project als dit: Maine zegt dat het systeem online kwam met een foutenpercentage van 50%, en Workday zei dat de gegevens van Maine, zoals geïmporteerd in het systeem, hopeloos vol met fouten. Meer fundamenteel lijkt het erop dat Maine stafmedewerkers inhuurde om aan het project te werken die niet over de benodigde vaardigheden beschikten, en de staat was niet bereid genoeg te betalen om werknemers te vinden die de rang konden halen. Voeg daar nog wat beschuldigingen van vriendjespolitiek en seksuele intimidatie aan toe en je hebt een echte IT-beheerpuinhoop. Maine gebruikt nog steeds zijn 40 jaar oude HR-systeem.
Amazon’s verlofproblemen
Als uw conclusie uit die vorige twee punten is dat de overheid niet in staat is tot competent projectbeheer, moeten we u helaas mededelen dat dit jaar een niet-soortgelijke crisis aan het licht kwam in een bedrijf uit de particuliere sector – en niet zomaar een bedrijf uit de particuliere sector, maar Amazon, het archetype van de hyperefficiënte nieuwe economie die IT en het web mogelijk hebben gemaakt.
EEN New York Times uit onderzoek blijkt dat de interne processen van Amazon om verschillende soorten verlof aan haar medewerkers aan te bieden, zeer gebrekkig zijn. Dit heeft geresulteerd in een litanie van horrorverhalen die zowel bedienden als arbeiders treft, zoals werknemers die worden ontslagen omdat ze niet komen opdagen terwijl ze met verlof zijn, nieuwe moeders met zwangerschapsverlof die mysterieuze bezuinigingen op hun salaris zien, en een gewonde werknemer met een handicap die gedwongen werd zijn trouwring te verkopen voor contant geld omdat zijn cheques gewoon niet meer kwamen opdagen.
Het blijkt dat Amazon zijn verlofsysteem beheert met behulp van meerdere softwareproducten van verschillende leveranciers, een erfenis van zijn snelle initiële groei, dus misschien is de les hier dat de keuzes die je vroeg in de geschiedenis van een bedrijf maakt, jaren of decennia later kunnen weerklinken. Net als het gevangenissysteem in Arizona probeert Amazon IT-disfunctie te compenseren met menselijke arbeid: 67 fulltime werknemers zijn toegewijd aan het invoeren van gegevens over het verlof van werknemers, een baan die zo stressvol is dat velen uiteindelijk zelf verlof moeten opnemen.
Te veel van je eigen hondenvoer eten
Op 4 oktober hadden mensen over de hele wereld geen toegang tot Facebook, Instagram of WhatsApp, omdat alle diensten van het bedrijf dat nu bekend is bij Meta, waren losgekoppeld van internet. We zullen niet te diep ingaan op de werkelijke oorzaak van de crisis, die een fout inhield in het Border Gateway Protocol, waardoor Facebook-services in wezen werden gescheiden van de rest van het DNS-systeem van het internet. In plaats daarvan willen we ons concentreren op één detail dat relevant kan zijn voor elke IT-winkel, zelfs diegene die geen deel uitmaken van een van de grootste technologiebedrijven ter wereld.
Vroeg in de storing, New York Times tech-reporter Sheera Frenkel meldde dat Facebook-medewerkers het hoofdkantoor van het bedrijf niet konden betreden omdat hun ID-badges openden de deuren niet meer. Dit verhinderde op zijn beurt dat technici fysieke toegang kregen tot de servers die ze nodig hadden om het algehele probleem op te lossen. Het is onwaarschijnlijk dat de elektronische deursloten van Facebook werden aangedreven door … Facebook. Het lijkt erop dat Facebook nogal geobsedeerd is met het runnen van al zijn intern systemen op Facebook’s eigen infrastructuur, wat betekende dat het interne communicatiesysteem ook uitviel en niet in staat was om de crisis het hoofd te bieden. De industriële term voor een bedrijf dat dit doet, is ‘het eten van zijn eigen dogfood’, en het wordt over het algemeen gezien als een blijk van vertrouwen in je eigen producten, maar de ramp van Facebook laat zien dat je een reservevoedselvoorraad nodig hebt.
Een loerende bug wordt snel verwijderd
Op 8 juni werden miljoenen internetgebruikers die toegang probeerden te krijgen tot sites, variërend van Reddit tot belangrijke Britse overheidsdiensten, geconfronteerd met 503 foutcodes, wat aangeeft dat de server die de website host, het verzoek niet kon verwerken. (Twitter werkte nog steeds, maar helaas kon het geen emoji’s meer weergeven.) Hoe konden zoveel verschillende sites tegelijk offline gaan? Het antwoord, zo blijkt, is gerelateerd aan de opkomst van content delivery-netwerken, die proxyservers op strategische punten op het internet inzetten voor hun klanten om supersnelle laadtijden te garanderen. Bijna elke grote inhoudssite gebruikt tegenwoordig CDN’s, en die zijn er niet Dat veel spelers in deze ruimte, en dus als er een uitvalt, kan dit ertoe leiden dat een groot deel van het internet meegaat.
In dit geval was het enige storingspunt Fastly, een edge computing-provider met een bloeiende CDN-business. Op 12 mei snel een software-update uitgerold die een bug bevatte die onder precies de juiste omstandigheden door een specifieke klantconfiguratie kon worden geactiveerd. Op 8 juni heeft een klant onbewust zijn configuratie geüpdatet en een crisis veroorzaakt die zich op het snijvlak van softwareontwikkeling en industrieconsolidatie bevond.
De boodschapper schieten
In oktober, een verslaggever van de St. Louis na verzending, in samenwerking met beveiligingsexpert Shaji Khan ontdekte dat een website waarop het publiek de certificeringen en referenties van leraren kon zoeken, ook onbedoeld het burgerservicenummer van die leraren onthulde. Hoewel de nummers niet echt op de pagina met zoekresultaten zelf werden weergegeven, waren ze in duidelijke tekst in de HTML voor de pagina, waardoor ze triviaal gemakkelijk te vinden waren. De Na verzending informeerde de onderwijsafdeling van de staat over de fout voordat het verhaal werd gepubliceerd, waardoor ze de tijd kregen om het te corrigeren, en als de zaken daar hadden gestaan, zouden we het nu waarschijnlijk niet over dit verhaal hebben.
Maar twee dagen nadat een woordvoerder van het ministerie van Onderwijs begon met het opstellen van een (nooit verzonden) verklaring waarin hij de media bedankte voor het onder hun aandacht brengen van de zaak, beschuldigde de gouverneur de krant publiekelijk van het inhuren van “hackers” om hem en de deelstaatregering in verlegenheid te brengen en beloofde hij een misdaadonderzoek. Na een verdubbeling kreeg hij te maken met terugslag en spot, waaronder een terugslag van leden van zijn eigen politieke partij, en wij zeker zijn nu over het verhaal gesproken. Dus misschien is de les hier dat hoe je omgaat met de gevolgen van een IT-ramp bijna net zo belangrijk is als de ramp zelf.
