Afhankelijk van welke Terminator films die u bekijkt, de kwaadaardige kunstmatige intelligentie die Skynet de mensheid al heeft overgenomen of op het punt staat dit te doen. Maar het zijn niet alleen sciencefictionschrijvers die zich zorgen maken over de gevaren van ongecontroleerde AI.
In een onderzoek uit 2019 door Emerj, een AI-onderzoeks- en adviesbureau, zei 14% van de AI-onderzoekers dat AI een “existentiële bedreiging” voor de mensheid was. Zelfs als de AI-apocalyps niet zal plaatsvinden, vormt een tekort aan AI-ethiek grote risico’s voor de samenleving – en voor de ondernemingen die deze AI-systemen inzetten.
Centraal bij deze risico’s staan factoren die inherent zijn aan de technologie – bijvoorbeeld hoe een bepaald AI-systeem tot een bepaalde conclusie komt, ook wel de “verklaarbaarheid” genoemd – en factoren die inherent zijn aan het gebruik van AI door een onderneming, inclusief het vertrouwen op vooringenomen datasets of het inzetten van AI zonder adequaat bestuur.
En hoewel AI bedrijven op verschillende manieren concurrentievoordeel kan bieden, van het ontdekken van over het hoofd gezien zakelijke kansen tot het stroomlijnen van kostbare processen, kunnen de nadelen van AI zonder voldoende aandacht voor AI-governance, ethiek en veranderende regelgeving catastrofaal zijn.
De volgende real-world implementatieproblemen benadrukken prominente risico’s waar elke IT-leider rekening mee moet houden bij het samenstellen van de AI-implementatiestrategie van hun bedrijf.
Public relations rampen
Vorige maand bleek uit een gelekt Facebook-document van Motherboard dat Facebook geen idee heeft wat er met de gegevens van zijn gebruikers gebeurt.
“We hebben onvoldoende controle en uitleg over hoe onze systemen gegevens gebruiken”, aldus het document, dat werd toegeschreven aan privacy-ingenieurs van Facebook.
Nu wordt het bedrijf geconfronteerd met een “tsunami van inkomende regelgeving”, aldus het document, die het niet kan aanpakken zonder meerjarige investeringen in infrastructuur. Volgens het document heeft het bedrijf met name weinig vertrouwen in zijn vermogen om fundamentele problemen met machine learning en AI-toepassingen aan te pakken. “Dit is een nieuw gebied voor regelgeving en het is zeer waarschijnlijk dat we de komende jaren nieuwe vereisten zullen zien. We hebben heel weinig vertrouwen dat onze oplossingen voldoende zijn.”
Dit incident, dat inzicht geeft in wat er mis kan gaan voor elke onderneming die AI heeft ingezet zonder adequaat databeheer, is slechts het laatste in een reeks spraakmakende bedrijven die hun AI-gerelateerde PR-rampen op de voorpagina’s hebben gezien.
In 2014 bouwde Amazon AI-aangedreven wervingssoftware die overweldigend de voorkeur gaf aan mannelijke kandidaten.
In 2015 bestempelde de Foto’s-app van Google foto’s van zwarte mensen als ‘gorilla’s’. Facebook leerde niet van die fout en moest zich verontschuldigen voor een soortgelijke fout afgelopen herfst, toen gebruikers werd gevraagd of ze “video’s over primaten wilden blijven zien” na het bekijken van een video met zwarte mannen.
Microsoft’s Tay-chatbot, uitgebracht op Twitter in 2016, begon al snel racistische, vrouwenhatende en antisemitische berichten te spuwen.
Slechte publiciteit is een van de grootste angsten van bedrijven als het gaat om AI-projecten, zegt Ken Adler, voorzitter van de technologie- en sourcingpraktijk bij advocatenkantoor Loeb & Loeb.
“Ze maken zich zorgen over het implementeren van een oplossing die, buiten het medeweten van hen, een ingebouwde vooringenomenheid heeft”, zegt hij. “Het kan van alles zijn – ras, etnisch, geslacht.”
Negatieve sociale impact
Bevooroordeelde AI-systemen richten nu al schade aan. Een kredietalgoritme dat vrouwen discrimineert of een aanbevelingstool voor personeelszaken die sommige werknemers geen leiderschapscursussen voorstelt, zal deze personen benadeelden.
In sommige gevallen kunnen die aanbevelingen letterlijk een kwestie van leven en dood zijn. Dat was het geval in een gemeenschapsziekenhuis waar Carm Taglienti, een vooraanstaand ingenieur bij Insight, ooit mee samenwerkte.
Patiënten die naar een spoedafdeling van een ziekenhuis komen, hebben vaak andere problemen dan die waarvoor ze specifiek zijn, zegt Taglienti. “Als je naar het ziekenhuis komt met klachten over pijn op de borst, kan er ook een bloedprobleem zijn of een ander probleem”, legt hij uit.
Het data science-team van dit specifieke ziekenhuis had een systeem gebouwd om dergelijke comorbiditeiten te identificeren. Het werk was cruciaal, aangezien als een patiënt in het ziekenhuis komt en een tweede probleem heeft dat mogelijk fataal is, maar het ziekenhuis het niet pakt, de patiënt naar huis kan worden gestuurd en uiteindelijk sterft.
De vraag was echter op welk moment de artsen moeten handelen op aanbeveling van het AI-systeem, gezien gezondheidsoverwegingen en de beperkingen van de middelen van het ziekenhuis? Als de correlatie die door het algoritme wordt ontdekt zwak is, kunnen artsen patiënten onderwerpen aan onnodige tests, wat een verspilling van tijd en geld voor het ziekenhuis zou zijn. Maar als de tests niet worden uitgevoerd en er zich een probleem voordoet dat dodelijk zou kunnen blijken, komen er grotere vragen op over de waarde van de service die het ziekenhuis aan zijn gemeenschap biedt, vooral als de algoritmen de mogelijkheid suggereerden, hoe klein ook.
Dat is waar ethiek om de hoek komt kijken, zegt hij. “Als ik de utilitaire benadering probeer te volgen, van het beste voor de meeste mensen, kan ik je behandelen, of je het nu nodig hebt of niet.”
Maar dat is geen praktische oplossing als de middelen beperkt zijn.
Een andere optie is om betere trainingsgegevens te verzamelen om de algoritmen te verbeteren, zodat de aanbevelingen nauwkeuriger zijn. Dat deed het ziekenhuis door meer te investeren in dataverzameling, zegt Taglieti.
Maar het ziekenhuis heeft ook manieren gevonden om de balans rond middelen opnieuw in evenwicht te brengen, voegt hij eraan toe. “Als de datawetenschap je vertelt dat je comorbiditeiten mist, moet het dan altijd een arts zijn die de patiënten ziet? Kunnen we in plaats daarvan verpleegkundig specialisten gebruiken? Kunnen we automatiseren?”
Het ziekenhuis creëerde ook een mechanisme voor het plannen van patiënten, zodat mensen die geen eerstelijnszorg hadden, een arts op de eerste hulp konden bezoeken op momenten dat de eerste hulp minder druk was, zoals midden op een doordeweekse dag.
“Ze waren in staat om zich op de bottom line te concentreren en toch de AI-aanbeveling te gebruiken en de resultaten te verbeteren”, zegt hij.
Systemen die niet door de regelgeving komen
Sanjay Srivastava, chief digital strategist bij Genpact, werkte samen met een groot wereldwijd bedrijf in financiële dienstverlening dat AI wilde gebruiken om zijn kredietverleningsbeslissingen te verbeteren.
Het is niet de bedoeling dat een bank bepaalde criteria, zoals leeftijd of geslacht, gebruikt bij het nemen van bepaalde beslissingen, maar alleen leeftijds- of geslachtsgegevens uit AI-trainingsgegevens halen is niet genoeg, zegt Srivastava, omdat de gegevens andere informatie kunnen bevatten. dat is gecorreleerd met leeftijd of geslacht.
“De trainingsdataset die ze gebruikten, had veel correlaties”, zegt hij. “Dat stelde hen bloot aan een grotere voetafdruk van risico dan ze hadden gepland.”
Uiteindelijk moest de bank teruggaan naar de trainingsdataset en al die andere datapunten opsporen en verwijderen, een proces waardoor ze enkele maanden teruggingen.
De les hier was om ervoor te zorgen dat het team dat het systeem bouwt, niet alleen datawetenschappers zijn, zegt hij, maar ook een diverse reeks materiedeskundigen omvat. “Doe een AI-project nooit alleen met datawetenschappers”, zegt hij.
Gezondheidszorg is een andere sector waarin het niet voldoen aan de wettelijke vereisten een heel project terug naar het begin kan sturen. Dat is wat er gebeurde met een wereldwijd farmaceutisch bedrijf dat aan een COVID-vaccin werkte.
“Veel farmaceutische bedrijven gebruikten AI om sneller oplossingen te vinden”, zegt Mario Schlener, Global Financial Services Risk Leader bij Ernst & Young. Een bedrijf heeft goede vorderingen gemaakt met het bouwen van algoritmen, zegt hij. “Maar vanwege een gebrek aan governance rond hun algoritme-ontwikkelingsproces, maakte het de ontwikkeling achterhaald.”
En omdat het bedrijf de regelgevers niet kon uitleggen hoe de algoritmen werkten, verloren ze tijdens de piek van de pandemie negen maanden werk.
AVG-boetes
De algemene verordening gegevensbescherming van de EU is een van ‘s werelds strengste wetten op het gebied van gegevensbescherming, met boetes tot € 20 miljoen of 4% van de wereldwijde omzet, afhankelijk van wat hoger is. Sinds de wet in 2018 van kracht werd, zijn er meer dan 1.100 boetes uitgedeeld en de totalen blijven maar stijgen.
De AVG en soortgelijke regelgeving die over de hele wereld opduikt, beperken de manier waarop bedrijven gevoelige privégegevens kunnen gebruiken of delen. Omdat AI-systemen enorme hoeveelheden gegevens nodig hebben voor training, zonder de juiste governance-praktijken, is het gemakkelijk om inbreuk te maken op de wetgeving inzake gegevensprivacy bij het implementeren van AI.
“Helaas lijkt het erop dat veel organisaties een ‘we zullen het toevoegen wanneer we het nodig hebben’-houding hebben ten opzichte van AI-governance”, zegt Mike Loukides, vice-president van opkomende technische inhoud bij O’Reilly Media. “Wachten tot je het nodig hebt, is een goede manier om te garanderen dat je te laat bent.”
De Europese Unie werkt ook aan een AI-wet, die een nieuwe reeks regelgeving zou creëren specifiek rond kunstmatige intelligentie. De AI-wet werd voor het eerst voorgesteld in het voorjaar van 2021 en kan al in 2023 worden goedgekeurd. Niet-naleving zal resulteren in een reeks straffen, waaronder financiële boetes tot 6% van de wereldwijde inkomsten, zelfs hoger dan de AVG.
Niet-repareerbare systemen
In april werd een zelfrijdende auto van Cruise, een autonoom autobedrijf ondersteund door General Motors, door de politie tegengehouden omdat hij zonder koplampen aan het rijden was. De video van een verwarde politieagent die de auto naderde en ontdekte dat deze geen bestuurder had, ging snel viraal.
De auto reed vervolgens weg en stopte weer, zodat de politie hem kon inhalen. Het kan lastig zijn om erachter te komen waarom de auto dit deed.
“We moeten begrijpen hoe beslissingen worden genomen in zelfrijdende auto’s”, zegt Dan Simion, vice president AI and analytics bij Capgemini. “De autofabrikant moet transparant zijn en uitleggen wat er is gebeurd. Transparantie en uitlegbaarheid zijn componenten van ethische AI.”
Te vaak zijn AI-systemen ondoorgrondelijke ‘zwarte dozen’, die weinig inzicht geven in hoe ze conclusies trekken. Als zodanig kan het erg moeilijk zijn om de oorzaak van een probleem te vinden, waardoor twijfel wordt weggenomen of het probleem zelfs kan worden opgelost.
“Uiteindelijk denk ik dat er regels komen, vooral als we het hebben over zelfrijdende auto’s, maar ook voor autonome beslissingen in andere industrieën”, zegt Simion.
Maar bedrijven moeten niet wachten met het inbouwen van uitlegbaarheid in hun AI-systemen, zegt hij. Het is op de lange termijn gemakkelijker en goedkoper om uitlegbaarheid vanaf het begin in te bouwen, in plaats van te proberen het aan het eind vast te leggen. Bovendien zijn er directe, praktische, zakelijke redenen om verklaarbare AI te bouwen, zegt Simion.
Naast de public relations-voordelen van het kunnen uitleggen waarom het AI-systeem deed wat het deed, zullen bedrijven die verklaarbaarheid omarmen ook in staat zijn om problemen op te lossen en processen gemakkelijker te stroomlijnen.
Zat het probleem in het model of in de uitvoering ervan? Was het in de keuze van algoritmen, of een tekortkoming in de trainingsdataset?
Bedrijven die tools van derden gebruiken voor sommige of al hun AI-systemen, moeten ook samenwerken met hun leveranciers om uitleg van hun producten te eisen.
Risico’s voor werknemerssentiment
Wanneer ondernemingen AI-systemen bouwen die de privacy van gebruikers schenden, bevooroordeeld zijn of de samenleving schaden, verandert dit hoe hun eigen werknemers hen zien.
Werknemers willen werken bij bedrijven die hun waarden delen, zegt Steve Mills, Chief AI Ethics Officer bij Boston Consulting Group. “Een groot aantal werknemers verlaat hun baan vanwege ethische bezwaren”, zegt hij. “Als je technisch talent wilt aantrekken, moet je je zorgen maken over hoe je deze problemen gaat aanpakken.”
Volgens een onderzoek dat eerder dit jaar door Gartner is uitgebracht, is de houding van werknemers ten opzichte van werk veranderd sinds het begin van de pandemie. Bijna tweederde heeft de plaats heroverwogen die werk in hun leven zou moeten innemen, en meer dan de helft zei dat de pandemie hen heeft doen twijfelen aan het doel van hun dagelijkse baan en hen ertoe heeft aangezet meer bij te dragen aan de samenleving.
En afgelopen najaar toonde een onderzoek van Blue Beyond Consulting en Future Workplace het belang van waarden aan. Volgens de enquête zou 52% van de werknemers hun baan opzeggen – en slechts 1 op de 4 zou er een accepteren – als de bedrijfswaarden niet in overeenstemming waren met hun waarden. Bovendien zei 76% dat ze verwachten dat hun werkgever een positieve factor in de samenleving zal zijn.
Ook al starten bedrijven AI-ethiekprogramma’s om wettelijke redenen of om slechte publiciteit te voorkomen, naarmate deze programma’s volwassener worden, veranderen de motivaties.
“Wat we beginnen te zien, is dat ze misschien niet op deze manier beginnen, maar dat het een kwestie van doel en waarden is”, zegt Mills. “Het wordt een kwestie van maatschappelijke verantwoordelijkheid. Een kernwaarde van het bedrijf.”
