Hvordan ville du reagere, hvis du kom til lægen for at få svar på en blodprøve, og lægen med hovedet begravet i skærmen sagde: 

”Jeg kan ikke sige, hvad der ligger bag, men sundhedsplatformens AI-model har en anbefaling til, hvilken medicin du skal tage, så nu udskriver jeg en recept…”?

Det er svært at forestille sig, at følelsen af tryghed og tillid ville dominere hos mange, og den erkendelse har i de senere år gjort XAI, explainable AI, til et hastigt voksende område og marked. For når beslutninger og vurderinger udført af AI-modeller i stigende grad påvirker vores liv, ikke blot på Netflix og SoMe, men også i sundhedsvæsenet og inden for finans, forsikring og retsvæsen, bliver tryghed og tillid altafgørende. Problemet er, at begge dele har trange kår, hvis man ikke ved, hvorfor AI-modellens anbefaling blev, som den blev. Det hjælper måske lidt, at mange systemer i dag er så gode og robuste, at de træffer mere korrekte beslutninger end mennesker, men kunstig intelligens kan stadig lave alvorlige fejl, og hvis indsatsen er høj nok, kan det koste både liv, frihed og boliglån. Og nok så vigtigt: Det kan skade den generelle tillid til AI-modellers beslutninger og dermed forsinke implementeringen af den effektive teknologi. 

Vi har brug for XAI

Det voksende behov for XAI hænger direkte sammen med AI’s generelle succes, og den er hastigt tiltagende. I mange år har det i bedste fald været omdiskuteret, om ikke historierne om AI’s evne til at diagnosticere bedre end læger var mere hype end klinisk virkelighed, men efterhånden begynder gennembruddene at vise sig. 

Flere AI-værktøjer kan diagnosticere sygdomme i praksis, og brugen inden for risikoanalyser, økonomiske fremskrivninger og meget andet bare stiger og stiger. Den canadiske virksomhed Verafin har f.eks. udviklet værktøjer, der kan forudsige svindel, svig og hvidvask. Det gør den med stor succes, men hvis du anklager en borger eller en virksomhed for sådanne ting, er det nødvendigt at forklare, hvad anklagen hviler på. Det er ikke nok at henvise til, at ”det siger vores AI-model.” Heller ikke selvom sandsynligheden, for at den har ret, er stor. 

AI står til at få meget stor betydning i forskellige beslutningssystemer – og at kunne hjælpe med at løfte korrektheden i mange af dem – i de kommende år. Store og væsentlige dele af vores liv vil derfor komme til at hvile på beslutninger truffet af AI-modeller, ofte baseret på så mange parametre, at rationalet for beslutningen er stort set umuligt at gennemskue for et menneske. 

Det store XAI-dilemma

Og heri ligger måske XAI’s største dilemma: Grundlaget for at være så eminent god til at træffe rigtige beslutninger hænger uløseligt sammen med evnen til at finde hoved og hale i gigantiske datamængder. Hvis vi skal forklare til et menneske, hvad beslutningen hviler på, vil det i ganske mange situationer blive en kraftig forenkling. Jeg har selv talt med flere læger, der advarer mod at skrue forventningerne til explainability alt for højt op. Grunden til, at de mest avancerede former for AI virker, er jo netop, at de kan overskue noget, vi ikke selv kan overskue. Noget tyder altså på, at vi heller ikke med AI både kan blæse og have mel i munden.

Nemme og svære fordomme

Problematikken kan være forbundet med bias i data – altså dette her med, at de data, en algoritme er trænet på, f.eks. har køns- eller racemæssige slagsider. Et område, som man på mange måder har arbejdet effektivt med for at komme til livs, men som stadig volder problemer, fordi bias ofte skyldes fordomme, vi ikke selv ved, vi har. 

Et eksempel på, at problemet blev taget i opløbet, så vi, da et hold amerikanske forskere udviklede en AI-model til at analysere nyrefunktion. Den viste, at nyrerne hos sorte mennesker var 16 procent sundere end hos hvide mennesker. Her var det imidlertid relativt nemt for lægerne at skrotte modellen, for de vidste fra sikre data, at sorte amerikanere har fire gange så stor risiko for at få nyresvigt end hvide amerikanere. Bias var med andre ord let gennemskuelig. Men når sagen er mere kompleks, kan fordrejede data risikere at leve videre i modellerne i årevis og træffe dårlige beslutninger, der skader liv og distribuerer uretfærdighed, uden at vi opdager det. 

Ingeniører vs. politikere vs. borgere

Desværre stopper problematikkerne ikke her, og flere er skeptiske overfor, om XAI overhovedet er den redningsplanke, vi har brug for, hvis den smarte teknologi ikke skal løbe af med os. XAI er nemlig ikke bare en svær og kompleks disciplin, men også et område med forskellige tilgange og mål, der peger i vidt forskellige retninger. Mens ingeniørerne måske vil fokusere på at forbedre systemets performance og opdage ny viden, er behovet et andet, når systemet skal implementeres. Her kan målet være at forklare AI-systemets rationale og dets styrker og svagheder i forhold til at fremme samarbejdet mellem menneske og maskine. Oven i det kommer det meget omtalte governance-aspekt, som har fokus på førnævnte udfordring med at bygge tillid, beskytte mod bias og sikre overholdelse af regler og politikker. 

Forretningspotentialet er enormt

Til trods for disse og flere andre vanskeligheder er troen på, at XAI er vejen frem, stor, og XAI-markedet spås at vokse betydeligt i de kommende år. En rapport fra ”Research and Markets” estimerer væksten til at gå fra 3,5 milliarder dollars i 2020 til 21 milliarder dollars i 2030. I takt med at myndighedernes krav stiger – fra EU’s side er explainability en væsentlig faktor i AI-reguleringen – ses XAI simpelthen af mange som selve forudsætningen for rigtigt at sætte turbo på AI-implementeringen. 

En af dem, der har det med at være helt fremme, når ny teknologi rykker, er Tesla- og SpaceX-stifter, X-ejer, solcelleentreprenør og satellitopsender Elon Musk; det skyldes næppe kun, at han godt kan lide bogstavet X, at hans nye firma hedder xAI. Firmaets officielle ambition er ”at forstå universets sande natur”, så givet at det bliver AI, der skal give den ben at gå på, må explainability formodes at blive højt prioriteret. Det er i øvrigt værd at notere sig, at det er noget af et team, han har samlet. Det består bl.a. af tidligere medarbejdere fra DeepMind, OpenAI, Google Research, Microsoft Research og Tesla, hvilke sammen væsentligt har tidraget til nogle af de mest anvendte metoder, teknikker og analyser inden for AI, herunder naturligvis også GPT-3.5 og GPT-4. 

Oraklernes tid er ikke forbi

Mens Musks generalieblad i forhold til at gøre teknologi alment tilgængeligt taler sit eget letforståelige sprog – uanset, hvad man nu har af personlig aversion mod eller veneration for manden – er det naturligvis for tidligt at sige, hvad udfaldet bliver af xAI. Musk har før været overoptimistisk på flere teknologiers vegne, fra androide robotter til selvkørende biler. 

Generelt kan der, når vi taler XAI, også meget vel blive tale om et hav af kompromiser. Hvilken grad af usikkerhed må og vil vi som borgere og samfund acceptere i vores forståelse af AI-beslutninger? Og vil nogle ikke synes, at forklaringen kan være ligegyldig i de tilfælde, hvor vi overordnet ved, at en given model rammer rigtigt i 99,9 procent af tilfældene? De spørgsmål bliver det ikke let at finde entydige svar på. Dilemmaet minder på sæt og vis om det, vi ser, når vi holder individrettigheder op mod flertallets velfærd. Vil vi ofre nogle få individer i bestræbelserne på bedre behandlinger, bedre service, kortere ventelister og, måske, længere levetid for flertallet? I et rettighedsbaseret system som EU giver svaret næsten sig selv, men enkelt er det alligevel ikke. I dag er der f.eks. en tendens til, at vi stiller større krav til AI-beslutninger end til menneskebeslutninger, der som bekendt også kan være behæftet med både fejl, bias og mange andre usikkerheder. Men er det egentlig til samfundets gavn at tænke sådan? 

De svære spørgsmål fortsætter, når vi ser isoleret på sundhedsvæsenet. Her gentages det igen og igen, at målet ikke er at overlade beslutninger til AI, men alene at få beslutningsstøtte. Men vil vi opretholde det ideal, når vi rammer et tipping point, og det bliver mere risikabelt at inddrage mennesker end at overlade det hele til kunstig intelligens? Og gælder det samme ikke for kreditvurderinger, forsikringsværdighed og meget andet, at vi før eller siden vil finde det alt for risikabelt at overlade den slags vigtige beslutninger til mennesker, som er plaget af både fordomme, kognitive mangler og dårlige dage? 

Spørgsmålene er mange, og svarene svære. Men måske bør det ikke frustrere os – at stille de rigtige spørgsmål kan nemlig blive afgørende. 

Det ultimative spørgsmål

Løfter vi os endnu et skridt ud i fremtiden, kan vi således forestille os scenarier, hvor indsatsen er endnu højere, og abstraktionen af de spørgsmål, vi søger svar på, stiger yderligere. Det tragikomiske mareridt er en situation, hvor Elon Musk endelig kan præsentere os for en formidabel sandhedsmaskine, der kan give os svaret på det ultimative spørgsmål om universet, livet og alting, mens det aldrig faldt entreprenøren ind, at svaret vil være ubrugeligt, hvis vi ikke kan blive enige om, hvad det ultimative spørgsmål er.