Mistral, en fransk startup, som udvikler kunstigt intelligente løsninger til andre virksomheder, spillede en hovedrolle i maratonforhandlingerne om den vestlige verdens første regulering af AI.

Den under et år gamle europæiske virksomhed, der allerede er vurderet til at være to milliarder euro værd, fik den franske præsident, Emmanuel Macron, til at modsætte sig en række formuleringer i udkastet til AI Act, som EU’s parter blev enige om fredag den 8. december 2023 efter knap 40 timers trepartsforhandlinger. 

Macron mente, at de såkaldte grundlæggende modeller burde være baseret på frivillige regler, som de er i USA og UK, hvor Mistral har sine primære konkurrenter. Det var da også Ministerrådets indstilling, bakket op af Tyskland og Italien. Sådan endte det ikke, men Macron udviser stadig skepsis.

Til Financial Times tre dage senere sagde han, at han var bange for, at den nye AI Act vil hæmme innovationen, og han nævnte igen Mistral som eksempel. Mistral har med kun 22 ansatte syvdoblet sin værdi i sin korte levetid på at bygge teknologiske løsninger, som andre virksomheder kan bruge til chatbots, søgemaskiner, onlineundervisning og andre AI-drevne produkter.

Macrons modstand viser desværre, at så snart en nation har store eller lovende virksomheder inden for et område, så sker der en politisk opblødning omkring ønsket om at lovgive dem. Det er præcis sådan, det er i USA, hvor AI-regler er frivillige. Her er der tale om selvregulering, hvor det er op til techvirksomhederne selv at opføre sig ordentligt. Det hele her handler om at slå Kina – der i øvrigt for længst har indført regulering af AI.

De store amerikanske techgiganter har selvfølgelig også lobbyet voldsomt i Europa for at udvande AI Act. De ønsker ikke stram regulering, selvom de markedsfører sig på, at de netop ønsker regulering og er bange for, at AI kan løbe løbsk. Meta bakkede derfor også op om Macron og kastede grus i maskineriet med en lille løgn. Metas AI-chef, Yann LeCun, skrev på X, at grundlæggende modeller blev tilføjet lovgivningen ”i sidste øjeblik”, hvilket ikke er sandt, da den franske regering selv lagde ideen på bordet i maj 2022, ifølge AI-ekspert Gary Marcus. 

Verdens andenstørste økonomi, EU, landede altså på en lov, der om to år erstatter frivillighed med bindende regler. Med lovgivningen forsøger EU at sikre demokratisk kontrol over en teknologi, som selv de, der udvikler den, er bekymrede for, kan løbe løbsk, og som i dag er udviklet udelukkende med profit for øje – ikke med menneskeheden eller planeten i centrum.

Med AI Act ville SnapChat f.eks. ikke have kunnet lancere SnapAI, den kunstigt intelligente chatbot, som især børn og unge samtaler med, uden at de havde dokumenteret, at der ikke er risiko for, at den f.eks. manipulerer brugerne.

De nye regler er udviklet med en risikobaseret tilgang og inddeler brugen af AI efter, om der er minimal risiko, højrisiko, eller om de helt skal forbydes, og selvfølgelig er der undtagelser. Men overordnet kan man godt, som Version2 skriver, sige, at mennesket beskyttes mod diskriminerede algoritmer og systematisk manipulation. 

Forbud

AI Act indfører totalforbud mod systemer, der manipulerer menneskers adfærd og omgår vores frie vilje. Det kunne være legetøj med stemmestyring, der opfordrer til farlig adfærd. Eller systemer som i Kina, der laver ”social scoring” af mennesker baseret på vores adfærd og persondata. Eller systemer, der udnytter menneskelige sårbarheder som handicap eller alder.

Der er også forbud mod biometriske systemer baseret på følsomme data som politiske holdninger eller seksuel orientering. Man må f.eks. ikke bruge følelsesgenkendelsessystemer på arbejdspladsen og uddannelsesinstitutioner.

Der er også forbud mod at politiet bruger ”predictive policing” – altså forudser, om en person risikerer at ende som kriminel. Endelig er der sat grænser for, hvorvidt myndighederne må bruge live, fjernstyrede biometriske identifikationssystemer på offentlige steder. 

Netop her er der dog smuthuller, som bekymrer den tyske organisation Algorithm Watch:

”AI-systemer, der bruges til at ”genkende” asylansøgeres følelser, eller AI, der bruges til at identificere folks ansigter i realtid i det offentlige rum med det formål at søge efter en mistænkt for en forbrydelse, legaliseres gennem smuthuller og undtagelser,” skriver den og understreger, at alvoren først står helt klar, når detaljerne er på plads i den endelige tekst.

Smuthullet kan også bane vejen for det, de gør på Brøndby Stadion. Her får publikum ved indgangen læst deres ansigter af et biometrisk AI-system. De bliver så sammenlignet med en konkret liste af fodboldbøller, som har forbud mod at komme på Brøndby Stadion, så man kan afvise dem på stedet. Denne brug er en undtagelse, der er godkendt af Datatilsynet, blandt andet fordi alle billeder af publikum, der ikke identificeres som en af de kendte bøller, slettes med det samme. 

Minimal risiko, transparensrisiko og højrisiko AI

Virksomheder, der udvikler og sælger AI med minimal risiko, er f.eks. spamfiltre og anbefalingsalgoritmer. De har fripas.

Der kan dog være tale om ”særlige transparensrisici” i alle former for brug af AI. Hvis man benytter sig af f.eks. chatbots eller menneskelignende teknologi, skal man gøre brugerne opmærksomme på, at de interagerer med en maskine. Alle former for AI-genereret indhold skal mærkes som værende AI-genereret, og hvis man bruger folks biometriske data eller følelsesgenkendelse, skal de også informeres om dette. Desuden skal producenterne sikre, at alle disse AI-systemer er markeret i et maskinlæsbart format og teknisk kan detekteres som kunstigt genereret.

Den sværeste og største kategori er højrisiko AI. I den ligger kritisk infrastruktur, når det gælder vand, gas og el. Den dækker over medicinske enheder, systemer til at vurdere adgang til uddannelsesinstitutioner og HR-systemer, der bruges til rekruttering. Den kan dække over systemer, der bruges ved grænsekontrol, domstole og andre demokratiske processer. Systemer, der bruger biometriske og følelsesmæssige data anses også som højrisiko.

Alt, der kan kategoriseres som højrisiko, hvilket AI-udviklerne desværre selv skal afgøre, skal udarbejde konsekvensanalyser og vurdere, hvad det betyder for menneskets grundlæggende rettigheder. Der skal også altid være menneskelig kontrol over dem. Og brugerne, der kommer i kontakt med højrisiko AI, har ret til en forklaring. hvis deres rettigheder påvirkes, og vi skal kunne klage over det. 

Langsommelig demokratisk proces

Regulering er en langsommelig demokratisk proces. Der går mindst to år, før loven er gældende for alle. I den tid satser EU på frivillig implementering af reglerne. Det kommer vi sikkert til at se fra de virksomheder, som går op i at opføre sig ordentligt. Herhjemme har vi f.eks. chatbotvirksomheden SupWiz, der anses som en mønstervirksomhed, når det gælder overholdelse af f.eks. GDPR, EU’s persondatalovgivning fra 2018. 

Men andre vil trække tingene i langdrag. Ikke mindst de amerikanske giganter. Meget ofte ser vi netop dem lancere tjenester, som de godt ved, er på kant med lov og etik. De spørger som regel ikke om lov, de gør det bare og beder så om tilgivelse og siger undskyld, hvis der opstår problemer.

Det har vi f.eks. set Meta gøre i det amerikanske senat, hvor Mark Zuckerberg lod, som om han var overrasket over, at Facebooks algoritme manipulerede med brugerne. Det kommer vi måske også til at se med OpenAI’s Sam Altman, der har lanceret ChatGPT vel vidende, at den er udviklet ved hjælp af alverdens folks data og kunstneriske værker på nettet, uden at de havde spurgt om tilladelse. 

Sådan bliver det en konkurrencefordel

Ligesom franske Mistral og Macron er bekymrede for, at AI Act vil hæmme innovationen, er Dansk Erhverv heller ikke helt tilfreds.

”Vi ser positivt på, at der vælges en risikobaseret tilgang. Men de omfattende byrder og dokumentationskrav vil især gå hårdt ud over SMV’erne, som udgør rygraden i dansk økonomi. Det skaber reelt ulige konkurrence i markedet. Og det er ærgerligt, når vi i Europa i forvejen halter så langt efter USA og Kina i konkurrencen om ikke bare at anvende, men også udvikle AI,” siger Nikolaj Wædegaard, branchedirektør i Dansk Erhverv.

Der er to veje, det kan gå. 

Den ene vej er, at Mistral flytter sit juridiske hovedsæde til USA. Samme uge, som EU blev enig med sig selv om AI Act, fik Mistral, der er stiftet af tre mænd, som tidligere har arbejdet for Meta og Google, 400 millioner euro i venturekapital, ifølge The New York times.

En af investorerne er Andreessen Horowitz, en af Silicon Valleys mest grådige AI-investorer. Medstifter Marc Andreessen står samtidig bag et AI-manifest, der er decideret jubeloptimistisk, når det gælder teknologi – uden det mindste forbehold for de risici, som mange AI-eksperter er bekymrede for.

Som amerikanske VC-firmaer har gjort så mange gange før over for de virksomheder, de investerer stort i, så kan det være, at de kræver af Mistral, at de også flytter deres juridiske hovedsæde til USA. Det ville være en sørgelig udvej for Europa. 

Den anden mulige vej er, at politikerne gør det til en ægte konkurrencefordel for de europæiske virksomheder at leve op til AI Act og anden datalovgivning. Det kunne de gøre ved at kræve, at alle offentlige instanser i EU kun køber lovligt og etisk ansvarligt ind. Ikke kun når det gælder grønne indkøb, men også, når det gælder teknologiske indkøb, så hvis de skal have en cloud-løsning eller en chatbot, kunne de starte med at se sig omkring i Europa. Det ville give både danske SupWiz, franske Mistral og mange andre europæiske virksomheder et kæmpe og nødvendigt rygstød.