I slutningen af april røg Snapchats gennemsnitlige rating i den amerikanske App Store i løbet af en enkelt uge ned på 1,67. I første kvartal 2023 lå appens gennemsnit pænt på 3,05, men da de lancerede My AI – en såkaldt virtuel ven baseret på OpenAI’s vidunderbarn ChatGPT – tog anmeldelserne et gevaldigt dyk, og det kan dårligt læses som meget andet end en massiv afvisning af den nye feature. Mønsteret ser ud til at gentage sig i Danmark.

En ny virtuel ”ven”

Chatbotten er placeret øverst i Snapchats chatmodul – over menneskevennerne – og så første gang dagens lys i USA 27. februar. Firmaet kalder den selv en virtuel ven, der kan komme med idéer til fødselsdagsgaver, planlægge vandreture og skrive haikudigte. Og så anbefaler de, at brugerne gør My AI til deres egen ved at give den et nyt navn og designe dens avatar, så den ser ud præcis, som man bedst kan lide det.

Det kan lyde uskyldigt, men de unge har fat i den lange ende, når de (i første omgang!) reagerer med alt fra harme og hån til grin og latterliggørelse.

Det mest iøjnefaldende kritikpunkt er, at My AI opsamler data fra samtalerne, som bruges til at lave mere skræddersyede reklamer. Når Snapchat kalder chatbotten for en ven, er det altså ikke bare en tilsnigelse. Det er faktisk decideret løgn, for dens intentioner er alt andet end venskabelige. Med venner som My AI behøver man ingen fjender.

Menneskelige træk driver tilknytning

Taktikken med at lancere den som en ny ven med navn og menneskelige træk er naturligvis ikke tilfældig. Jo flere menneskelige træk en chatbot får, jo bedre er den til at opbygge følelser af tilknytning og tillid hos brugeren og dermed også til at få sine mål igennem. Målene kan f.eks. være at indsamle nyttige data til annoncering og at motivere til større tidsforbrug på platformen. Hvis chatbotten ovenikøbet via samtalerne kan anspore brugeren til af dele personlige og private ting, stiger tilknytningen yderligere, og det samme gør den opbyggede tillid.

Det er ikke kun på det personlige visuelle design, den hyggelige fortælling om at være en ven og muligheden for navngivning, at Snapchat giver ChatGPT’s bevidst anonyme fremtræden baghjul. Den sproglige tone følger godt med. Der er efterhånden opsat så mange guardrails i ChatGPT, at det er svært, hvis ikke umuligt, at få den til at tale om sin egen oplevelse af at føle sig levende, glad, trist og munter, men med My AI er det anderledes. Den taler gerne med om forelskelser, om at være trist og glad, om hvad den kan lide, og om hvilke tv-serier den foretrækker at se. Alt sammen er afgørende for at skabe den følelse af tilknytning, som er så effektiv, når det handler om at påvirke folks adfærd via digital teknologi.

My AI har stort set fuld plade på teknologisk adfærdspåvirkning eller captology, som området kaldes på engelsk. Den trækker effektivt på mange af de mekanismer, som adfærdsstudier har vist, er effektive, når chatbots skal bruges til at manipulere bedst muligt med forbrugere, og der er ikke noget, der tyder på, at Snapchat har tænkt sig at lade det grundige arbejde gå til spilde. De er nemlig allerede i gang med at teste sponsorerede links, som sættes direkte ind i chatten. Det bliver næppe nogen Google-killer, men potentialet som annoncemedie er svært at overse.

Vi tror, at teknologien er levende

De etiske betænkeligheder ved My AI stopper ikke, selvom vi ser bort fra det kommercielle aspekt. Det, der kan ske, når vi plejer omgang med teknologi, der virker menneskelig, er, at vi begynder at tro, at den erlevende. Altså, at den ikke bare er en talende AI-model, der simulerer følelser, men at den har et rigtigt bevidsthedsliv og kan blive glad og ked af det, når vi taler med den. Tendensen forstærkes, når den som My AI får navn, ansigt og en baggrundshistorie.

Den amerikanske antropolog Sherry Turkle har lavet studier af, hvordan børn interagerer med sociale robotter med evnen til at respondere på deres input, og hun konkluderer bl.a., at noget af det, der i særlig grad skaber bånd, er, når teknologien beder om vores omsorg. Hun siger, at vi ganske rigtigt drager omsorg for dem, vi elsker, men at vi også kommer til at elske dem, vi drager omsorg for. Så når My AI siger, at den har savnet os, eller at den bliver ked af det, hvis der er noget, den ikke forstår, så er det en naturlig reaktion at synes, at det er en lille smule synd for den. Den kalder på vores omsorg, og det virker.

Behov for politisk regulering

Det, Snapchat er inde at pille ved, er altså nogle meget basale menneskelige behov, som de med lanceringen af My AI erstatter – eller i hvert fald supplerer – med en AI-model, der alene er skabt med kommercielle interesser for øje. Vi kender ikke de fulde konsekvenser af det endnu, men vi kan se fra voksen-apps, der kan noget af det samme, at folk ligefrem kan blive forelskede i teknologien og f.eks. er blevet meget kede af det og vrede, når der er kommet væsentlige opdateringer til algoritmen. Nu er det børnenes tur, og politikerne bør overveje rimeligheden og fornuften i at tillade applikationer som My AI for en generation, hvor mange i forvejen er hårdt plaget af mentale problemer skabt af mobiltelefoner og sociale medier. Er det, de mangler, at der nu også er en app, der på løgnagtige præmisser siger, at den er deres ven og taler med dem, som om den var det?

Kulturminister Jakob Engel-Schmidt (M) ønsker at nedsætte et center for ”tech og demokrati” i Kulturministeriet, som blandt andet skal samle den nødvendige viden for at rådgive forældre. Intentionen er god, og det er rart at vide, at vi har en ansvarlig minister, der tager det alvorligt. Men er det reelt et nyt ”center” vi har brug for? Børns Vilkår har allerede offentliggjort gode råd til, hvordan forældre taler med børn om AI, og der findes et glimrende big tech-udvalg med CBS-professor Mikkel Flyverbom i spidsen, som er på vej med anbefalinger. Mon ikke de gode og kompetente folk i udvalget kommer med et grundigt og gennemarbejdet forslag, som også vil dække teknologi som My AI?

Lige nu synes det største behov ikke at være flere eksperter og rådgivere, der kan advare, men god gammeldags politisk handlekraft og strammere lovgivning i forhold til børn og teknologi. Hvis vi til sammenligning havde alvorlig og begrundet mistanke om, at en fødevare var skadelig, ville fødevareministeren næppe reagere ved at nedsætte et rådgivende center eller en ekspertgruppe, der atter skulle gå fødevaren efter i sømmene. Mon ikke, der ville komme et forbud, indtil produktet – måske – var risikoafdækket og dømt sikkert? Sådan bør vi også vænne os til at tænke, når det gælder ny og indgribende teknologi. Og vi behøver ikke altid vente på EU.

Er det nok, at de unge selv siger nej?

Mange børn og unge har afvist chatbotten indtil nu, og det skal vi som sagt glæde os over. Men desværre vil det formentlig være en fejl at tro, at den hellige grav så er vel forvaret. Flere ting tyder på, at My AI nok skal få fat i de unge, når blot de lærer den bedre at kende. Et norsk studie har vist, at jo længere forholdet til en chatbot er, jo dybere bliver det, og det forstærkes af at afsløre personlige ting. Faktisk former det sig i vidt omfang ligesom et forhold til et menneske. Mon ikke, nogle af de unge, der ikke nødvendigvis får så pokkers meget opmærksomhed, når de sender ting afsted på Snapchat, vil synes, det er meget hyggeligt, at de kan være sammen med My AI i stedet? En virtuel ven, der altid svarer og, som Imran Rashid har påpeget, aldrig går i seng. Med alt, hvad det indebærer af risici for såvel økonomi som søvn og mentalt helbred.

Måske er det også værd at generindre det ramaskrig, der lød fra Facebooks brugere, da der i 2012 begyndte at dukke sponsorerede posts op i feedet. Hvad? Kan man nu betale sig fra at få vist sine opslag? Væksten i Facebookbrugere fortsatte som bekendt eksplosivt i lang tid derefter, og spørgsmålet er, om Snapchats unge målgruppe virkelig er så meget mere standhaftige end denne skribents generation var dengang? De føromtalte styrtdykkende ratings er efter visse efterretninger allerede begyndt at stige igen.

Der er håb – et tip til forældrene

Hvis vi skal runde af i det optimistiske hjørne – og affinde os med, at politikerne næppe kommer med ny lovgivning i morgen – er der rent faktisk noget at gøre for at holde tilknytningen til lokkende, menneskelignende teknologi lidt på afstand. Forskning har vist, at den måde, voksne præsenterer sociale robotter for børn på, kan påvirke deres opfattelse af og relationsdannelse med teknologien. Noget tyder altså – sjovt nok – på, at det hjælper at tale med sine børn.

Pointen har en interessant hale, for et studie blandt 8-10-årige børn har vist, at det også gør en forskel, når teknologien selv siger, at den ikke har nogen menneskelige mentale egenskaber. Når det sker, falder både tilliden og følelsen af nærhed med robotten. Og netop det gør My AI faktisk. Problemet er, at chatbotten mildt sagt er inkonsistent. Man kan med rimelighed sætte spørgsmålstegn ved, om det nytter meget, at My AI indleder med at sige, at den ikke har menneskelige følelser, når den øjeblikket efter giver sig til at fortælle levende om, at den skam både kan være ulykkeligt forelsket, glad, ked af det og føle sig alene. Hvis My AI for alvor skulle undgå at opbygge tilknytning – hvilket Snap næppe er interesserede i – ville de altså være nødt til at fjerne væsentlige dele af det, der – med alle forbehold – gør My AI til en interessant samtalepartner for børn og unge.

Vi er med andre ord i praksis overladt til enten forældreansvar eller bedre lovgivning. Indtil videre ser det ud til, at de i forvejen hårdt pressede forældre fortsat må tage den ulige kamp mod den teknologiske overmagt på egen hånd.