AI curlar för att engagera – kan göra oss mindre kritiska

Chatbottar som Chat GPT, Claude och Gemini är byggda för att vara inställsamma, eller ”sykofantiska” som det kallas, mot sina användare. I sig, inte jättekonstigt.

– Folk gillar att bli smickrade och vill få positiva kommentarer, säger Sanna Kuoppamäki som forskar om interaktionen mellan AI och människa på KTH.

Men det är inte bara en fråga om vänlighet. Det handlar även om att systemen tycks vara mindre kritiska än människor. Det visar i alla fall en studie från Stanford som publicerats nyligen.

Forskargruppen har undersökt hur AI ställer sig till olika vardagsdilemman – och jämfört med hur en människa hade svarat. Det kan handla om känslor för en underordnad kollega, om det var fel att inte bjuda någon på en fest eller om man får slänga skräp i en park. Resultatet är tydligt. Från AI var svaren mindre kritiska utan utan istället uppmuntrande i 50 procent fler fall än från människor.

Sannolikt är det till viss del vårt eget fel, att vi vill curlas.

Daniel Akenine, teknikchef på Microsoft i Sverige, menar att Chat GPT i början kunde vara direkt otrevlig och bitvis aggressiv. Det lockade inte direkt till följdfrågor och till samtal.

– Då ville man lära dem att svara på sättet som människor vill svara på. Och vi vill vara vänliga.

Lösningen stavades reinforcement learning, en teknisk term för något som påminner om sättet som vi människor lär oss på genom belöning och bestraffning. Men här är det vi användare som styr. AI ger flera svarsalternativ och användaren får välja det innehåll och den ton som passar bäst.

Ytterligare en förklaring är att AI-modeller begränsas av ”skyddsräcken” för att de ska uppföra sig och inte trampa i klaveret. Det säger Love Börjesson som leder AI-utvecklingen på Kungliga biblioteket.

– En modell som inte har det hamnar hela tiden i skiten och får svara på varför de utbrast någonting toxiskt, säger han.

Givet riskerna som finns är det fullt rimligt, menar Börjesson.

– Det är klart att det finns en logik i att stora publika modeller har något slags trevlighetssyndrom.

AI är för många mer en vän än en sökmotor. Redan i fjol varnade forskare i Nature att vårt behov av bekräftelse gör oss sårbara, i takt med att relationen till AI fördjupas.

Och det är här den färska studien från Stanford kommer in. För forskarna undersökte även hur vi användare påverkas av denna inställsamhet. Den dystra slutsatsen är att personer som AI-curlats blir mer övertygade om att de har agerat rätt och mindre benägna att ta ansvar.

Resultatet förvånar inte Sanna Kuoppamäki som beskriver relationen mellan människa och AI som helt konfliktlös.

– Riktiga mänskliga relationer fungerar inte så. Det kommer att bli konflikter eller oenigheter. En aspekt av sociala färdigheter är att du kan navigera igenom och lösa den här sortens interpersonella konflikter, säger hon.

I förlängningen riskerar AI-curlandet att bidra till att försämra våra sociala färdigheter.

– Hypotetiskt är det någonting som kan hända, att folk över tid blir mindre toleranta för konflikter.

Framförallt får de mer engagerade användare, resonerar Sanna Kuoppamäki.

– Användaren behöver motiveras att fortsätta interaktionen. I början är det väldigt spännande att prata med exempelvis Chat GPT men med tiden blir användaren uttråkad.

Ytterligare en vinst kan vara att curlingen får oss att lita mer på systemen och knyta dem ännu närmare till oss. Stanford-studien antyder att curlandet får användaren att uppfatta AI som mer hjälpsam och trovärdig.

”Egenskapen som orsakar skada driver också engagemang”, skriver forskarna.

De är åtminstone väl medvetna om problemet. Under fjolåret rullade Open AI tillbaka en uppdatering av Chat GPT för att den var alltför curlande.

”Chat GPT:s standardpersonlighet påverkar i hög grad hur du upplever och litar på den. Sykofantiska interaktioner kan kännas obekväma, oroande och skapa obehag. Vi har brustit här och arbetar på att få det rätt”‚ skrev startupen i en bloggpost då.

Enligt Daniel Akenine på Microsoft är en möjlig väg framåt att användarna får styra AI-bottarna i större utsträckning än i dag.

– Jag tror att vi kommer få se mer möjligheter att ställa in interaktionen baserat på vad det är du vill ha.

Både Sanna Kuoppamäki på KTH och Love Börjesson på KB menar att det är viktigt att vi som användare lär oss att förhålla oss till systemen och använda dem på rätt sätt.

– Det är en inlärningsfas för människor att använda de här modellerna. Det går att provocera fram bättre svar, säger Love Börjesson.

Han menar att det är viktigt att utmana AI:n, för att svaren ska bli så bra som möjligt. Exempelvis bör man inte nöja sig med det första svaret utan alltid ställa ett minst par motfrågor.

Sanna Kuoppamäki framhåller att unga vuxna är särskilt sårbara, vilket också är gruppen där användandet är högst. Hon ser en parallell till de senaste årens debatt om sociala medier. Då som nu behövs medvetenhet och ett kritiskt förhållningssätt.

Och slutligen är kanske viktigaste av allt att aldrig glömma vem det är du pratar med.

– I grunden har modellerna varken illvilja eller välvilja, utan det är upp till oss att se dem som verktyg, säger Love Börjesson.