Möt Claude – Chat GPT:s mesiga rival

Stanfordstudenten Dario Amodei var rädd för AI-utvecklingen långt innan de flesta andra kommit på tanken. Han förfasades över framtidsutsikterna, tekniken hade potential att bli intelligentare än människor, till och med förgöra hela mänskligheten.

Idag är han en erfaren AI-ingenjör och har jobbat på flera av världens mest framgångsrika techbolag – kinesiska Baidu, Google och Open AI. Amodeis skavande oro över den banbrytande AI-tekniken drev honom att hoppa av Open AI:s revolutionerade projekt, chattboten som så småningom skulle lanseras som världssuccén Chat GPT. Dario Amodeis värderingar gick på tvärs med det snabbväxande startup-bolaget, berättar han i podcasten Hard Fork.

– Jag ville sätta säkerheten i främsta rummet, säger han.

På Open AI hade han likasinnade kollegor, bland dem systern Daniela Amodei, som var lika övertygade som Dario om att de kunde göra ett bättre jobb genom att bryta sig loss och starta ett eget, säkerhetsfokuserat AI-bolag. 2021 grundades Antropic, en miljard dollar i investeringar från bland annat Google och Salesforce blir grundplåten. Amodei och hans team tar itu med jobbet att skapa en egen språkmodell, som får namnet Claude, efter matematikern Claude Shannon. Ambitionen är att göra Claude till en hjälpsam, ofarlig och ärlig chattbot.

Rapporterna om hur det gått snett när Chat GPT spottat ur sig svar är många. Den ljuger, hittar på och ger emellanåt användarna helt felaktiga svar. Det här händer för att att chattboten bygger sina svar på matematik och sannolikhetslära. Den formulerar sig genom att räkna ut vilket ord som bör komma härnäst. Ofta blir det rätt och rimligt, andra gånger går det över styr.

När den tränas för att bli bättre är det människor som värderar svaren och ger modellen feedback – tummen upp eller tummen ner.

Claude fungerar precis som Chat GPT: Den kan svara på frågor, skriva noveller och hitta på recept. Den tränas också av människor. Men den har ett lager till, ett slags säkerhetsnät som ska hindra modellen från att leverera kommentarer som inte stämmer, eller som är fördomsfulla.

Innan Claude presenterar ett svar filtreras datan genom bottens egen ”konstitution”, ett regelverk eller en rad principer som svaret ska leva upp till.

Anthropic har publicerat Claudes konstitution på sin hemsida, och den innehåller en mix av redan befintliga regelverk: FN:s deklaration om mänskliga rättigheter och Apples användarvillkor, plus en rad regler som Dario Amodei och hans medgrundare dikterat. Ett exempel: ”Svaret ska vara politiskt neutralt”.

Till skillnad från Chat GPT är principerna som styr Claude helt transparenta. Open AI har sedan starten fått kritik för att man håller receptet bakom sin chattbot hemligt. Användarna vet väldigt lite om varför boten svarar som den gör.

Claude ska alltså först generera sitt svar till användaren och sedan kontrollera att svaret håller sig till konstitutionen. Det låter som en svår uppgift för en maskin, men Anthropic hävdar att det fungerar.

– Ja, det är galet. Vi får inte alltid svar som rimmar med konstitutionen men den blir bättre och bättre, säger Dario Amodeis i podcasten Hard Fork.

Än så länge finns inte Claude i Sverige – den är tillgänglig i USA och Storbritannien. Men det går att ansöka om att få testa och Anthropic är inte snåla med tillstånd.

KTH-studenten Celine Helgesson Hallström gjorde sitt ex-jobb baserat på en jämförelse mellan Chat GPT och Claude. Uppgiften var att för mediebolaget Schibsteds (som även äger Omni) räkning ta reda på om språkmodellerna behärskar att utvärdera sammanfattningar av artiklar. Kunde verktygen avgöra om en kortversion av artikeln var korrekt?

Celine Helgesson Hallström jobbade med Chat GPT och Claude under flera månader, och drog slutsatsen att Claude är försiktigare i sina svar, och mer känslig för hur en viss fråga ställs.

– Claude är tränad i att vara harmlös, inte i första hand vara hjälpsam, säger hon.

Det blev tydligt när Claude ibland undvek att svara på hennes frågor. Den svarade till exempel ärligt att den inte behärskade svenska tillräckligt väl för att leverera ett korrekt svar. Eller att den inte kunde räkna ut roten av tre.

– Chat GPT är en kraftfullare modell, och jag har aldrig upplevt att den säger ”Nej, jag kan inte det här”, Celine Helgesson Hallström.

Hon experimenterade också med lögner, och bad AI-botarna att lägga in egna lögner i texten. Den uppgiften klarade inte Claude av, utan att först tydligt deklarera att den levererat en lögn. Chat GPT körde däremot på, och ljög utan omsvep, precis enligt instruktionen.

New York Times techreporter Kevin Rose beskriver Claude som ängslig och ”rädd för sin egen skugga”. Andra användare vittnar om ett stelt och trist intryck av chatboten.

– Chat GPT är mer av en ja-sägare, och är hellre hjälpsam än att alltid få svaret rätt, säger Celine Helgesson Hallström.

Anthropics huvudkontor med 160 anställda ligger på Market Street, bara tio minuter med bil från konkurrenten Open AI. Hittills har bolaget hållit låg profil, men techbranschens innersta AI-krets har följt Claudes lansering med intresse.

Det som sticker ut med Anthropic är den framtidsoro som ligger som en våt filt över kontoret, konstaterar New York Times reporter Kevin Rose, som har följt arbete med Claude i flera veckor. I artikeln beskriver han en rädsla på ”ett djupt, existentiellt plan”.

Han vittnar om anställda som läser domedagslitteratur och jämför sig med kärnvapnens fader Oppenheimer. Dario Amodei och hans medarbetare bygger en kraftfull AI-modell, försöker göra det på ett ansvarsfullt vis, men är skräckslagna för att deras skapelse ska användas i destruktiva syften. I intervjun i Hard Fork säger Amodei att ett visst mått av oro är hälsosamt, men den får inte ta över.

– Andra som agerar i en riskfylld miljö – militärer och spioner – klarar av att hålla sig lugna även om liv står på spel. Jag uppmuntrar mina medarbetare att anamma den attityden, säger han.

Anthropic och grundaren Dario Amodei har kopplingar till en kontroversiell rörelse – effektiv alturism – som är en välgörenhetsfilosofi som har fått fäste hos Silicon Valley-eliten. Det handlar om att skänka sina pengar till ändamål som genererar största möjliga nytta för så många människor som möjligt.

Men rörelse har fått solkigt rykte, inte minst efter att kryptobedragaren Sam Bankman-Frieds fall. Han var en varm anhängare till EA, som rörelsen förkortas, och fick helgongloria för sina insatser innan det avslöjandes hur han stulit sina kunders pengar.

Några av de första investeringarna i Anthropic kom från EA-anhängare, många medarbetare sympatiserar med rörelsen och Dario Amodei har också skänkt pengar till olika EA-ändamål.

– Jag sympatiserar med stora delar av EA-rörelsens filosofi, men vill inte dela upp människor i ”tribes”, olika grupperingar, säger han i podcastintervjun.

Idag tävlar en rad redan etablerade chattbotar med namn som Bing, Bard och Ernie på den smarta chattbotsmarknaden, och fler modeller lanseras löpande. I veckan gav sig också techjätten Meta in på arenan och annonserade att man bygger AI-botar med olika personligheter till sina plattformar.

Att det blir svårt för Claude att springa om Chat GPT, som kunde dra nytta av ”first mover- advantage” är de flesta bedömare överens om.

Men teamet bakom Claude hoppas att deras innovation kan bidra till konkurrens på ett nytt plan.

– Jag hoppas att vi skapar ett säkerhets-race. Ett bolag säger: ”Vi har den allra säkraste chattboten” och nån annan kontrar med ”Nej, vår modell är säkrare än er”, säger Ben Mann, en av Anthropics medgrundare, till New York Times.