Skrekkvisjonene og mediapanikkene florerer. Vi leser om at kunstig intelligens og KI-agenters inntog kan bety slutten på menneskeheten innen få år. Toppsjefer i flere av de største KI-selskapene i verden mener utviklingen av kunstig intelligens må bremses.
Men hva om forskere i stedet kan utvikle kunstig intelligente agenter som ikke finner på å utslette oss i ren iver, men derimot er pålitelige, etisk reflekterte, grønne og ansvarlige? Agenter vi kan etterprøve ned til minste detalj. Er det for godt til å være sant? Kanskje ikke.
TRUST – Norsk senter for pålitelig KI jobber nettopp med det for øye, og ambisjonene er skyhøye.
En «monsterbølge» skyller inn
KI-begrepet dekker tre ulike kategorier av kunstig intelligens, hvor agentisk KI er det store nye. De to andre er klassisk maskinlæring (ML) og språkmodeller av typen ChatGPT. De tre teknologiene er ikke uavhengige kategorier, de bygger oppå hverandre som russiske dukker.
Klassisk ML la fundamentet for utviklingen av slike agenter, språkmodellene ga teknologien en avansert hjerne, og agentisk KI er systemene som nå gir denne hjernen hender og føtter til å utføre selvstendig arbeid. Dyp læring ligger som et viktig metodisk prinsipp bak utviklingen av KI-agenter.
Utviklingen går veldig raskt. Agentisk KI, populært kalt KI-agenter, var ikke i fokus da TRUST i 2025 søkte om midler fra Forskningsrådet om å bli et nasjonalt forskningssenter.
– Dette ble plutselig svært relevant etter at vi skrev søknaden, og det omfattende søkelyset på dem nå føles som en monsterbølge som skyller over oss forskere, forteller professor Geir Kjetil Ferkingstad Sandve.
En KI-agent har egenskaper mange forbinder med mennesker. En høyt fungerende KI-agent skal ta selvstendige beslutninger og utføre avanserte oppgaver med minimalt tilsyn. Den skal kunne planlegge i flere steg, løse komplekse oppgaver og korrigere seg selv for å nå mål. Ikke ulikt en alternativ James Bond med fru Justitia ved sin side.
Sandve er professor ved Institutt for informatikk ved Universitetet i Oslo og sitter i ledergruppen for TRUST.
– En KI-agent trenger kun et overordnet mål. Så finner den veien til målet selv. Basert på ren logikk kan den derved konkludere med at det er rasjonelt å løse problemer mennesker skaper ved å bestille en leiemorder, forteller han.
Eller å utslette oss alle innen fire år, som tidligere forsker i Anthropic, Jacob Coxon frykter.
Les også: Blir KI vår dommedag? Ekspertene strides
Frykter «klipp og lim-strategi»
TRUST er ett av seks nasjonale forskningssentre for kunstig intelligens, og ledes av Universitetet i Oslo, SINTEF og Norsk regnesentral. Senteret har som mål å bygge et grunnlag for kunstig intelligens som er presist, forståelig, inkluderende, rettferdig, sikkert, bærekraftig og ansvarlig forvaltet. Det skal det gjøre sammen med 15 andre forskningsinstitusjoner og 45 brukerpartnere i Norge.
At EU’s KI-forordning innføres i Norge på en god måte er viktig, slår Malcolm Langford fast. Han er professor ved Institutt for offentlig rett ved Universitetet i Oslo, og nestleder ved TRUST.
EU vedtok i sommer et felles regelverk for kunstig intelligens som skal sikre at KI-systemene som brukes i EU skal være trygge. På norsk kalles dette KI-forordningen. Regjeringen er i gang med å innføre denne i Norge, og planlegger å fremme en ny KI-lov for Stortinget til våren. Formålet er å legge til rette for innovasjon og teknologisk utvikling, samtidig som grunnleggende samfunnsverdier ivaretas.
– Det er problematisk at agentisk KI er så nytt at det faller mellom alle stolene i KI-forordningen. Norge har vært veldig sent ute med å regulere dette, vi trenger å være mer i forkant. Å legge til rette for god regulering av pålitelige KI-agenter er viktig, mener han.
Problemet, mener Langford, er at KI-forordningen prøver å forutse alt i forkant. Èn del av forordningen regulerer bestemte høyrisikosystemer, mens en annen regulerer tilbyderne av de store språkmodellene. Men KI-agenter som hver for seg er «lavrisiko», kan i praksis bli høyrisiko dersom de begynner å samarbeide eller konkurrere på problematiske måter.
– Vår forskning viser allerede hvor lite informasjon de trenger for å gjøre nettopp det.
Derfor mener Langford at norske myndigheter, forskere, utviklere og jurister må tenke godt igjennom konsekvenser av slike systemer nå, og at dette haster siden vi ikke er med i EU og deltar i samtalene der. Han advarer sterkt mot en «klipp og lim- strategi» i Norge.
Drømmebildene og dystopiene florerer
Det florerer med ønsker og ambisjoner om hva KI-agenter kan gjøre for oss. De kan bidra til å skape en bedre verden ved å redusere ulikhet, styrke helse og sikkerhet, støtte det grønne skiftet og fremme kreativitet og utdanning. Regjeringen mener at teknologien gir store muligheter for verdiskaping, økt produktivitet og bedre tjenester.
– Kanskje kan KI-agenter også finne persontilpassede kreftbehandlinger, eller hjelpe oss å forutse og forberede oss på hvordan klimaendringer skaper nye helseutfordringer, forteller Sandve.
Men for å realisere dette potensialet må KI-agentene være pålitelige, etterprøvbare og mulig å avgrense.
– KI-agenter er ikke onde. Men når de får et mål, og ikke avgrenses i hvordan de jobber opp mot målet, kan de finne på å samarbeide på utilsiktede måter som er problematisk. Det kan få store konsekvenser, forteller Langford.
Bryter seg inn og sletter sine spor
Et eksempel er Hugging Face-skandalen, hvor autonome KI-agenter fra OpenAI brøt seg inn på KI-plattformen Hugging Face. Under testing av avanserte KI-modeller fikk agentene krevende oppgaver. Agentene brøt seg da ut av det lukkede testmiljøet, oppsøkte Hugging Face og fikk tilgang til internett. Der utførte de over 17 tusen handlinger og kjørte kode på flere servere. Undersøkelser avdekket at hundrevis av agenter samarbeidet, blant annet ved å opprette egne hemmelige oppslagstavler for å koordinere handlingene og skjule sporene sine.
– Å hacke systemer var en helt logisk måte for disse agentene å nå sine mål på, forteller Sandve.
Langford bekrefter at KI-agenter kan finne på flere dystopiske krumspring dersom forskere, utviklere, arbeidsgivere og lovgivende myndigheter ikke holder dem i ørene. Vi skal likevel ikke la oss skremme.
– Det høres nesten ut som om slike agenter kan finne på å ha sin egen vilje og egen agenda når de løser oppgaver. De menneskeliknende egenskapene er slående. Derfor er det viktig å tenke over om vi blir påvirket av Hollywood når vi ser for oss hvilke krumspring KI-agenter kan finne på, og om vi heller bør tenke på andre måter om dem, sier Sandve.
Det som er avslørende med Hugging Face er at de grunnleggende reguleringsbehovene ikke var til stede, mener Langford.
– Det var dårlig kontroll av agentenes mål, agentene var skråsikre om valgte metoder når de opplevde usikkerhet, og det var ingen etterprøvbarhet siden de skjulte alle sporene sine.
Regulering og styring av disse tre aspektene er helt avgjørende for at samfunnet skal høste nytte og ikke skade av et høyt antall kompetente og raske KI-agenter.
Hvis vi skal ha tillit til KI-agenter må både tilbydere og brukere av KI-agentene holdes ansvarlig. Det er mulig hvis vi stresstester dagens regulering for fremtiden, og er klar for ulike scenarioer, understreker Langford.
Hvor selvstyrte skal agentene være?
TRUST har en rekke forskningsprosjekter som skal bidra til å bygge en trygg plattform for videre utvikling av KI-agenter. Grunnforskning, banebrytende bruk av metoder og jus er et svært viktig verktøy i dette arbeidet, forteller han.
KI-forordningen stiller krav til produktsikkerhet for ulike KI-systemer, og kravene øker i takt med hvilken risiko systemene kan utgjøre for menneskers helse, grunnleggende rettigheter eller sikkerhet.
Eksempler på slike med høy risiko er KI-systemer innlemmet i medisinsk utstyr, kjøretøy og leketøy, og som brukes på særlig kritiske områder som i rekruttering, kredittvurdering, i helsehjelp og utdanning. KI-systemer som anses som uakseptable grunnet brudd på grunnleggende rettigheter vil bli forbudt. Eksempler på det er sosial poenggiving, manipulativ atferd og overvåking.
Sandve mener det er viktig at samfunnet tar stilling til hvor autonome KI-agenter og KI-systemer skal få lov til å være. Bør de ha en mer passiv rolle i fremtiden, hvor de får et oppdrag fra mennesker, utfører det og leverer det tilbake? Eller ønsker vi å åpne for en mer aktiv rolle for disse agentene?
– Å se for oss hvilke typer adferd slike systemer vil sette i gang, tror jeg er utrolig vanskelig for oss mennesker. Det er veldig mye å være bekymret for, mener Sandve.
Begge forskerne understreker likevel hvor viktig det er at forskere jobber med å forstå begrensningene, mulighetene og farene ved å bruke KI-agenter aktivt.
Denne artikkelen ble først publisert på Forskningsnytt.
