KINESKA tvrtka za umjetnu inteligenciju Moonshot pokrenula je internu istragu nakon što su istraživači uspjeli navesti dva njezina popularna AI modela, Kimi, da im objasne kako proizvesti biološko oružje i izvesti atentate. Tvrtka Mindgard, specijalizirana za sigurnosno testiranje AI sustava, otkrila je u srpnju da modeli Kimi K2.6 i K3 Swarm mogu zaobići sigurnosne mjere koje su ugradili programeri, piše BBC.

Proboj sigurnosnih mehanizama

Propust je otkriven tijekom procesa poznatog kao "jailbreaking", u kojem istraživači koriste niz složenih uputa kako bi testirali hoće li AI alati ignorirati svoje zaštitne mehanizme.

Iz Mindgarda tvrde da su upravo ti mehanizmi trebali spriječiti Kimi da uopće raspravlja o opasnim temama. Osnivač Mindgarda Peter Garraghan rekao je za BBC-jevu emisiju *Tech Life* da su nalazi o modelima Kimi K2.6 i K3 Swarm zabrinjavajući. "Kad se probije zaštita, model će govoriti o bilo kojoj temi. Čak će sam nuditi preporuke za druge zlonamjerne aktivnosti i pritom biti inventivan i kreativan", objasnio je Garraghan.

"Jailbreaking" predstavlja drugačiju vrstu rizika od onih zabilježenih u nedavnim incidentima s autonomnim AI alatima, takozvanim agentima, koje su razvile američke tvrtke poput OpenAI-ja, Mete i Anthropica, a koji su hakirali internetske usluge. Iako je "jailbreaking" složen proces koji zahtijeva vrijeme i upornost, stručnjaci strahuju da bi ga hakeri i drugi zlonamjerni akteri mogli iskoristiti za nanošenje štete. Tvrtka Anthropic nedavno je objavila da je identificirala i zaustavila pokušaje korištenja jednog od svojih AI modela za aktivnosti koje bi mogle pomoći u razvoju biološkog oružja.

Potencijalna platforma za kibernetičke napade

Mindgard nije dokazao bi li upute koje je Kimi dao doista funkcionirale u praksi. Ipak, iz tvrtke ističu da su zaštitni mehanizmi trebali spriječiti modele da uopće ulaze u takve rasprave. Uvjereni su i da bi probijeni model Kimi 2.6 mogao hakerima omogućiti pokretanje koda na svojim računalnim resursima i spajanje na internet, što ga čini potencijalnom polazišnom točkom za kibernetičke napade.

Garraghan je branio odluku Mindgarda da javno objavi informacije o propustu. Rekao je da su o svemu obavijestili programere i da ne otkrivaju ključne detalje o tome kako su točno naveli modele da ignoriraju zaštitu. Mindgard je upozorio Moonshot na propust e-mailom 27. srpnja, a ponovno su im se javili tjedan dana poslije. O problemu su 12. rujna objavili i blog, no iz tvrtke kažu da im se Moonshot javio tek nedavno, nakon što je BBC zatražio komentar.

Iz Moonshota su za BBC poručili da pozdravljaju doprinos trećih strana jer je to "ključni stup za izgradnju boljeg i sigurnijeg AI-ja". Tvrtka je potvrdila da s Mindgardom već razgovara o njihovim nalazima. U dijelu e-maila koji su podijelili s BBC-jem, a u kojem od Mindgarda traže više detalja, iz Moonshota navode da je njihov model u internim provjerama općenito pokazao "visoku stopu odbijanja takvih upita".

Reakcija tvrtke Moonshot

Ovi nalazi dolaze u vrijeme dok je AI industrija i dalje podijeljena oko toga jesu li bolji i sigurniji put naprijed zatvoreni, vlasnički modeli, poput onih koji pokreću ChatGPT i Anthropicov Claude, ili alati otvorenog koda. Kimi je model s otvorenim parametrima (*open-weight*), što znači da bi ga netko teoretski mogao preuzeti i pokrenuti na vlastitoj infrastrukturi.

Profesor Alan Woodward sa Sveučilišta u Surreyju rekao je za BBC da postoji rizik da modeli otvorenog koda završe u pogrešnim rukama, ali je dodao da se mogu koristiti i za kibernetičku obranu.

Napomenuo je da je AI tvrtka Hugging Face koristila kineski model otvorenog koda kako bi analizirala hakiranje za koje se kasnije ispostavilo da su ga izveli agenti OpenAI-ja. Woodward smatra da međunarodna regulacija vjerojatno neće pratiti tempo razvoja umjetne inteligencije. "Trebala su nam desetljeća da se dogovorimo o formatu telefonskih brojeva", izjavio je. Poput osnivača Mindgarda, on vjeruje da bi se veći naglasak trebao staviti na identificiranje i kazneni progon ljudi koji zloupotrebljavaju umjetnu inteligenciju.