Vse zmogljivejši sistemi umetne inteligence dobivajo dostop do omrežij, orodij in fizičnih sistemov ter lahko vse več nalog izvajajo samostojno. Za vlade se zato odpira novo vprašanje: koliko odločanja je varno prepustiti strojem?
Opozorilo o novih tveganjih za kibernetsko varnost je prineslo julijsko varnostno testiranje sistemov podjetja OpenAI. Po ugotovitvah neodvisnih raziskovalcev je pri testiranju sodelovalo približno 700 AI-agentov, piše SDG News. Nekateri so obšli omejitve za dostop do interneta, izkoristili ranljivosti v raziskovalni infrastrukturi in pridobili nepooblaščen dostop do sistemov platforme Hugging Face.
Dogodek ne pomeni, da je umetna inteligenca postala neobvladljiva. Cilje in okolje testiranja so določili ljudje. Pokazal pa je, da lahko vse zmogljivejši sistemi pri doseganju zastavljenega cilja uporabijo načine, ki jih razvijalci niso predvideli.
Vlade so se doslej osredotočale predvsem na uporabo AI za učinkovitejše kibernetske napade. Z razvojem AI-agentov pa se pojavlja nova možnost: sistemi lahko sami iščejo ranljivosti, raziskujejo omrežja, uporabljajo različna orodja in prilagajajo svoje delovanje.
Podobna dilema se pojavlja na bojišču
Vojna v Ukrajini je postala pomembno prizorišče razvoja dronov in drugih vojaških sistemov z elementi umetne inteligence. Rusija in Ukrajina razvijata sisteme, ki lahko samostojno navigirajo, prepoznavajo objekte in delujejo tudi ob prekinitvi komunikacije.
Avtonomija ima očitne prednosti, saj lahko sistemi delujejo hitreje in obdelajo več podatkov kot človek. Hkrati pa odpira vprašanja odgovornosti in nadzora, zlasti kadar lahko odločitev sistema povzroči smrt.
Generalni sekretar ZN António Guterres in predsednica Mednarodnega odbora Rdečega križa Mirjana Spoljaric sta zato znova pozvala k pravno zavezujočim pravilom za avtonomno orožje. Zavzemata se za omejitve sistemov, katerih delovanja ni mogoče dovolj dobro razumeti ali nadzorovati, ter za ohranitev pomembne vloge človeka pri uporabi sile.
V ospredju je vprašanje nadzora
Kibernetska varnost in vojaška uporaba AI sta različni področji, vendar imata skupno dilemo: koliko pristojnosti lahko človek varno prenese na umetno inteligenco?
Odgovor bo pomemben tudi izven vojske in kibernetske varnosti. AI-agenti se vse bolj povezujejo s finančnimi sistemi, industrijsko opremo, državnimi bazami podatkov in drugo kritično infrastrukturo.
Zato bo pri prihodnjem urejanju umetne inteligence pomembno predvsem, kakšen dostop in kakšne pristojnosti ima sistem, ne le, kako zmogljiv je njegov model. Pri odločitvah z nepopravljivimi posledicami bo potreben strožji človeški nadzor, vse pomembnejši pa bodo tudi neodvisno testiranje, spremljanje delovanja in poročanje o incidentih.
