html Väärän toiminnan ongelma: miksi agenttinen AI tarvitsee erilaista hallintoa — Gianluca Busato

Artikkelit / Väärän toiminnan ongelma: miksi agenttinen AI tarvitsee erilaista hallintoa

Väärän toiminnan ongelma: miksi agenttinen AI tarvitsee erilaista hallintoa

Kirjoittanut Gianluca Busato · Perustaja, CEO & AI-järjestelmäarkkitehti · 2026-06-17

Kirjoittanut Gianluca Busato — Perustaja, CEO & AI-järjestelmäarkkitehti, Enkronos

Suurimman osan AI‑aikaa riskin yksikkönä oli väärä vastaus. Malli palautti tekstiä; ihminen luki sen ja päätti, mitä tehdä. Jos vastaus oli väärä, ihminen huomasi sen ennen kuin mitään tapahtui. Virheen tuhoalue rajoittui yhteen huonoon lauseeseen.

Agenttinen AI muuttaa riskin yksiköksi agentin toiminnan. Virheellinen toimenpide. Autonomiset agentit suunnittelevat nyt, kutsuvat työkaluja, tekevät API-kutsuja ja laukaisevat todellisia vaikutuksia — siirtävät rahaa, muokkaavat tietueita, lähettävät viestejä, provisioivat infrastruktuuria — usein ilman, että kukaan ihminen lukee mitään matkan varrella. Virheen räjähdysalue ei enää ole lause; se on mitä tahansa, mihin agentti ehtii koskea.

Tämä on laadullinen muutos, joka murtaa ne oletukset, joihin suurin osa AI-turvallisuustyöstä perustui.

Miksi "paremmat vastaukset" eivät ratkaise sitä

Mallien tarkkuuden parantamiseen sijoitetaan paljon työtä. Se auttaa vääriin vastauksiin. Se ei juurikaan auta vääriin toimintoihin, koska epäonnistumismoodi ei ole pelkästään "malli oli väärässä" — se on "malli oli oikeus ja teki silti jotain, mitä sen ei olisi pitänyt saada tehdä."

Agentti voi oikein päättellä, että nopein tapa ratkaista tiketti on poistaa tietokanta. Tarkkuus ei ole ongelma. Toimivalta Se on. Kysymys, joka merkitsee agenttisessa AI:ssa, ei ole "onko tämä tulos oikea?" vaan "oliko tämä toimenpide valtuutettu, onko se auditoitavissa, ja onko se palautettavissa?"

Neljä kerrosta, jotka rajaavat ongelman

Väärien toimintojen rajoittaminen vaatii syvyyteen menevää puolustusta — itsenäisiä kerroksia, joista kukin tarkistaa uudelleen sen sijaan, että luottaisi edelliseen:

  1. Identiteetti — kenen roolissa agentti toimii? Jokainen toiminto on attribuoitavissa jollekin

todennettavissa oleva identiteetti.

  1. Politiikka — mitä sen on sallittua tehdä? Säännöt ilmaistaan koodina ja arvioidaan

deterministisesti.

  1. Toteutus — on tämä Toiminta on sallittu juuri nyt? Suoritusympäristö välittää jokaisen

toiminto ennen sen tapahtumista; suurivaikutteiset tarvitsevat ihmisen hyväksynnän.

  1. Auditointi — mitä tapahtui ja miksi? Muuttumaton jälki tekee jokaisesta toiminnasta

uudelleenrakennettavissa.

Voima on riippumattomuudessa. Kompromettoitunut tai virheellisesti toimiva agentti pidetään kurissa, koska kukin kerros tarkistaa valtuudet itsenäisesti. Yksi vika ei etene ketjussa.

Peruutettavuus ja vaikutusalue

Kaksi turvallisuusarkkitehtuurista lainattua ajatusta ovat tässä ratkaisevia:

rajoitettu. Agentti, joka voi tehdä mitä tahansa, on riskitekijä riippumatta siitä, kuinka älykäs se on.

vahvempien tarkistusten takana.

Nämä eivät rajoita kyvykkyyttä. Ne sallivat sinun Valtuutus kyvykkyys turvallisesti.

Tärkeää ei ole agenttien määrä — vaan luotettavat agentit

Yritykset, jotka menestyvät agenttisella AI:lla, eivät ole välttämättä niitä, joilla on eniten agenteja käynnissä. Ne ovat niitä, jotka voivat luottaa agentteihinsa. Luottamus ei ole tunne; se on suunniteltu arkkitehton tasolla identiteetin, determinististen politiikkojen, välitetyn suorituksen ja muuttumattoman auditoinnin kautta.

Kun nämä tehdään oikein, autonominen AI lakkaa olemasta uhkapeliä ja muuttuu infrastruktuuriksi.


Tämä on ongelma AINOVAMonikerroksinen hallintaarkkitehtuuri on rakennettu ratkaisemaan. Lisätietoja: gianlucabusato.com.