Un fost COO al METR și angajat timpuriu Anthropic a dezvoltat o metodă de control al agenților AI rebeli

Pe scurt:

• Rajiv Dattani și Rune Kvist au dezvoltat o metodă de audit pentru controlul agenților AI rebeli în mediul corporativ, prevenind comportamentul necontrolat.
• Startup-ul AIUC aplică standardul AIUC-1 și circa 5.000 de teste riguroase, inspirate din securitatea cibernetică SOC 2, pentru evaluarea siguranței agenților AI.
• AIUC a atras 40 milioane dolari în finanțare Serie A și oferă rapoarte detaliate de 100 pagini, ajutând companiile să identifice riscurile AI înainte de implementare.
• Consorțiul AIUC include 250 de experți, iar testele combină analiza automată cu verificarea umană pentru acuratețea evaluărilor de siguranță.

control agenți AI pentru siguranță inteligență artificială în companii

Controlul agenților AI rebeli devine esențial pe măsură ce inteligența artificială avansează rapid și devine tot mai greu de gestionat. Fostul COO al METR, Rajiv Dattani, împreună cu Rune Kvist, angajat timpuriu Anthropic, au dezvoltat o metodă de audit AI care vizează prevenirea comportamentului necontrolat al agenților în mediul corporativ.

Startup-ul lor, Artificial Intelligence Underwriting Company (AIUC), oferă un serviciu de testare și certificare terță parte pentru agenții AI, inspirat din standardele de securitate cibernetică SOC 2. AIUC a creat standardul AIUC-1 și aplică un set riguros de aproximativ 5.000 de teste pentru a evalua comportamentul agenților în situații critice, precum ocolirea restricțiilor, halucinații sau scurgeri de date.

Audit AI pentru evaluarea riscurilor și siguranței

AIUC a reunit un consorțiu format din circa 250 de experți în securitate și managementul riscurilor, care contribuie la definirea criteriilor de testare. Rezultatele auditului generează un raport detaliat de aproximativ 100 de pagini, care indică zonele în care un agent AI funcționează în siguranță și cele în care există riscuri.

Testele sunt realizate cu ajutorul agenților AI, iar analiza datelor este automatizată, însă verificarea finală este făcută de oameni pentru a asigura acuratețea evaluării. Această metodă oferă companiilor o imagine clară asupra nivelului de siguranță al agenților AI pe care îi utilizează.

Finanțare și impact în domeniul siguranței inteligenței artificiale

AIUC a atras o finanțare Serie A de 40 de milioane de dolari, condusă de Ribbit Capital, după o rundă seed de 15 milioane de dolari. Printre clienții companiei se numără Cursor, Lovable, Harvey și ElevenLabs. Modelul propus de AIUC aplică principii din securitatea cibernetică pentru a răspunde noilor riscuri generate de inteligența artificială.

Fostul angajator al lui Dattani, METR, realizează teste similare, concentrându-se pe performanța agenților AI. CEO-ul Anthropic, Dario Amodei, a susținut recent necesitatea încetinirii dezvoltării AI și a propus utilizarea evaluatorilor terți pentru monitorizarea siguranței, menționând METR ca exemplu.

Importanța controlului agenților AI în mediul de afaceri

AIUC nu oferă integrare directă în infrastructura clienților, ci furnizează evaluări independente care ajută companiile să înțeleagă riscurile asociate agenților AI. „Iată unde trece testul și unde poți avea încredere în el. Și iată unde există îngrijorări. Ar trebui să fii conștient de aceste aspecte înainte să iei decizia de a cumpăra”, explică Dattani.

Sursa originală a acestui articol este https://techcrunch.com/2026/09/15/early-anthropic-hire-former-metr-coo-have-found-a-way-to-rein-in-rogue-ai-agents/ (link)