Il rischio reale dell'AI enterprise non sono gli agenti autonomi. È la complessità tra di loro

Il vero rischio dell'AI nell'ambito aziendale non è dato dagli agenti autonomi, ma dalla complessità che esiste tra di loro. Le aziende che spingono in uso una flotta di agenti AI riscontrano un pericolo non nell'agente che si comporta in modo errato da solo, ma nella complessità emergente delle loro interazioni. Questa complessità è simile a una ragnatela di chiamate a cascata, permessi dimenticati e lacune di responsabilità che non possono essere chiuse con una checklist.

Il problema non è solo linearmente proporzionale al numero di agenti: aggiungere un secondo agente e una connessione può generare decine di connessioni, poiché ogni agente può chiamare altri agenti. Un ticket di supporto che prima era gestito da un unico sistema può ora essere elaborato attraverso quattro agenti prima che un essere umano intrecci il caso. Ogni fase rappresenta un punto decisionale non approvato. Spesso i programmi AI enterprise si bloccano quando i responsabili umani perdono il filo.

Le checklist si rivestono come una forma di compliance, approvando un agente e registrandolo, senza preoccuparsi dei passaggi successivi. Tuttavia, una checklist valuta un singolo momento nel tempo e non riesce a controllare la complessità che si prolunga lungo una catena. Due modi di fallimento dominano: l'allargamento dei permessi e la proprietà che si asottiglia.

Quando qualcuno aggiunge un agente per riassumere ticket di supporto e gli fornisce accessi API estesi, senza aver sottoposto i permessi a un nuovo sprint, quell'agente può poi inserirsi nel sistema dei pagamenti senza essere riconosciuto.