Scalare gli agenti di coding: cosa cambia davvero quando token e inferenza diventano “quasi gratis”

La recente domanda sulla possibilità di utilizzare gli "agenti di coding" ha messe in evidenza come la tecnologia di token e inferenza cambino il modo in cui progettiamo i sistemi di agenti. I primi mesi hanno visto molti parlare degli agenti come di un interruttore; però, la realtà è più complessa e richiede un approccio ingegneristico. I costi per token diminuiscono, la velocità di inferenza migliora, ma l'impatto dipende dal modo in cui si impostano architettura e processi.

Una chiave di questo scenario è che l'infrastruttura non scompare immediatamente, anche con token economici e modelli veloci. La domanda principale è su come giustifichi questi costi e latenze. Se si considerano "token illimitati", si può progettare il sistema pensando a massimizzare l'explorazione e il parallelismo. Tuttavia, c'è un limite importante: guardare troppo lontano rende la roadmap poco chiara.

La finestra più utile è quella in cui si può affermare che questa scelta architetturale rimarrà valida tra circa sei mesi.

Un'altra considerazione è la nascita dell'illusione che "se è tutto veloce, perché mi serve l'orchestrazione?". Anche se con token infiniti e modelli perfetti potrebbe sembrare possibile chiedere a un modello di creare qualcosa come "costruisci Google" e aspettare il risultato, nel mondo reale il valore è principalmente derivato da strumenti intermedi, come orchestratori, sandbox, politiche di esecuzione, valutatori e strumenti di patching/PR.

Questi strumenti sono essenziali per trasformare capacità grezze in output verificabile, cicli ripetibili, controllo dei costi e riduzione del rischio.

Un punto importante è che il numero di agenti non è così importante. Spesso le aziende riuscendo a produrre da decine a centinaia di agenti, piuttosto che da migliaia. Il concetto di "milione di agenti" è più una sfida sui limiti del parallelismo, piuttosto che un aspetto quotidiano. Se i modelli sono così efficienti, perché le aziende non stanno shipando molto più rapidamente con una qualità migliore?

Una possibile spiegazione è che si manca sia di parallelismo che di framework affidabili per rendere affidabile quel parallelismo.

Il modello "orchestratore + sub-agenti" funziona meglio oggi. Gli agenti orchestrazione mantengono contesto, obiettivi e vincoli, mentre una "corona" di sub-agenti specializzati (ricerca, implementazione, test, refactor, performance, docs…) operano in modo controllato. Le aziende più grandi hanno raggiunto centinaia o migliaia di agenti, ma spingerli a scale ancora più elevate resta una sfida concreti.

Il vero problema è l’allineamento a scala, poiché con più agenti cresce anche la difficoltà di assicurare che lavorino insieme per raggiungere gli obiettivi di business, prodotto e feedback umano.