OPINIÃO. O gap da AI no mundo corporativo

A discussão sobre inteligência artificial nas empresas agora se concentra na quantidade de tarefas que a IA pode executar de forma autônoma, com resultados mensuráveis e retornos econômicos claros. Esta diferença marca duas fases da adoção da tecnologia: uma em que a IA ajuda um ser humano a trabalhar e outra em que ela executa parte do trabalho.

As empresas estão ainda tentando alcançar a segunda fase, enquanto os laboratórios de ponta da IA trabalham na terceira: sistemas que avaliam seu próprio desempenho e melhoram com base nos resultados.

O principal problema para as empresas não é o acesso a bons modelos de IA, mas gerenciá-los. Uma empresa pode ter dezenas de agentes em produção e ainda não saber quais geram valor, quanto custam ou onde existem falhas. Esta proliferação cria uma ilusão de avanço, mas o verdadeiro problema é a confiança. Erros ocasionais podem ser aceitáveis para um agente que resume uma reunião, mas não quando altera pedidos, aprova transações ou opera sistemas críticos.

Para conceder verdadeira autonomia, as empresas precisam saber onde e como cada agente funciona, onde falha e quanto custa cada erro.

As empresas precisam medir o desempenho dos agentes da mesma forma em que medem o desempenho humano. Utilizando a metodologia de OKRs (Objetivos e Resultados-Chave), elas devem também implementar evals – avaliações que medem a qualidade, eficiência e confiabilidade do trabalho da IA. Assim como as empresas definem metas e acompanham resultados, agora também precisam de avaliações para medir o trabalho da IA.

Com essa camada de avaliação, a IA passa de uma experimentação para uma disciplina de engenharia e gestão. A discussão sobre modelos muda também, deixando de se concentrar em qual modelo é o melhor e se torna qual combinação de modelo, contexto, ferramentas e arquitetura oferece o melhor resultado para cada tarefa. Medir o retorno agora se concentra no custo de cada tarefa executada corretamente, em quanto tempo e com quais riscos.

Depois de medir seus agentes, uma empresa pode começar a melhorar continuamente seu desempenho. Comparando duas empresas com agentes de qualidade semelhantes, a primeira leva seis semanas para identificar uma falha, corrigi-la e validar uma nova versão, enquanto a segunda transforma interações de produção em testes e evita regressões antes que novas versões cheguem ao cliente. Nesse caso, o ciclo de melhoria leva apenas dois dias.