Métricas de efetividade de uso de IA — Spark Monitor
Métricas de efetividade de uso de IA — Spark Monitor Resumo da pesquisa sobre como medir se uma sessão de IA (Claude Code) foi produtiva, e como ranquear uso entre várias pessoas de forma fidedigna. Problema-base Token bruto (input/output/cache) mede atividade , não resultado . Ranquear pessoas só por isso vira Goodhart's law: o comportamento se otimiza para o número, não para a entrega. Métricas…
A pesquisa Spark Monitor examina como medir a produtividade de sessões de IA, como Claude Code. A métrica tradicional de token bruto (entrada/saída/cache) não captura o resultado, mas a taxa de cache e a saída por tarefa concluída (normalizada pela dificuldade da tarefa) são sinais de eficiência. A taxa de reescrita, percentual de código gerado por IA revertido ou reescrito, é o 5º indicador oficial do DORA desde 2025.
No entanto, ele só mede atividade, não qualidade. Um estudo de 2.989 desenvolvedores mostra uma correlação fraca (r=0,34) entre satisfação percebida e tempo economizado auto-reportado. Então, uma única métrica não captura a produtividade. Fatores identificados incluem autossuficiência, fricção e carga cognitiva, taxa e qualidade de conclusão de tarefa, facilidade de revisão por pares, expertise técnica (longo prazo) e propriedade do código (longo prazo).
O risco de ranking competitivo por atividade empurra os devs júnior a confiar demais na IA, prejudicando o aprendizado e o senso de propriedade. A GetDX, uma empresa, já disponibiliza um framework de IA com métricas de impacto, custo e uso, mas nenhuma solução isolada resolve o problema. Para implementar o framework, basta adicionar o campo cwd no JSONL do Claude Code e configurar um hook pre-push para registrar pushes automatizados e manualmente feitos pelo usuário.
Written by urgent.news from Dev.to's reporting — not their text. Machine-written — may contain errors; check the original before relying on it.
